Перейти к содержимому

Смета как модель риска: почему предложения на одну задачу различаются в разы

Смета как модель риска: почему предложения на одну задачу различаются в разы

В архиве агентства лежат три сметы одного периода: 306 500 рублей, 360 000 и 808 000. Первая — на сайт для медицинского направления, вторая — на сайт для салона, третья — на интернет-магазин продуктов. Разница между первой и третьей — в два с половиной раза.

Соблазн объяснить разницу сложностью велик, но он неверен. Интернет-магазин технически не в два с половиной раза сложнее сайта-визитки. Разница в другом: в третьем случае исполнитель брал на себя неопределённость, о которой в первых двух вопрос вообще не стоял, — по интеграциям, по каталогу, по оплате, по тому, чего в ТЗ ещё не было.

Коротко

Смета — это не прайс, а цена принятия риска. Разброс предложений на похожую задачу отражает не разную квалификацию исполнителей, а разное распределение неопределённости между сторонами. Отраслевые стандарты фиксируют это прямо: точность оценки задаётся степенью проработанности исходных данных, а не сложностью работ, и разница в диапазоне точности между стадиями достигает порядка.

×2,6разброс смет одного периода на похожие задачи
−50…+100%диапазон точности оценки при минимальной проработке
−10…+15%диапазон точности при проработке 65–100%

Из чего на самом деле складывается разница

Разложим смету на составляющие. Работы — только первая из них, и обычно не самая крупная.

Объём работ. То, что заказчик видит в смете и по чему сравнивает предложения. Считается относительно точно и различается между исполнителями меньше всего.

Неопределённость объёма. Насколько вероятно, что описанное окажется не всем. Здесь и возникает основной разброс: один исполнитель закладывает запас на невыясненное, другой — нет, и второй выигрывает тендер.

Неопределённость среды. Чужие системы, чужие данные, чужие сроки. Всё, что зависит от третьих сторон и на что исполнитель не влияет, но за что отвечает по договору.

Цена доверия. С новым заказчиком запас больше, чем с проверенным, — и это рациональное поведение, а не наценка. Второй проект с тем же клиентом почти всегда считается дешевле первого при том же объёме.

СоставляющаяКто её видит в сметеКак сократить
Объём работОбе стороныУточнить перечень
Неопределённость объёмаТолько исполнительПеречень исключений и порядок изменений
Неопределённость средыНикто до начала работНазвать зависимости и последствия задержек
Цена доверияНиктоРазбить на этапы с оплатой по факту

Второй столбец объясняет, почему сравнение предложений «по цене за те же работы» вводит в заблуждение: три составляющие из четырёх в смете не показаны, а различаются между исполнителями сильнее всего.

Что говорит отраслевой стандарт о точности

В инженерных отраслях связь между проработанностью и точностью оценки формализована, и цифры полезно знать всем, кто получает сметы.

Стандарт

Диапазон точности оценки задаётся степенью проработки исходных данных: при проработке 0–2% диапазон составляет от −20…−50% до +30…+100%, при проработке 65–100% — от −3…−10% до +3…+15%. Стандарт прямо оговаривает, что менее проработанная оценка одного проекта может оказаться точнее более проработанной оценки другого.

AACE International, Recommended Practice 18R-97 «Cost Estimate Classification System». Отраслевой согласованный стандарт для инженерно-строительной отрасли, обобщающий практику и экспертный консенсус, а не контролируемое статистическое исследование · aacei.org (PDF)

Ограничение назову прямо: это капитальное строительство и инженерия, а цифры — согласованные экспертами диапазоны, а не измеренная дисперсия реальных предложений. Переносить сами проценты на цифровые проекты нельзя. Переносится структура вывода: точность оценки — функция от зрелости исходных данных, и об этом можно говорить с заказчиком в терминах стадии, а не в терминах доверия к исполнителю.

Заказчик сравнивает цены. Различаются же предложения тем, кто из исполнителей взял на себя больше неизвестного.

Как оценивать, когда данных мало

Есть процедура, придуманная для ровно этой ситуации, и она старше большинства методик проектного управления.

Исследование

Интуитивные экспертные оценки систематически смещены: они нерегрессивны и переоценивают собственную точность. Предложенная корректирующая процедура состоит из пяти шагов — выбрать референтный класс сопоставимых случаев, получить распределение исходов по классу, получить интуитивную оценку, оценить предсказательную силу интуиции и сдвинуть оценку к среднему по классу пропорционально этой силе.

Daniel Kahneman, Amos Tversky. «Intuitive Prediction: Biases and Corrective Procedures», технический отчёт, июнь 1977. Теоретико-методологическая работа с иллюстративными кейсами, без большой эмпирической выборки прогнозов · apps.dtic.mil (PDF)

Это технический отчёт, а не рецензируемая публикация на момент выхода, и метод демонстрируется на единичных примерах — ограничение существенное. Практическая ценность процедуры в другом: она заменяет вопрос «сколько это займёт» вопросом «сколько занимали похожие задачи у нас», а на второй вопрос в любой компании есть данные, если велась хоть какая-то фиксация фактических трудозатрат.

Исследование

Традиционные сметы крупных проектов систематически неточны из-за оптимистического смещения и стратегического занижения, а не из-за сложности работ. Предложенный метод — прогнозирование по референтному классу, то есть построение оценки на фактических исходах сопоставимых проектов.

Bent Flyvbjerg. «From Nobel Prize to Project Management: Getting Risks Right», Project Management Journal, август 2006; препринт на arXiv, 2013. Теоретическая статья с первым практическим применением метода к сметам крупных транспортных инфраструктурных проектов · arxiv.org

Эмпирика здесь — транспортные мегапроекты, и я читал аннотацию препринта, а не полный текст журнальной версии. Перенос на коммерческие сметы делается по аналогии, и я это оговариваю. Важен второй механизм, который называют авторы: стратегическое занижение. Часть разброса предложений объясняется не разной оценкой риска, а разной готовностью назвать низкую цену ради получения контракта, — и заказчику полезно уметь отличать одно от другого.

Как читать смету, если вы заказчик

Четыре вопроса к предложению, каждый из которых вскрывает одну из невидимых составляющих цены.
01Что в смету не входит
02Какие допущения приняты
03От чего зависит срок и что будет при задержке
04Что произойдёт при изменении объёма
ответы на эти вопросы объясняют разницу между предложениями точнее, чем сравнение итоговых сумм

Второй вопрос самый информативный. Допущения — это и есть перечень неизвестного, которое исполнитель принял на веру, чтобы назвать число. Смета без раздела допущений либо составлена невнимательно, либо содержит запас, размер которого вам не покажут.

Практический приём для заказчика: попросить два варианта — с фиксированной ценой и с оплатой по факту при названном ориентире. Разница между ними и есть цена принятия риска исполнителем. Она обычно оказывается больше, чем ожидает заказчик, и это честный разговор, а не торг.

Что делать исполнителю

Обратная сторона того же механизма: снижать цену можно не за счёт маржи, а за счёт сокращения принимаемой неопределённости. Три инструмента работают лучше остальных.

Этапность. Первый этап — описание объёма с фиксированной ценой, дальнейшие — с оценкой после него. Это снимает основную часть неопределённости объёма и позволяет назвать честное число вместо запаса.

Перечень исключений. Прямо названные границы дешевле любого запаса, потому что превращают неизвестное в отдельный разговор. Подробнее — в разборе про техническое задание.

Явные зависимости. Всё, что зависит от третьей стороны, называется с последствиями задержки. Без этого неопределённость среды остаётся на исполнителе и оплачивается им же.

Четыре правила составления сметы

01

Пишите допущения перед работами

Список того, что принято на веру. Он объясняет число лучше, чем перечень строк с ценами.

02

Считайте по референтному классу

Не «сколько это займёт», а «сколько занимали похожие задачи у нас». Второй вопрос имеет проверяемый ответ.

03

Назовите стадию проработки

Оценка по идее и оценка по ТЗ — разные документы с разной точностью, и заказчик имеет право это знать.

04

Разбейте на этапы там, где неизвестного много

Этапность дешевле запаса и честнее фиксированной цены, названной вслепую.

Если два предложения на одну задачу различаются в разы, спрашивать нужно не «почему так дорого», а «что каждый из них считает своей зоной ответственности».

Вопросы, которые задают чаще всего

Почему сметы на один проект различаются в несколько раз?

Потому что различаются не работы, а объём неопределённости, который исполнитель берёт на себя. В смету входят четыре составляющие: работы, неопределённость объёма, неопределённость среды и запас на незнакомого заказчика. Заказчик видит только первую. Сравнивать предложения нужно по разделу допущений и по перечню того, что в работу не входит.

Как понять, что смета занижена?

По отсутствию раздела допущений и перечня исключений. Если исполнитель не назвал, что он принял на веру и чего не делает, он либо не разбирался в задаче, либо рассчитывает договориться о доплате позже. Второй признак — отсутствие зависимостей от третьих сторон: в реальном проекте они всегда есть, и их отсутствие в документе означает, что риск задержки молча оставлен на ком-то из двоих.

Что делать, если данных для точной оценки нет?

Разделить на два документа: точная оценка первого этапа, задача которого — описать объём, и диапазон порядка величины на весь проект с явно названной стадией проработки. Отраслевые стандарты фиксируют, что при минимальной проработке диапазон точности достигает от минус пятидесяти до плюс ста процентов, — называть в такой ситуации одно число значит вводить в заблуждение обе стороны.

Насколько показателен разброс в 2,6 раза?

Это три сметы одной компании одного периода на разные, хотя и сопоставимые по классу задачи; они не проверялись независимой стороной и не являются отраслевым ориентиром. Показателен не сам множитель, а причина: третий проект содержал интеграции с чужими системами, то есть неопределённость среды, которой в первых двух не было вовсе.

Откуда внутренние цифры

Суммы смет (306 500 ₽ на сайт медицинского направления, 360 000 ₽ на сайт салона, 808 000 ₽ на интернет-магазин продуктов, 2015–2016 годы) — из проектного архива Alego.Digital. Тарифная модель обслуживания с абонентской платой и отдельной ставкой за дополнительные часы — из регламента взаимодействия с клиентами того же периода. Это внутренние документы компании автора; они не проверялись независимой стороной и приводятся как иллюстрация механики. Разложение сметы на четыре составляющие — авторское обобщение практики, в документах компании не формализованное.

Внешние источники
  1. AACE International. Recommended Practice 18R-97: Cost Estimate Classification System. aacei.org
  2. Kahneman D., Tversky A. Intuitive Prediction: Biases and Corrective Procedures, 1977. apps.dtic.mil
  3. Flyvbjerg B. From Nobel Prize to Project Management: Getting Risks Right. Project Management Journal, 2006. arxiv.org