Сначала правила, потом модель: как выбрать между автоматизацией и AI

Расчёт стоимости в нашем генераторе коммерческих предложений делали не люди и не модель. Его делали правила: набор позиций, скидки, налоги, дополнительные затраты — всё подставлялось по таблице. Правила не ошибаются в арифметике, не устают к пятнице и не выдумывают позицию, которой нет в прайсе.

Это скучная часть системы, и именно она дала основную часть эффекта. Вопрос, который стоит задавать до выбора инструмента, звучит так: у этой задачи есть однозначный правильный ответ, который можно записать правилом, — или нет? От ответа зависит не только цена внедрения, но и то, кто будет отвечать за ошибку.

Три признака задачи, которую не нужно отдавать модели

Проверять задачу удобно по трём вопросам, и все три отвечаются до выбора вендора. Каждый из них отсекает целый класс проектов, которые иначе пойдут по дорогому маршруту.

Правильный ответ один и он проверяем. Стоимость заказа при заданных позициях и скидке — одна. Дата окончания срока — одна. Наличие исполнительного производства у контрагента — да или нет. В таких задачах модель добавляет не качество, а дисперсию: она может дать верный ответ, а может дать правдоподобный. Правило даёт один и тот же ответ на одних и тех же входных данных, и это его главное свойство, а не ограничение.

Ошибка имеет цену и адресата. Ошибка в расчёте оплачивается из маржи, ошибка в сроке — штрафом, ошибка в реквизитах — платежом не туда. Когда ошибку допускает правило, разбор занимает минуты: правило открывается, читается и исправляется, и после исправления ошибка не повторится. Когда ошибку допускает модель, разбор упирается в вопрос, на который нет короткого ответа, — почему в этот раз она ответила иначе.

Требуется одинаковый результат при повторе. Внутренний документ, который уходит клиенту, отчёт для руководителя, запись в системе учёта — везде, где результат сравнивается с предыдущим, воспроизводимость важнее гибкости. Два похожих запроса должны давать два одинаковых ответа, иначе разница между ними будет обсуждаться вместо самой работы.

Третий столбец здесь важнее первых двух. В детерминированной части ответственность именная и локализуемая, в вероятностной — распределённая и требующая отдельного механизма. Проекты, которые не проходят этот вопрос на входе, потом застревают именно на нём.

Стоит сказать и о том, чего этот тест не решает. Он не отвечает на вопрос, нужна ли автоматизация вообще: задача с одним правильным ответом может выполняться раз в квартал и не стоить ни одного часа разработки. И он не отменяет самой сложной части работы — выяснения того, каково правило. В нашем случае формализация расчёта стоимости заняла больше времени, чем её программирование: выяснилось, что у трёх менеджеров были три разных представления о том, от какой базы считается скидка, и до внедрения этот факт нигде не проявлялся.

Это типичная находка. Правило, которое «все и так знают», при попытке записать распадается на несколько несовпадающих версий, и уже сам этот разбор даёт эффект — независимо от того, чем задача будет закрыта в итоге.

Почему пилоты не доходят до прибыли

Разрыв между демонстрацией и эффектом измерен несколькими независимыми группами, и цифры сходятся по направлению, хотя методы разные.

Про этот отчёт нужно сказать отдельно. Он широко цитировался в прессе, и в пересказах параметры выборки искажались — вместо 52 интервью и 153 опрошенных руководителей появлялись другие числа. Проверять его стоит по самому PDF, а не по новостям о нём; и он не сравнивает генеративный AI с детерминированной автоматизацией — эту связку делаю я, а не авторы отчёта.

Ограничение здесь очевидное и его называю я, а не критик статьи: это самоотчёты руководителей, а компания, проводившая опрос, продаёт консалтинг по внедрению AI. Метод и выборка раскрыты прозрачно, поэтому цифру можно использовать — но как показание участников рынка о самих себе, а не как измерение.

Чего стоила автоматизация бизнес-процессов до всякого AI

У правил есть своя измеренная история, и она полезна именно как точка отсчёта. Роботизация процессов внедрялась в тех же самых местах — документооборот, бэк-офис, обработка заявок, — куда сегодня заходят с языковыми моделями.

Источнику четыре года, и это осознанный выбор: мне нужен структурный факт о зрелости автоматизации по правилам до бума генеративного AI, а не свежая новость. Данные самоотчётные и без независимого аудита, а рост срока окупаемости с 16 до 22 месяцев показывает, что и у правил есть предел — отчёт не приукрашивает картину.

Как это выглядит в одном контуре

На практике выбор редко бывает «или — или». В рабочей системе оба класса стоят рядом, и ценность создаёт явная граница между ними, а не победа одного над другим.

Порядок стадий здесь не декоративный. Правила стоят раньше модели, потому что дешевле отсечь заведомо неполный вход до того, как за него заплачено обращением к модели. Человек в контуре (human-in-the-loop — сценарий, где решение утверждает или отклоняет человек) стоит там, где ошибка стоит денег, а не там, где она страшнее выглядит.

И отдельно — про измерение. Исправления, которые делает человек, должны возвращаться в оценочный набор (evals — набор эталонных задач, на которых проверяется модель). Иначе через полгода никто не сможет ответить, стало лучше или хуже: сравнивать будет не с чем.

Порядок действий, который экономит бюджет

Вопросы, которые задают чаще всего