Наблюдаемость процесса: что должно быть видно через месяц после запуска

В генераторе коммерческих предложений копилась статистика двух видов: по каждому менеджеру и по тому, на какие предложения выше спрос. Это была самая простая в реализации часть сервиса и единственная, которая позволяла отвечать на вопрос «работает или нет» цифрами, а не впечатлениями.

Через месяц после запуска любого процесса руководитель задаёт один и тот же вопрос. Если ответ на него состоит из слов «команде нравится» и «стало удобнее», был запущен не процесс, а демонстрация. Наблюдаемость процесса (observability — свойство системы, при котором её внутреннее состояние восстанавливается по внешним данным) закладывается до запуска и почти никогда не добавляется после.

Три числа, без которых не обойтись

Набор минимален не из экономии, а из практики: каждое лишнее число требует владельца и порождает разговоры, которые не ведут к решениям. Три показателя ниже отвечают на три разных вопроса и не заменяют друг друга.

Число завершённых сценариев. Не количество пользователей и не количество входов в систему, а количество случаев, где процесс прошёл от начала до конца. Это единственный показатель, который отличает работу от активности: пользователь может заходить ежедневно и не завершить ни одного сценария.

Доля завершений с отказом. Отказ — это случай, когда работа формально сделана, но результат не перешёл дальше: документ не отправлен, заявка не назначена, ответ не записан. Эта доля падает при исправлениях и растёт при нагрузке — по ней видно, устойчив процесс или держится на усилии людей.

Время от начала до результата. Медиана, а не среднее: распределение почти всегда с длинным хвостом, и среднее по нему не описывает ни один реальный случай. Медиана отвечает на вопрос «сколько это обычно занимает», хвост — на вопрос «что ломается».

Третий столбец важен: подмена почти всегда выглядит правдоподобно и всегда завышает картину. Число активных пользователей растёт от любопытства, обращения в поддержку падают, когда люди перестают ждать помощи, а среднее время улучшается от удаления выбросов.

Почему модель процесса расходится с его исполнением

Наблюдаемость нужна ещё по одной причине: описанный процесс и происходящий процесс — разные вещи, и разница измерима. Метод сверки логов событий с формальной моделью существует давно и даёт неожиданно большие расхождения.

Работе почти двадцать лет, и она про государственный сектор Нидерландов — это её ограничение. Метод при этом остаётся основой процессной аналитики, а сам результат воспроизводится в любой организации, где кто-то возьмётся сравнить описанный порядок с логами. Практический вывод: расхождение до половины случаев — не аномалия, а норма для процесса, за исполнением которого не следят.

Разрыв в результатах между теми, кто измеряет, и остальными

Связь между способностью измерять и результатом лучше всего задокументирована в инженерной практике — там, где показатели стандартизованы и собираются годами.

Ограничение назову прямо: отчёт не доказывает, что именно наблюдаемость порождает результат, — он показывает, что группы с разной зрелостью различаются в том числе способностью считать свои отказы. Причинность здесь не установлена, и я использую эти данные как иллюстрацию масштаба различий, а не как доказательство связи.

Наблюдаемость AI-сценариев: отдельный случай

Для сценариев с языковыми моделями к трём базовым числам добавляется четвёртое: доля результатов, исправленных человеком. Без него улучшение промпта или смена модели остаются вопросом веры.

Здесь нужна точность, которой обычно нет в пересказах: отчёт измеряет факт развёртывания мониторинга AI-систем вообще, а не мониторинг качества ответов конкретно. Отдельной цифры по контролю точности и доле ошибочных ответов в нём нет. И это опрос, проведённый поставщиком инструментов наблюдаемости, — коммерческий интерес очевиден. Полезно направление: почти половина компаний выводит AI-сценарии в эксплуатацию, не имея встроенного контроля за их поведением.

Почему набор показателей должен быть маленьким

Соблазн измерить всё возникает сразу и почти всегда побеждает. Против него есть аргумент, который старше любого дашборда: показатель, ставший целью, перестаёт быть показателем.

Оговорка: полный текст статьи закрыт, и я работал с аннотацией — знаменитая формулировка в открытой части не встретилась, хотя приписывается именно этой работе. Использую её как концептуальный аргумент, а не как цитату. Практическое следствие прямое: каждый показатель, по которому оценивают людей, начинает управлять их поведением, поэтому набор из трёх чисел безопаснее набора из пятнадцати.

Как заложить наблюдаемость до запуска

Четвёртое решение — единственное, которое нельзя отыграть назад. Замер «до» занимает полдня и делается на двадцати последних результатах вручную. Компании, пропустившие этот шаг, через месяц обсуждают не эффект, а воспоминания о том, как было раньше. Об этом же — разбор того, как разложить эффект на слагаемые: без базового замера разложение невозможно в принципе.

Первые три решения кажутся техническими, но принимает их владелец процесса. Что считать отказом — вопрос не про архитектуру, а про то, где для компании проходит граница между сделанной и несделанной работой.

Четыре шага перед запуском

Вопросы, которые задают чаще всего