Зрелые технологии дают предсказуемый эффект, генеративные — новые продукты

Что произошло

Обсуждение ИИ в бизнесе за последние годы почти полностью сместилось к генеративным моделям: языковые модели, агенты, ассистенты, копилоты. Бюджеты, конференции и запросы к подрядчикам говорят о них. Между тем в отчётности компаний считаемый эффект от ИИ в промышленной эксплуатации сегодня дают в первую очередь другие технологии — те, что эксплуатируются в отраслях не первый год: компьютерное зрение, рекомендательные системы, классификация текста, распознавание речи.

Этот разрыв между вниманием и отдачей — не аномалия и не признак того, что генеративные модели «не работают». Он объясняется разницей в зрелости методов измерения. У технологии, которая эксплуатируется давно, есть принятые метрики, известная стоимость операции и понятная процедура приёмки. У технологии, которая появилась недавно, всё это ещё строится — каждой компанией отдельно и за свои деньги.

Сдвиг, который происходит сейчас, — рынок начинает разделять два класса задач. Первый: улучшить существующий процесс с известной метрикой — здесь работают зрелые технологии, и их экономика считается до старта. Второй: создать процесс или продукт, которого раньше не было, — здесь работают генеративные модели, и их экономика считается по ходу. Компании, которые путают классы, получают либо дорогой пилот без эффекта, либо отказ от возможностей, которые действительно новые.

Как это устроено

Три свойства зрелой технологии

Технология считается зрелой не по возрасту, а по наличию трёх свойств, каждое из которых напрямую влияет на экономику проекта.

Известные метрики. Для детекции объектов на изображении — точность и полнота на размеченной выборке. Для рекомендаций — конверсия, средний чек, доля повторных покупок в контрольной группе. Для классификации обращений — доля верно определённых категорий. Для распознавания речи — доля ошибок в словах. Эти метрики приняты отраслью, их понимает финансовый директор, их можно сравнить между поставщиками и между версиями. Спор о том, «стало ли лучше», сводится к таблице.

Стабильная стоимость. Модель обучена один раз, стоимость инференса на одну операцию известна и почти не меняется. Поведение модели не меняется, пока её не переобучили, а переобучение — контролируемое событие с регрессом. Бюджет на год вперёд считается умножением объёма операций на стоимость одной.

Понятная приёмка. Есть эталонная выборка, размеченная людьми до старта. Есть способ прогнать модель на ней и получить число. Есть согласованный порог: выше — принимаем, ниже — дорабатываем. Приёмка занимает дни, а не кварталы, и не требует, чтобы эксперт перечитывал каждый результат.

Почему у генеративных сценариев этих свойств пока нет

Выход генеративной модели — текст, и у текста нет единой метрики качества. Черновик ответа клиенту может быть верным по фактам, но неуместным по тону; резюме документа — полным, но упустившим единственный важный пункт. Метрику приходится строить под каждую задачу: собирать оценочный набор, договариваться, что считать ошибкой, привлекать экспертов для разметки. Это работа, которую при зрелых технологиях отрасль уже сделала за вас.

Поведение модели меняется от версии к версии, и не всегда в сторону улучшения для вашей задачи: внешний сервис обновляет модель по своему графику, и вчерашний промпт сегодня даёт другой результат. Даже в собственном контуре смена модели требует регресса на оценочном наборе. Стоимость операции зависит от длины контекста, числа итераций, объёма подтянутых документов — она не константа, а функция от устройства сценария.

Приёмка требует человека. Пока нет автоматической проверки, каждый результат либо проверяет эксперт, либо принимается на веру. Первое дорого, второе рискованно. Именно поэтому в экономике генеративного сценария стоимость верификации, а не токенов, определяет, окупится ли он.

Что генеративные технологии дают взамен

Если бы генеративные модели только уступали зрелым, разговор был бы коротким. Но они делают то, чего зрелые технологии не умеют вовсе: работают с неструктурированным входом и производят структурированный или связный выход без обучения под каждую задачу.

Из этого рождаются новые продукты, а не улучшения старых. Разбор неструктурированных документов — договоров, писем, актов в произвольных форматах — с извлечением полей и проверкой условий. Диалоговые агенты, ведущие клиента по нескольким шагам. Подготовка черновиков писем, отчётов, ответов на запросы регулятора. Поиск по корпоративным знаниям с ответом, а не со списком ссылок. Ни один из этих сценариев не существовал как автоматизированный процесс до генеративных моделей, поэтому их эффект нельзя посчитать как «улучшение на столько-то»: сравнивать не с чем, кроме ручного труда.

Порядок внедрения и почему он важен

Последовательность «сначала зрелые, потом генеративные» — не консерватизм, а способ снизить стоимость обучения организации. Первый ИИ-проект в компании решает не только свою задачу. Он создаёт владельцев процессов, привыкших отвечать за метрику; приёмочные критерии, которые можно переиспользовать; контур с логированием и откатом; опыт эксплуатации у ИТ-команды; доверие финансовой функции к цифрам.

Зрелая технология позволяет получить всё это на безопасном материале: метрика готова, приёмка понятна, стоимость известна. Если первым идёт генеративный сценарий, организации приходится одновременно учиться эксплуатации ИИ и строить метрики с нуля. Обе задачи решаемы, но вместе они делают первый проект длинным и дорогим, а его результат — трудно защищаемым. Генеративные сценарии вторым шагом попадают в среду, где уже есть всё необходимое: оценочный набор строится по образцу приёмочной выборки, контур переиспользуется, владелец процесса понимает, что от него требуется. Стоимость входа падает в разы.

Где граница размывается

На практике лучшие сценарии часто гибридные. Распознавание речи (зрелое) переводит звонок в текст, классификатор (зрелый) определяет тему, а генеративная модель готовит резюме для оператора. Компьютерное зрение находит дефект, генеративная модель составляет описание для акта. Генеративная модель извлекает поля из документа, а правила — зрелая технология в самом буквальном смысле — проверяют их на допустимость.

В таких связках генеративная часть даёт новую возможность, а зрелая — измеримость и дешёвую проверку: выход структурирован, а не свободный текст. Именно так и выглядит переход от первого шага ко второму — не замена одного другим, а надстройка.

Сравнение по признакам

Как это выглядит на практике

Производственная компания. Запрос был на «ИИ-ассистента для инженеров» — генеративный поиск по технической документации. Диагностика показала, что документация разрозненна, а измерить эффект невозможно: никто не фиксировал, сколько времени инженеры тратят на поиск. Параллельно выяснилось, что на линии стоят камеры, а брак учитывается вручную. Начали с компьютерного зрения: метрика — доля выявленных дефектов на размеченной выборке, эффект — снижение брака в выходном контроле. За квартал появились владелец, приёмка и контур. Вторым проектом стал тот самый ассистент, но уже с оценочным набором вопросов и ответов, собранным по образцу первой приёмки.

Страховая компания. Хотели генеративное резюме звонков для операторов. Начали с распознавания речи и классификации причин обращения — зрелых технологий с известными метриками. Это дало данные, которых раньше не было: структурированную историю обращений с темами. Через два квартала генеративное резюме подключили как надстройку, и его качество проверяли не «на глаз», а по совпадению с классификатором и по выборочной оценке операторов.

Торговая компания. Пошла сразу в генеративного агента для закупок: агент должен был анализировать предложения поставщиков и готовить сравнение. Данные о закупках были неполными, оценочного набора не было, каждое сравнение перепроверял закупщик целиком. Через несколько месяцев проект свернули: стоимость верификации превысила экономию. Вернулись к прогнозу спроса на истории продаж — зрелой задаче с понятной метрикой ошибки прогноза. Агент для закупок вернулся в план на следующий год, уже с требованием к структурированному входу.

Что это значит для российской компании

Для зрелых технологий отечественный стек и открытые модели закрывают потребность полностью: компьютерное зрение, классификация и распознавание речи разворачиваются в закрытом контуре на умеренных вычислительных мощностях, не требуют внешних сервисов и не создают вопросов по 152-ФЗ. Это делает их естественным первым шагом для компаний под режимом КИИ, где к 1 января 2028 года значимые объекты должны перейти на отечественные решения.

Генеративные сценарии в российском контексте почти всегда означают собственный или гибридный контур: российские модели или открытые модели с дообучением на корпоративных данных, инференс на vLLM, векторное хранилище вроде Qdrant для поиска. Это дополнительные требования к инфраструктуре и людям, и их нужно учесть в экономике второго шага, а не обнаружить после пилота на внешнем сервисе.

Кадровый вопрос решается для двух классов по-разному. Зрелые технологии требуют инженеров данных и разметки — компетенция, которую можно передать заказчику за один проект. Генеративные требуют ещё и оценочных наборов и процедуры верификации, то есть вовлечения предметных экспертов. Там, где эксперты уже привыкли размечать приёмочные выборки на первом шаге, второй проходит заметно быстрее.

Зрелая технология учит организацию считать. Генеративная — проверяет, научилась ли она.

Что делать: пошагово

1. Разделите список идей на два класса. По каждому сценарию ответьте: это улучшение процесса с существующей метрикой или создание процесса, которого нет? Первый класс — кандидаты на зрелые технологии, второй — на генеративные. Смешанные сценарии разложите на части.
2. Для первого класса проверьте данные. Камеры, история продаж, поток типовых документов или звонков, размеченная история обращений. Там, где данные есть, — считайте экономику и запускайте. Там, где нет, — сбор данных становится первым проектом.
3. Зафиксируйте метрику и приёмочный порог до старта. Размеченная эталонная выборка, согласованный порог качества, базовый замер процесса. Подпись владельца процесса и финансовой функции.
4. Постройте контур первого проекта как переиспользуемый. Логирование, мониторинг качества, регресс при обновлении, откат. Это инфраструктура для всех последующих сценариев, включая генеративные.
5. Доведите первый сценарий до отчётности. Не до демонстрации, а до строки в бюджете, которую можно защитить. Только после этого переходите ко второму классу.
6. Для генеративного сценария начните с оценочного набора. Вопросы и эталонные ответы, документы и ожидаемые извлечения — в объёме, который позволяет различать версии. Без набора запуск не имеет смысла.
7. Спроектируйте верификацию до выбора модели. Кто проверяет, как быстро, по какому признаку. Выход должен быть структурирован и привязан к источнику, чтобы проверка занимала минуты, а не повторяла работу целиком.
8. Собирайте гибриды. Где возможно, ставьте генеративную модель поверх зрелой: речь в текст, классификатор, извлечение полей с проверкой правилами. Это снижает стоимость верификации и делает результат измеримым.

Типичные ошибки

• Начать с генеративного ассистента «для всех сотрудников». Нет процесса, нет метрики, нет владельца; эффект невозможно отделить от впечатлений. Вместо этого — один процесс, одна метрика, один владелец, и лучше на зрелой технологии.
• Считать зрелые технологии «прошлым веком». Возраст метода не связан с его экономикой; у зрелых сценариев стоимость и эффект считаются до старта, что для первого проекта важнее новизны. Вместо этого — выбирать по считаемости, а не по дате появления.
• Принимать генеративный сценарий «на глаз». Несколько удачных примеров в демонстрации не говорят о качестве на потоке. Вместо этого — оценочный набор и регулярная выборочная проверка с фиксацией доли ошибок.
• Пропустить регресс при обновлении модели. Новая версия ведёт себя иначе на ваших данных, и это выясняется на клиентах. Вместо этого — прогон оценочного набора перед каждым обновлением, с правом отката.
• Не считать стоимость верификации. Токены дешевеют, работа эксперта — нет; сценарий с полной перепроверкой не окупится при любой цене модели. Вместо этого — проектировать выход так, чтобы проверка была точечной.

Как понять, что вы на верном пути

• Каждый сценарий в плане отнесён к одному из двух классов, и класс определяет способ измерения.
• Первый проект идёт на технологии с принятой отраслевой метрикой, и его эффект зафиксирован в базовом замере до старта.
• Эталонная выборка размечена и подписана владельцем процесса до начала разработки.
• Контур первого проекта спроектирован как переиспользуемый: логирование, регресс, откат.
• Для каждого генеративного сценария существует оценочный набор и описанная процедура верификации.
• Стоимость проверки результата посчитана отдельно от стоимости генерации.
• Обновление модели проходит через регресс, а не через «посмотрим, как поведёт себя».
• Эффект первого проекта показан в отчётности, а не только в презентации.

Вопросы, которые нам задают

У нас нет камер, истории продаж и потока звонков. Значит, зрелые сценарии нам недоступны и надо сразу идти в генеративные? Скорее всего, у вас есть поток документов и обращений — материал для классификации, зрелой задачи с понятной метрикой. Если и его нет, проблема не в выборе технологии, а в отсутствии данных, и генеративный сценарий её не решит. Первым проектом становится сбор и структурирование данных.

Не устареет ли зрелый сценарий, пока мы его внедряем, если генеративные модели развиваются так быстро? Развитие генеративных моделей не отменяет метрик, приёмки и контура, которые вы построите на первом проекте, — это и есть главный результат, и он переносится. Сама модель компьютерного зрения или классификатор будут работать столько, сколько работает процесс, а их замена — рутинное обновление, а не новый проект.

Как понять, что генеративный сценарий не окупится, до того как потрачены деньги? Посчитайте стоимость верификации: сколько времени эксперта уйдёт на проверку одного результата и можно ли эту проверку сделать точечной. Если проверка сводится к повторению работы целиком, сценарий не окупится при любой стоимости модели. Если результат структурирован и привязан к источнику, а эксперту нужно проверить несколько находок, — экономика сходится.

Проведите ревизию плана ИИ-инициатив по одному признаку: у какого сценария метрика и приёмка уже существуют, а у какого их ещё предстоит построить. Первые — запускайте, вторые — ставьте в очередь за первыми и начинайте с оценочного набора. Порядок в этом списке определяет, за сколько кварталов компания научится считать эффект от ИИ.