Автоматизация с ИИ: цена, задержка и где она не работает

Автоматизация с ИИ ломается не там, где её ждут. Не на качестве модели, а на счёте за токены и на времени ожидания. Мы прошли это на своих задачах и собрали цифры, по которым видно, что именно надо мерить до внедрения.

Задержка против цены: 5 секунд и цена за миллион

Практический замер по двум каналам, которыми пользуемся ежедневно:

Разрыв в двадцать раз по времени — при том, что задачи похожи. Вывод: не всякую автоматизацию надо строить на генерации. Где нужно выбрать из готового списка, дешевле и быстрее поставить модель-решатель, чем просить языковую модель «подумать».

Счёт в 17 раз: размышления, которых никто не заказывал

Самая дорогая наша находка. Языковая модель умеет тратить токены на внутренние размышления — и по умолчанию делала это на максимуме, даже когда писала четыреста слов детской сказки. Один параметр в запросе меняет всё:

Девяносто четыре процента счёта уходило в «думание» над задачей, где думать не о чем. Текст при этом не пострадал: стало даже чище и короче. Что мерить до внедрения: не только цену за миллион токенов, но и сколько токенов уходит в никуда.

Дешёвая защита до модели, а не после

Вторая строчка счёта — вызовы на мусоре. Прежде чем платить за обращение к модели, дешёвый контур правил отсекает явные попытки взлома промпта: типовые формулировки вида «игнорируй предыдущие инструкции». Стоит ноль миллисекунд и ноль рублей, потому что это регулярные выражения в вашем же коде.

На нашем стенде шесть типовых правил, и на образце текста два из них сработали, не допустив модель до вызова. Мелочь? Нет: без этого контура любая строка, пришедшая от пользователя, уходит в платный вызов и может переписать системную инструкцию.

Где автоматизация с ИИ не работает

Отдельно про запрос «где автоматизация с ии не работает» — он у нас в ядре есть, и ответ честный:

• Где нет замера ошибки. Пока вы не знаете, в скольких случаях из ста модель отвечает верно, вы не автоматизируете процесс — вы надеетесь.
• Где стоимость ошибки превышает экономию. Если неверный ответ стоит дороже, чем человек, экономить не на чем.
• Где ответ нужен мгновенно на большом объёме. Длинный вход — это десятки секунд только на чтение.
• Где данные нельзя выпускать из контура, а своего железа нет. Локальная модель решает это, но железо придётся купить и время потратить.

Обратная сторона: там, где ответ дешёв, ошибка видна глазом и процесс повторяется тысячу раз — автоматизация окупается на третий день.