Промпт-инженерия: почему точность промпта важнее выбора модели

Промпт-инженер — это не про «вежливо попросить». Это про то, чтобы числа и критерии внутри инструкции совпадали с тем, по чему результат принимают. Ниже — наш собственный дефект и что он нам открыл.

Числа в промпте разошлись, и агент оптимизировал не то

В схеме одной из наших задач стояла строка вида «ровно 16 абзацев по 20–26 слов (это 340–430 слов)». Считаем: 16 × 20 = 320, а не 340. 16 × 26 = 416, а не 430. Внутри одной инструкции лежали два противоречащих ориентира.

Хуже было другое: промпт требовал минимум 320 слов, а принимать результат мы готовы были уже от 170. Агент старательно исполнял не то, что его проверяло. Дефект снялся не «уговорами» модели, а приведением чисел к одному и тому же значению в промпте и в проверке.

Но одной точности промпта не хватило

Честный результат замера: после приведения чисел текст длиннее не стал. Медиана держалась около 285–294 слов при двух разных формулировках про абзацы — разница в пределах шума. То есть длина — это параметр модели и контекста, а не то, что возвращается одной фразой в инструкции.

Что действительно помогло: убрать полную перегенерацию на одну плохую фразу. Вместо 12 000 токенов из-за одного предложения в 19 слов — точечная правка этого предложения. Проверяли на живом тексте.

Дешевле поправить, чем переписать заново

Прямое следствие для промпт-инженерии: если результат почти годный, не надо просить всё заново. Инструкция под полную перегенерацию — самый дорогой способ выразить недовольство. Дешевле вторым вызовом попросить исправить конкретный дефект, назвав его.

Защита от инъекций — часть промпта, а не отдельная тема

Любая инструкция, которая доходит до модели вместе с пользовательским текстом, может быть переписана этим текстом. Первый контур — правила по типовым формулировкам, они стоят до платного вызова. На нашем стенде можно прогнать свой текст и увидеть, какие правила сработали.

Проверить свой текст: промпт-стенд считает по-настоящему, прямо в браузере.