Локальные LLM на своём железе: скорость, память, цена

Локальная модель — это не «бесплатно» и не «медленно». Это другой обмен: вы платите не за токены, а за своё железо и за своё время. Ниже — что получилось у нас, когда мы прогнали Qwen3 и эмбеддинги прямо на своей машине.

Сколько токенов в секунду даёт локальная модель

Мерили на одной рабочей станции: 12 ядер, 30 ГБ RAM, одна видеокарта 12,5 ГБ VRAM. Модель Qwen3 14B в квантовании Q4_K_M, запуск через ollama.

Что это значит на практике. Короткий ответ на 200 токенов — около десяти секунд. Длинный документ на 16 тысяч токенов — полминуты только на то, чтобы модель его прочитала, ещё до первого слова ответа. Для рутины этого хватает, для интерактивного чата с большим контекстом — уже нет.

Чтение входа дороже генерации — и это меняет архитектуру

Обратите внимание на разрыв: вход читается в 30 раз быстрее, чем генерируется ответ. Значит узкое место — не «модель медленная», а то, сколько текста вы ей подсунули. Практический вывод мы сделали такой: не пихать в промпт весь документ целиком, а сначала отобрать нужные куски (поиском или правилами) и отдавать модели только их.

VRAM, контекст и почему 64K локально не влезает

Видеопамяти 12,5 ГБ. Сама модель в Q4 занимает около 9 ГБ, остальное — контекст и кэш. Отсюда следствие, которое проверено живьём: расширить рабочее окно Qwen3 14B до 64 тысяч токенов на этой машине нельзя — не хватает памяти по двум независимым причинам сразу. Модель, у которой окно 8 192 токена, просто отказывается стартовать в агенте, требующем 64K.

Уменьшить окно тоже не выход: если резать кэш до 8-битного, качество проседает заметнее, чем хотелось бы. Мы пробовали — и вернулись к варианту полегче: меньшая модель на этой роли.

Держать много моделей — не то же, что много экземпляров

Когда мы считали, сколько будет стоить обслуживать несколько заказчиков сразу на своём железе, вышла арифметика: один инстанс агента с моделью — около 9,3 ГБ на клиента. Два таких уже не влезают в 12,5 ГБ. Поэтому модели держим общие — один ollama на всех, — а раздельными делаем только рабочие пространства. Иначе память кончается раньше, чем клиенты.

Почему мы всё равно держим внешнего провайдера

Локальная модель у нас есть, и она работает. Но основным каналом остаётся внешний — по замеру, а не по привычке:

Разница в скорости — меньше двадцати миллисекунд, а по цене внешний канал выходит в центы за сотни вызовов. Локальная модель оправдана как страховка и как площадка для работы с закрытыми данными, но экономии в лоб она не даёт: железо уже куплено, а электричество и время дешевле не становятся.

Отдельная история — когда нужна именно локальность: персональные данные, коммерческая тайна, требования «ничего не покидает контур». Там выбор делается не по токенам в секунду.