Сколько VRAM нужно для локальной LLM: расчёт

Сколько видеопамяти нужно для локальной LLM: как посчитать самому

Объём видеопамяти определяет, какую языковую модель можно запустить дома. Разбираем формулу расчёта, влияние квантования и контекста и что делать, если модель не помещается.

Запустить языковую модель на своём компьютере сегодня может почти каждый: открытых моделей много, а инструменты вроде Ollama и LM Studio ставятся за пару минут. Но первый вопрос всегда один и тот же: потянет ли моё железо? Разберёмся, от чего зависит потребление памяти и как прикинуть его до того, как скачивать модель на десятки гигабайт.

Почему для LLM важна именно видеопамять

Модель — это огромный набор чисел (весов), которые при генерации текста постоянно читаются из памяти. Видеокарта считает быстро, но только если веса лежат в её собственной памяти (VRAM). Если модель туда не помещается, часть слоёв уходит в оперативную память и считается на процессоре, и скорость генерации заметно падает.

Поэтому главная характеристика видеокарты для локальных LLM — не частота и не поколение, а объём VRAM.

Базовая формула

Грубая оценка памяти под веса модели:

Память ≈ число параметров × байт на параметр

Сколько байт занимает один параметр, зависит от точности (квантования):

Формат	Байт на параметр
FP16 / BF16	2
8 бит (Q8)	около 1
4 бита (Q4)	около 0,5

Пример: у модели 7 миллиардов параметров.

В FP16 это примерно 7 × 2 = 14 ГБ только на веса.
В 8 битах — около 7 ГБ.
В 4 битах — около 3,5 ГБ.

Это нижняя граница. Сверху нужно добавить память на контекст и служебные расходы.

Что ещё съедает память

KV-кэш и длина контекста

Во время генерации модель хранит промежуточные данные для каждого токена в контексте — так называемый KV-кэш. Чем длиннее контекст (история чата, загруженный документ), тем больше памяти он занимает. Если вы планируете работать с длинными документами, закладывайте заметный запас сверх веса модели.

Накладные расходы

Сама программа запуска, драйверы и буферы тоже занимают память. Плюс на обычном компьютере часть VRAM уже используется системой и браузером.

Практическое правило: прибавляйте к весам модели запас на контекст и служебные нужды и не планируйте занимать видеопамять под ноль.

Квантование: компромисс между качеством и памятью

Квантование — это хранение весов с меньшей точностью. Оно позволяет запустить модель, которая иначе не поместилась бы в память.

8 бит — качество почти не отличается от оригинала, но экономия только примерно двукратная.
4–5 бит — самый популярный вариант для домашнего запуска: заметная экономия при умеренной потере качества.
2–3 бита — модель помещается почти куда угодно, но качество ответов может заметно падать.

Часто лучше взять модель побольше в 4 битах, чем модель поменьше в полной точности. Но это стоит проверять на своих задачах.

Если модель не помещается в VRAM

Есть несколько вариантов:

Частичная выгрузка на CPU. Инструменты вроде llama.cpp позволяют держать часть слоёв в VRAM, а часть в ОЗУ. Работает, но медленнее. В этом случае важен и объём оперативной памяти.
Более агрессивное квантование. Перейти, например, с 8 на 4 бита.
Модель поменьше или специально «дистиллированная» версия большой модели.
Несколько видеокарт. Многие программы умеют распределять модель между ними.
Компьютеры с общей памятью. На машинах, где процессор и графика используют одну память, доступный для модели объём может быть больше, чем у типичной игровой видеокарты.

Как выбрать железо под задачу

Прежде чем покупать видеокарту, ответьте на три вопроса:

Какие модели вы хотите запускать? Небольшие модели для автодополнения кода и чата требуют гораздо меньше памяти, чем крупные модели для сложных рассуждений.
Какая длина контекста нужна? Для коротких диалогов хватит небольшого запаса, для работы с большими документами — нет.
Насколько важна скорость? Если ответ может генерироваться неспешно, можно обойтись выгрузкой части слоёв в ОЗУ.

Посчитать за минуту

Считать всё вручную неудобно, особенно когда сравниваешь несколько моделей и вариантов квантования. На gruzdevv.ru есть бесплатный калькулятор железа для локальных LLM: укажите платформу, процессор, объём оперативной и видеопамяти, и он покажет, какие модели поместятся целиком в видеопамять, какие пойдут с частичной выгрузкой в оперативную память и в какой программе их удобнее запускать.

А в каталоге AI-моделей можно посмотреть характеристики моделей, сравнить их между собой, а у открытых моделей — почитать отчёты о запуске на разном железе.

Вопросы и ответы

Да, на процессоре и оперативной памяти. Небольшие квантованные модели работают и так, но генерация будет медленнее, чем на видеокарте.

Для домашнего запуска в первую очередь объём VRAM: он определяет, какие модели вообще поместятся. Вычислительная мощность влияет на скорость, когда модель уже помещается.

Обычно потеря качества умеренная, и для многих задач она почти незаметна. Но для точных задач, например кода или математики, стоит сравнить результат с более точной версией.

Столько, чтобы поместилась выгружаемая часть модели плюс запас для системы и других программ. Удобнее всего прикинуть это в калькуляторе.