Сможет ли ваш компьютер запустить локальную ИИ-модель?

Сколько VRAM нужно для локальной AI-модели

VRAM видеокарты это самый важный ресурс, потому что модель должна помещаться в неё, чтобы работать быстро. Грубый расчёт для моделей с 7 до 8 миллиардов параметров в 4-битной квантизации это около 5 до 6 ГБ, для моделей 14B около 9 до 10 ГБ, а для 70B около 40 ГБ. К этому добавьте запас на контекст и рабочее пространство, поэтому на практике всегда считайте на 1 до 2 ГБ больше самого веса модели.

Когда модель не помещается в VRAM, часть переносится в системную RAM. Тогда всё работает, но заметно медленнее, потому что данные постоянно перемещаются через шину PCIe. Поэтому вопрос "сколько VRAM" это всегда и вопрос скорости, а не только возможности запуска.

Практический порядок проверки:

1. Посмотрите точную модель видеокарты и объём VRAM (не только название серии).
2. Проверьте общий объём RAM компьютера.
3. Выберите размер модели и квантизацию.
4. Оставьте запас на контекст и операционную систему.
5. Только потом оценивайте, будет ли работать плавно или с периодическим переносом в RAM.

На компьютерах Mac с чипом Apple Silicon нет отдельной VRAM, потому что процессор и графика делят одну память. Тут считайте общую память, но имейте в виду, что часть остаётся для системы и приложений.

Что такое квантизация и какую выбрать

Квантизация это снижение точности чисел, которыми записана модель. Вместо 16 бит на параметр модель хранится с 8, 4 или меньше битами. Это drastically снижает потребление памяти, а качество ответов падает лишь слегка, особенно у 4-битных вариантов.

Пример: модель с 8 миллиардами параметров в 16-битной записи требует около 16 ГБ, в 8-битной около 8 ГБ, а в 4-битной около 4 до 5 ГБ. Поэтому 4-битная квантизация (обозначения вроде Q4_K_M) практически делает локальный AI возможным на видеокартах с 8 ГБ VRAM.

Совет для новичков: начните с 4-битной квантизации и проверьте качество на своих задачах. Если ответы недостаточно точны, а память есть, попробуйте 5 или 6 бит. Для перевода, суммаризации и простых разговоров 4 бита чаще всего вполне достаточно.

Как контекст влияет на потребление памяти

Контекст это объём текста, который модель держит "в голове" во время разговора, измеряется в токенах. Больший контекст означает, что модель может обработать более длинный документ или более длинный разговор, но и тратит больше памяти. На каждые несколько тысяч токенов контекста потребление растёт, поэтому модель, которая едва поместилась в VRAM, легко переходит границу, когда вы поднимаете контекст.

Практически: если хотите, чтобы модель читала длинные документы, планируйте дополнительную память или уменьшите размер модели. Если ведёте короткие разговоры, меньшего контекста достаточно, и он оставляет пространство для скорости.

Самые частые ошибки при оценке

Первая ошибка это смотреть только на название видеокарты. Две карты с одинаковым именем могут иметь разный объём VRAM, особенно в ноутбучных версиях. Вторая это забыть про системную RAM: если модель больше VRAM, RAM становится узким местом, а 8 ГБ суммарно сегодня тесно для серьёзной работы.

Третья ошибка это ожидание, что всё будет работать так же, как в облаке. Локальные модели отличны для приватности и работы без интернета, но скорость зависит от железа. Четвёртая это игнорирование драйверов и поддержки: без правильных драйверов видеокарта не будет использоваться для ускорения.

Если оценка показывает, что ваш компьютер не может запустить нужную модель, решения это уменьшение модели, более низкая квантизация или переход на более мощное железо. Когда речь идёт о бизнес-среде с несколькими пользователями и документами, EVI Solutions может помочь с приватным AI-сервером, который работает полностью локально.