Краткий ответ
Для локального ИИ решающее значение имеет VRAM видеокарты, а не мощность процессора. Для моделей от 7 до 8 миллиардов параметров достаточно 8 ГБ, для 13-14 миллиардов нужно 12-16 ГБ, а для моделей от 30 миллиардов и выше реально 24 ГБ или больше. Если вы работаете только время от времени, 16 ГБ - разумный компромисс.
Как проявляется проблема
- Модель загружается медленно или вообще не помещается в память видеокарты
- Компьютер начинает тормозить и "заикаться", как только ИИ-модель начинает отвечать
- Вентиляторы работают на полную мощность, а ответы запаздывают на несколько секунд
- Одно приложение работает, а другое выдает ошибку о недостатке памяти
- Вы купили дорогую видеокарту, а модель все равно работает из памяти процессора
Частые причины
Модель больше, чем VRAM
Когда модель не помещается в память видеокарты, часть переносится в системную RAM или на диск, и скорость падает в десять раз.
Неправильный формат и квантование
Одна и та же модель в полной точности требует в несколько раз больше памяти, чем квантованная версия, поэтому выбор файла часто значит больше, чем сама карта.
Производитель видеокарты и поддержка
Некоторые карты работают с локальными ИИ-инструментами с дополнительной настройкой, а некоторые поддерживаются сразу, что влияет на то, сколько VRAM реально можно использовать.
Другие программы занимают память
Браузер с множеством вкладок, игры и приложения для обработки видео занимают часть VRAM еще до того, как модель начнет загружаться.
Недостаточно системной RAM
Если модель больше VRAM, компьютер использует системную память, поэтому 16 ГБ в сумме быстро становятся узким местом.
Пошаговое решение
- 1
Определите, что вы будете запускать
Сначала определите назначение: чат и перевод, генерация изображений, транскрипция звука или работа с документами. Для разговора и текста достаточно меньшей модели, тогда как генерация изображений и видео требует больше памяти. Запишите две или три конкретные модели, которые хотите использовать, потому что карта выбирается под них, а не наоборот.
- 2
Рассчитайте необходимый VRAM
Грубый расчет: количество параметров модели в миллиардах умножить на размер на параметр. При квантовании около 4 бит это примерно 0,6 ГБ на миллиард параметров, поэтому модель на 8 миллиардов требует около 5 ГБ, а на 14 миллиардов около 9 ГБ. Добавьте 2-3 ГБ для контекста и работы приложения. В 16-битной точности считайте около 2 ГБ на миллиард параметров.
- 3
Выберите класс VRAM
Для моделей до 8 миллиардов параметров достаточно 8 ГБ. Для 13-14 миллиардов с длинным контекстом реально 12-16 ГБ. Для моделей от 30 миллиардов и выше, а также для более требовательной генерации изображений и видео рекомендуется 24 ГБ или больше. Если вы время от времени используете и большие модели, 16 ГБ - лучший компромисс между ценой и полезностью.
- 4
Проверьте поддержку для вашей системы
На компьютере с Windows проверьте в
Task Manager > Performance > GPU, сколько памяти имеет карта и сколько сейчас занято. Для карт NVIDIA установите актуальный драйвер с официального сайта производителя, потому что локальные ИИ-инструменты чаще всего лучше работают с поддержкой CUDA. Карты AMD и Intel поддерживаются в новых инструментах, но с большей настройкой. - 5
Согласуйте остальную конфигурацию
Вместе с видеокартой обеспечьте как минимум 32 ГБ системной RAM, если планируете модели больше VRAM, потому что тогда часть модели хранится в системной памяти. Блок питания должен выдерживать пиковую нагрузку карты, а корпус должен иметь достаточный воздушный поток. SSD не менее 1 ТБ практичен, потому что модели занимают по несколько десятков ГБ.
- 6
Протестируйте перед покупкой
Если у вас есть компьютер с любой новой видеокартой, запустите нужную модель и следите в
Task Manager > Performance > GPU, сколько памяти используется и не перетекает ли она в системную память. Это даст вам реальное представление о том, сколько VRAM вам нужно. Если карте не хватает памяти, инструмент, поддерживающий перетекание, будет работать значительно медленнее, а некоторые инструменты выдадут ошибку. - 7
Решите между картой и готовым компьютером
Настольная карта устанавливается в существующий корпус и легко меняется позже, но проверьте длину карты, количество контактов питания и мощность блока питания. Портативные компьютеры с мощной видеокартой дороже и сложнее модернизируются, а одноименная карта в портативном компьютере часто имеет меньше VRAM, чем настольная версия. Для постоянной работы дома или в офисе настольный компьютер выгоднее.
- 8
Установите инструмент и проверьте работу
Установите инструмент для локального запуска моделей с официального сайта и загрузите модель, соответствующую вашей памяти. Следите за временем до первого ответа и скоростью генерации; если все в порядке, модель остается в VRAM. Если инструмент сообщает об ошибке недостатка памяти, уменьшите размер модели или длину контекста, прежде чем думать о новой карте.
Когда лучше перейти в облако или разделить один компьютер
Локальный ИИ имеет смысл, когда данные не должны покидать компьютер или когда вы используете модель ежедневно. Если вы запускаете модель несколько раз в месяц, оплата по потреблению в облачном сервисе часто дешевле, чем карта на 24 ГБ. В компании с несколькими пользователями рассмотрите один более мощный компьютер, который делится моделью по локальной сети, вместо того чтобы каждый покупал мощную видеокарту. Для экспериментов достаточно и карты на 12 ГБ с меньшими моделями, а позже можно модернизировать. Не покупайте самую мощную карту заранее: сначала проверьте, какие модели вы действительно используете.
Как избежать повторения
- Перед покупкой проверьте точную модель карты и объем VRAM, а не только название серии
- Поддерживайте драйверы видеокарты в актуальном состоянии с официального сайта производителя
- Закройте ненужные программы перед запуском более крупной модели
- Обеспечьте как минимум 32 ГБ системной RAM, если используете модели больше VRAM
Когда лучше обратиться к специалисту
Обратитесь в ИТ-поддержку, если вы не уверены, какие модели будете использовать, если выбираете компьютер для нескольких пользователей в компании или если инструмент сообщает об ошибках памяти даже после уменьшения модели.
Обслуживание ИТ-инфраструктуры · Серверы, сети, резервное копирование, безопасность и helpdeskЧастые вопросы
Достаточно ли 8 ГБ VRAM для локального ИИ?
Для моделей до 8 миллиардов параметров в квантованной версии да, с коротким контекстом. Для больших моделей или длинных разговоров потребуется больше памяти, иначе модель будет работать значительно медленнее.
Что важнее: видеокарта или процессор?
Для локального ИИ решающее значение имеет видеокарта и объем VRAM. Процессор и скорость диска влияют на загрузку модели, но не на скорость ответа, когда модель помещается в память карты.
Могу ли я использовать интегрированную графику?
Можете для меньших моделей, но скорости значительно ниже, а интегрированная графика делит память с системной. Для серьезной работы рекомендуется дискретная карта с собственной VRAM.