Краткий ответ
Локальный ИИ запускается так: вы устанавливаете программу для работы модели (например, Ollama или LM Studio), загружаете модель, подходящую по объёму оперативной памяти, и запускаете её в этой программе или через её интерфейс. Всё остаётся на компьютере, но скорость и качество зависят от процессора, графики и памяти, поэтому для начала лучше выбрать модель поменьше.
Как проявляется проблема
- Вы хотите использовать ИИ, но не можете отправлять данные в облако
- ИИ-инструмент в браузере не работает или недоступен
- Компания требует обрабатывать документы без отправки на внешние серверы
- Компьютер работает медленно при запуске крупной модели
- Модель загружается, но не отвечает или падает
Частые причины
Недостаточно оперативной памяти или видеопамяти
Модели загружаются в оперативную память, а крупным моделям требуется несколько десятков ГБ. Если памяти не хватает, программа переходит на диск, и работа становится очень медленной.
Неправильный выбор модели
Модель с большим числом параметров даёт лучшие ответы, но для домашнего компьютера часто слишком тяжела. Меньшие модели работают быстрее при немного более слабом качестве.
Нет поддержки аппаратного ускорения графики
Без подходящего драйвера или с неподдерживаемой графикой модель работает только на процессоре, что значительно медленнее.
Недостаточно места на диске
Каждая модель занимает несколько ГБ, а программы также хранят временные файлы. Без свободного места загрузка или работа прерываются.
Сеть или прерывание загрузки
Первая загрузка модели большая, поэтому слабое соединение или обрыв приводят к неполному файлу и ошибке при запуске.
Пошаговое решение
- 1
Проверьте оборудование
Откройте страницу с основными сведениями о системе: в Windows
Параметры > Система > О системе, в macOSменю Apple > Об этом Mac, а в Linux просмотрите настройки системы или в терминале выполнитеfree -h. Посмотрите объём оперативной памяти и тип процессора. Для меньшей модели примерно от 3 до 4 миллиардов параметров рекомендуется 8 ГБ ОЗУ, а для моделей от 7 до 8 миллиардов параметров 16 ГБ. Проверьте также свободное место на диске, не менее 10 до 20 ГБ. - 2
Выберите программу для локальной работы
Самый простой путь это программы, которые сами загружают и запускают модели, например Ollama (работает в командной строке) или LM Studio (имеет графический интерфейс). Установите одну из них с официального сайта, следуя инструкции для вашей системы. Не загружайте установщики с неизвестных сайтов и по ссылкам из писем.
- 3
Загрузите модель поменьше
В LM Studio откройте вкладку поиска моделей, введите название семейства моделей и выберите версию с меткой размера, соответствующей вашей оперативной памяти. В Ollama это делается командой в терминале, например
ollama pull, за которой следует название модели. Начните с меньшей модели, а позже попробуйте большую. - 4
Запустите модель и задайте первый вопрос
В LM Studio выберите загруженную модель и нажмите кнопку загрузки, затем в поле для разговора введите короткий вопрос. В Ollama запустите модель командой
ollama runс названием модели, затем введите вопрос в той же строке. Первый ответ может занять больше времени, так как модель загружается в память. - 5
Проверьте, работает ли без интернета
Отключите Wi-Fi или отсоедините сетевой кабель и повторите вопрос. Если ответ по-прежнему приходит, модель работает локально и данные не покидают компьютер. Если программа требует соединения, проверьте, не выбрали ли вы случайно опцию работы через облако.
- 6
Настройте ускорение на графике
В LM Studio в настройках модели найдите опцию для числа слоёв, отправляемых на графику, и увеличивайте её постепенно, пока не получите более быструю работу без ошибки. В Windows и macOS сначала обновите драйвер графики или систему. Если компьютер начинает падать или зависать, уменьшите число слоёв.
- 7
Настройте длину ответа
Длинные ответы тратят время и память. В настройках разговора уменьшите максимальное число токенов и температуру до умеренного значения. Для резюме и переписывания текста просите более короткие ответы и задавайте конкретные вопросы.
- 8
Сохраните настройки и сделайте резервную копию
Запишите, какую модель и какие настройки вы используете, чтобы легко их восстановить. Если программа хранит разговоры в локальной папке, периодически делайте копию этой папки. Модели можно загрузить снова, но настройки и историю разговоров нет.
Когда локальной модели недостаточно
Локальные модели хороши для переписывания, сжатия коротких текстов, перевода и работы с конфиденциальными данными, которые не должны покидать компьютер. Для сложных анализов, длинных документов и самых свежих сведений они часто слабее облачных инструментов, так как не знают событий после момента обучения и не имеют доступа в интернет. Если вам нужно лучшее качество, сначала попробуйте большую модель на компьютере с большим объёмом оперативной памяти, а затем рассмотрите выделенный сервер в компании. Для делового использования заранее определите, кто может запускать модели, где хранятся файлы и какие данные разрешено вводить, даже когда всё остаётся локально.
Как избежать повторения
- Загружайте программы и модели только с официальных сайтов и из официальных источников
- Перед запуском крупной модели проверьте свободную оперативную память и место на диске
- Регулярно обновляйте драйверы графики и саму программу для локальной работы
- Храните копию важных настроек и истории разговоров
Когда лучше обратиться к специалисту
Обратитесь в ИТ-поддержку, если модель не загружается даже после уменьшения размера, если компьютер падает при работе с графикой или если в компании нужно установить правила для локальной обработки конфиденциальных данных.
ИИ-автоматизация · ИИ-агенты, которые обрабатывают документы, письма и данныеЧастые вопросы
Действительно ли локальный ИИ работает без интернета?
Да, когда модель загружена и загружена в память, ответы обрабатываются на вашем компьютере. Интернет нужен только для первой загрузки программы и модели, а также для последующих обновлений.
Сколько оперативной памяти мне нужно для локальной модели?
Для меньшей модели примерно от 3 до 4 миллиардов параметров достаточно 8 ГБ ОЗУ, а для моделей от 7 до 8 миллиардов параметров рекомендуется 16 ГБ. Крупные модели требуют значительно больше памяти и более мощной графики.
Безопасны ли мои данные при использовании локальной модели?
Данные остаются на компьютере и не отправляются провайдеру, но это не значит, что они автоматически защищены. Доступ к компьютеру, копии файлов и возможное совместное использование результатов по-прежнему подчиняются правилам компании.