Сколько RAM и VRAM нужно для локальных ИИ-моделей
Содержание статьи

Ollama, LM Studio и llama.cpp позволяют запустить ИИ-чат прямо на компьютере. Но скорость зависит не только от названия процессора или видеокарты. Сначала модель должна полностью поместиться в доступную память, а затем эта память должна достаточно быстро передавать данные.

Почему память важнее абстрактной «мощности»

Модель хранит миллиарды числовых весов и обращается к ним при генерации каждого токена. Поэтому важны два параметра:

  • Объём памяти.Если модель не помещается, она не запустится либо часть данных уйдёт в более медленную RAM.
  • Пропускная способность.Чем быстрее память, тем выше скорость ответа.

Именно поэтому одна и та же модель в видеопамяти работает значительно быстрее, чем в обычной оперативной памяти.

Как рассчитать размер модели

Приближённая формула: число параметров в миллиардах умножается на объём одного параметра. Для FP16 это около 2 байт, для Q8 - около 1 байта, для популярного Q4 - примерно 0,55-0,6 байта.

Практические ориентиры для Q4:

  • 3B: 2-2,5 ГБ;
  • 7B: 4-5 ГБ;
  • 13-14B: 8-9 ГБ;
  • 32-34B: 19-21 ГБ;
  • 70B: 40-43 ГБ.

Добавьте 1-4 ГБ на контекст, больше - для длинных документов, и оставьте запас операционной системе. Конкретные форматы отличаются на 10-20%, поэтому проверяйте размер выбранного файла до загрузки.

Где должна находиться модель: VRAM или RAM

  1. Полностью в VRAM.Самый быстрый сценарий: видеокарта не ждёт системную память.
  2. Часть в VRAM, часть в RAM.Работает, но обмен через шину снижает скорость.
  3. Полностью в RAM.Запуск возможен и без дискретной видеокарты, однако ответы обычно заметно медленнее.

Для ориентира: 16 ГБ RAM достаточно для большинства моделей 7B, 32 ГБ позволяют запускать 13-14B и некоторые более крупные модели. В 8 ГБ VRAM обычно помещается 7B, в 12 ГБ - 13-14B, в 24 ГБ - многие модели 30-34B. У Apple Silicon CPU и GPU используют общую память, поэтому её объём особенно важен.

Почему двухканальный режим влияет на скорость

При генерации на процессоре ограничением часто становится пропускная способность RAM. Одна планка DDR4-3200 даёт примерно 25 ГБ/с, две в двухканальном режиме - около 51 ГБ/с. Поэтому одна планка вместо двух способна почти вдвое снизить скорость локального ИИ.

Перед покупкой модулей проверьте слоты, распаянную память и поддерживаемый объём. Подробный порядок есть в материалах про Dual Channel и совместимость оперативной памяти.

Что учитывать владельцу ноутбука

  • Память может быть распаяна.В тонких моделях апгрейд иногда невозможен.
  • Длительная генерация нагревает систему.Пыль и высохшая термопаста приводят к троттлингу.
  • На батарее производительность ниже.Для тяжёлой генерации подключайте питание и используйте производительный профиль.

Если ноутбук быстро теряет частоту, сначала проверьте охлаждение. Иногда чистка ноутбука и замена термопасты дают больше пользы, чем покупка памяти.

Что обновлять в первую очередь

  1. RAM до 32 ГБ двумя модулями.Это доступный способ запустить модели 13-14B и убрать подкачку.
  2. NVMe SSD.Файлы моделей занимают десятки гигабайт; быстрый накопитель сокращает загрузку.
  3. Видеокарта с достаточной VRAM.Она даёт максимальный прирост, но в ноутбуке обычно не заменяется.

Для готового устройства сначала проверьте реальную совместимость. В Re-Save можно выполнить апгрейд SSD и RAM или получить помощь с подбором ноутбука.

Итоговый чек-лист

  1. Узнайте объём RAM и VRAM в Диспетчере задач.
  2. Проверьте каналы памяти в CPU-Z или HWiNFO.
  3. Рассчитайте Q4 по формуле: параметры × 0,6 ГБ плюс запас.
  4. Сверьте точный размер файла модели.
  5. Подключите питание и проконтролируйте температуры.