Создание ПК для локального запуска моделей ИИ заметно отличается от сборки геймерского компьютера. Здесь важны не частоты процессора и RGB-подсветка, а объем видеопамяти, пропускная способность и быстрые накопители для моделей размером в десятки гигабайт.
При выборе компонентов важно понимать, какие ресурсы требуются для инференса ИИ:
- Видеопамять GPU – ключевой фактор. Чем больше VRAM, тем более крупные модели можно запускать.
- Системная RAM. Если модель не помещается в VRAM, она частично выгружается в оперативную память. Большой объем RAM позволяет работать с более тяжёлыми моделями, пусть и медленнее.
- Пропускная способность памяти. Скорость обмена данными между процессором и памятью напрямую влияет на скорость генерации токенов. VRAM обычно в 10–20 раз быстрее системной RAM.
- Хранилище. Модели могут занимать 4–50 Гбайт и больше. NVMe SSD заметно ускоряет загрузку и переключение между моделями.
- Процессор не столь важен, как видеокарта, однако современный многоядерный CPU обеспечивает стабильную работу всей системы.
Стартовый уровень: знакомство с локальным ИИ (модели с 3–7 миллиардами параметров)
Это уровень для новичков, желающих опробовать локальные модели без полной перестройки ПК.
Рекомендуемые комплектующие:
- GPU: 8 Гбайт VRAM (например, RTX 5060)
- RAM: 16–32 Гбайт DDR4/DDR5
- Хранилище: 500 Гбайт или 1 Тбайт NVMe SSD
- CPU: современный 6-ядерный процессор (Intel Core Ultra 5 235, AMD Ryzen 5 9600X)
- Блок питания: 550–650 Вт
Что можно запускать?
Квантизированные 7B модели (например, Llama 3 8B Q4) помещаются в 8 Гбайт VRAM и работают с адекватной скоростью. Подходит для диалогов, суммаризации текстов и базовой помощи в коде. Модели выше 7B уже частично выгружаются в RAM и работают медленнее.
Средний уровень: серьёзная работа с локальным ИИ
Указанная ниже конфигурация подходит для работы с 13B моделями полностью на GPU, больших контекстных окон и многозадачности.
Рекомендуемые комплектующие:
- GPU: 12–16 Гбайт VRAM (например, RTX 5070 Ti)
- RAM: 32–64 Гбайт DDR5
- Хранилище: 1–2 Тбайт NVMe SSD
- CPU: современный 8-ядерный процессор (Intel Core Ultra 7 265K, AMD Ryzen 7 9700X)
- Блок питания: 750 Вт
Что можно запускать?
Модели 13B полностью помещаются в VRAM и предлагают более качественные ответы. Частичное использование большого объема RAM позволяет запускать даже 70B модели, но с ощутимым замедлением.
Энтузиасты: максимальная производительность
Ниже конфигурация для тех, кто хочет работать с крупными моделями (70B+) и параллельно использовать несколько моделей.
Рекомендуемые комплектующие:
- GPU: 24+ Гбайт VRAM (RTX 3090, 4090, 5090)
- RAM: 64–128 Гбайт DDR5
- Хранилище: 2–4 Тбайт NVMe SSD
- CPU: современный процессор с 16–24 ядрами (Intel Core Ultra 9 285K, AMD Ryzen 9 9950X3D)
- Блок питания: 1000 Вт
Что можно запускать?
Квантизированные 70B модели помещаются в 24 Гбайт VRAM, а 128 Гбайт RAM позволяют работать с крупными моделями с частичной выгрузкой. NVMe SSD ускоряет загрузку моделей до нескольких секунд.
Важные аспекты, которые нельзя игнорировать
- Охлаждение: длительная работа GPU и CPU под нагрузкой требует качественного охлаждения. Корпуса с хорошей вентиляцией и жидкостные СО обеспечивают необходимую стабильность.
- Блок питания: надежный PSU с запасом мощности предотвращает сбои.
- Скорость хранения данных: NVMe SSD сокращает время загрузки моделей с минут до секунд.
Теперь следить за нашими публикациями можно в Google Новостях, а прямую речь главреда, комментарии и самое интересное за день вы найдете в Telegram.
