Razer представила AIKit — открытую платформу, которая упрощает весь цикл работы с моделями ИИ, от обучения до локального запуска и дообучения.
С помощью AIKit пользователи могут автоматически настраивать графические процессоры, формировать кластеры и оптимизировать параметры для локального запуска LLM (Large Language Models), получая производительность «облачного» уровня с низкой задержкой.
Платформа позволяет быстро и безопасно запускать рабочие процессы с минимальными затратами. AIKit поддерживает работу с более чем 280000 LLM на локальных устройствах с привычными фреймворками, обеспечивая максимальную производительность и конфиденциальность данных.
Ключевые возможности Razer AIKit:
- Автоматическое обнаружение GPU и создание кластеров — платформа сама находит совместимые видеокарты и формирует оптимальные кластеры, позволяя масштабировать модели без ручной настройки.
- Интеграция с оборудованием Razer — оптимизировано для ноутбуков, внешних GPU и рабочих станций Razer с поддержкой ИИ, чтобы полностью использовать высокопроизводительные возможности оборудования.
- Открытый исходный код и поддержка сообщества — AIKit доступен на GitHub с постоянной поддержкой инженеров Razer и активного сообщества разработчиков.
Источник: TechPowerUp
