120-миллиардная модель ИИ заработала на старом компьютере благодаря мини-суперкомпьютеру

Американский стартап в области высоких технологий Tiiny AI представил революционную демонстрацию, в которой 14-летний персональный компьютер плавно работает со 120-миллиардной версией языковой модели без какого-либо подключения к интернету. Демонстрация, снятая одним непрерывным дублем, показывает работу модели GPT-OSS 120B от OpenAI на устройстве Pocket Lab — собственном персональном суперкомпьютере компании.

Цель Tiiny AI — сделать мощный искусственный интеллект уровня облачных систем доступным каждому, независимо от наличия интернет-соединения, доступа к облаку или современных графических процессоров. Недавно Pocket Lab получил признание как «Самый маленький мини-ПК для локального запуска 100-миллиардных моделей» после своего запуска 10 декабря. Устройство с энергопотреблением 65 Вт поддерживает установку популярных открытых моделей, таких как Llama, Qwen, DeepSeek, Mistral, Phi и GPT-OSS.

Для эксперимента команда использовала ПК 2011 года с процессором Intel Core i3-530, оперативной памятью DDR3 объемом 2 ГБ и ЭЛТ-монитором. После подключения Pocket Lab к старому компьютеру машина успешно запустила аналог ChatGPT, достигнув средней скорости обработки в 20 токенов в секунду. В ходе демонстрации на ПК выполнялись задачи на логику и анализ. Модель подробно, без перерывов, ответила на вопрос «Почему 1+1=2», использовав 1582 токена со скоростью 18,6 токена в секунду.

«Эта демонстрация доказывает то, что индустрия ИИ долгое время считала невозможным», — заявил директор по маркетингу Tiiny AI Самар Бходж. «Мы показываем, что для работы мощного ИИ больше не нужны огромные кластеры GPU или облачная инфраструктура. С Tiiny AI Pocket Lab продвинутый искусственный интеллект может работать приватно, автономно и на обычном оборудовании, даже на 14-летнем ПК. Будущее ИИ принадлежит людям, а не дата-центрам», — добавил он. Перенос всех вычислений непосредственно на устройство доказывает, что даже устаревшее железо теперь может демонстрировать производительность, для которой ранее требовались продвинутые системы.

В основе Pocket Lab лежат собственные технологии Tiiny AI под названием TurboSparse и PowerInfer. Вместе эти системы позволяют крупным языковым моделям работать локально при значительно более низком энергопотреблении по сравнению с традиционными системами на GPU. TurboSparse повышает эффективность, активируя только необходимые нейроны без потери интеллектуальных способностей модели. В то же время PowerInfer распределяет рабочие нагрузки ИИ между центральным процессором и нейропроцессором, улучшая производительность при значительно меньшем энергопотреблении.

По техническим характеристикам суперкомпьютер Pocket Lab оснащен 12-ядерным процессором ARMv9.2. Он имеет 80 ГБ памяти LPDDR5X и твердотельный накопитель объемом 1 ТБ, а его вес составляет около 300 граммов.

Устройство предназначено для поддержки широкого спектра персональных приложений ИИ, расширяя возможности создателей, разработчиков, исследователей, студентов и других специалистов. Оно обеспечивает многошаговые рассуждения, глубокое контекстное понимание, рабочие процессы на основе агентов, генерацию контента и безопасную обработку данных без необходимости подключения к интернету. Пользовательские данные, настройки и документы хранятся локально с шифрованием банковского уровня, что обеспечивает постоянную память и значительно более высокую конфиденциальность по сравнению с традиционными облачными системами ИИ.

Источник