Открытый движок Strata позволяет запускать модель Qwen3.8-Flash-Next на 125 миллиардов параметров прямо на домашнем компьютере — при условии, что видеокарта имеет не менее 12 ГБ памяти. Запуск возможен с конца сентября, а в версии 0.1.39 разработчики ускорили генерацию ответов.
Что изменилось в версии 0.1.39
Обновление посвящено скорости вывода. Автор проекта протестировал сборку на конфигурации: RTX 5070, процессор Ryzen 5 7600 и 64 ГБ оперативной памяти. В квантовании Q2_0 удалось получить 80 токенов в секунду на генерации кода — против 75,8 ранее. На обычном тексте показатель вырос с 68,4 до 72,7 токена в секунду.
Важно понимать: речь именно о скорости печати ответа. Чтение длинного промпта считается отдельно и зависит от объёма контекста.
Как модель помещается на домашнем ПК
Секрет в архитектуре MoE (Mixture of Experts). На каждый токен активируется лишь часть экспертов, а не вся сеть целиком. Это снижает требования к памяти.
Схема распределения такая: во видеопамяти держатся внимание, роутеры и кэш из нескольких тысяч самых востребованных экспертов. Все остальные эксперты лежат в оперативной памяти. Те, которых нет на карте, обсчитываются процессором одновременно с работой видеокарты. Дополнительно веса сжаты квантованием — это ещё уменьшает занимаемый объём.
Сколько нужно оперативной памяти
Главное требование к системе — не видеокарта, а именно RAM. С картой на 12 ГБ для полной модели в кванте Q2_0 или IQ2_XS потребуется 48 ГБ оперативной памяти. Если у вас 64 ГБ, помещаются все основные кванты.
На 32 ГБ с 12-гигабайтной картой остаётся только вариант Coder — версия для кода, лишённая половины экспертов. Вне задач программирования она заметно слабее.
Остальные требования
Помимо памяти, понадобится около 80 ГБ на диске — желательно SSD. Поддерживаются Windows и Linux. Видеокарта подойдёт от NVIDIA или AMD.
Полная информация о том, что куда помещается, а также установщик доступны в репозитории Strata на GitHub.
