$450 и 19 часов: UC Berkeley бросает вызов OpenAI

На этой неделе команда NovaSky из UC Berkeley представила открытую модель Sky-T1-32B-Preview, которая по производительности сопоставима с o1-preview от OpenAI. Как сообщает ZDNet, на разработку модели ушло всего 19 часов и $450 благодаря восьми видеокартам Nvidia H100.

Как была создана Sky-T1

Sky-T1 основана на настройке модели Qwen2.5-32-Instruct от Alibaba, а данные для обучения были сгенерированы с использованием QwQ-32B-Preview — другой открытой модели. Такой подход, как утверждают разработчики, позволил снизить затраты, а качество данных обеспечивалось тщательной выборкой и переписыванием с помощью GPT-4o-mini.

«Мы использовали смесь данных из различных областей, применяя процедуру отбора для улучшения качества,» — объясняет команда NovaSky в своём блоге.

Результаты: сопоставимо с OpenAI

На тестах по математике и кодированию Sky-T1 превзошла или сравнялась с o1-preview. Однако модель не дотянула до уровня o1 на сложных задачах, связанных с физикой.

OpenAI уже продвигает o3, который обещает быть ещё более мощным. Тем не менее, успех Sky-T1 показывает, что высокоуровневые ИИ-возможности могут быть доступны и демократичны.

Почему это важно?

Sky-T1 открыта полностью: весовые коэффициенты, данные и технические детали доступны для всех. Такой подход стимулирует развитие ИИ-сообщества и снижает зависимость от крупных игроков рынка.

Sky-T1 — это не просто модель, а сигнал: доступные и эффективные разработки могут стать новым стандартом в сфере ИИ. Что дальше — революция в open-source или новая гонка вооружений в ИИ?