MiniMax представила ИИ-модели с рекордной памятью на 4 миллиона токенов

Китайский стартап MiniMax выпустил новую линейку открытых ИИ-моделей MiniMax-01. Среди них — MiniMax-Text-01, способная работать с контекстом до 4 миллионов токенов. Это вдвое превышает возможности ближайшего конкурента и открывает новые горизонты для ИИ-агентов.

MiniMax представила две модели: MiniMax-Text-01, ориентированную на обработку текста, и MiniMax-VL-01, которая работает как с текстовыми, так и с визуальными данными. Увеличенная длина контекста позволяет ИИ-агентам хранить и связывать информацию из различных источников для последующего использования.

Для эффективной обработки длинных контекстов MiniMax использует гибридный подход: обновлённый механизм Lightning Attention (впервые представленный в 2023 году) и стандартные блоки Transformer в соотношении 7:1. Такой метод значительно снижает нагрузку на вычислительные ресурсы при работе с большими объёмами данных.

Модель также оснащена технологией "Микса экспертов" (Mixture of Experts), которая использует 32 специализированных субмодели по 45,9 миллиарда параметров каждая. Это обеспечивает общую мощность в 456 миллиардов параметров, позволяя выбирать наиболее подходящие эксперты для выполнения конкретных задач.

Новая линейка MiniMax обещает изменить подход к работе с большими данными, давая ИИ-агентам возможность анализировать и запоминать информацию, как это делает человеческая память. Это открывает перспективы для широкого спектра приложений — от аналитики до творчества. Сможет ли MiniMax задать новый стандарт для отрасли?

Новость подготовлена на основе информации, опубликованной в издании The Decoder.