Галлюцинации ИИ. Причины и как бороться

Изображение от freepik

Иногда нейросети генерируют убедительно звучащую, но вымышленную информацию. О причинах «галлюцинаций искусственного интеллекта» и способах решения проблемы рассказывается в материале РБК.

Один из самых громких примеров — история 2023 года, когда адвокат Стивен Шварц, готовясь защищать интересы своего клиента в разбирательствах с авиакомпанией, попросил ChatGPT найти похожие судебные дела, а в суде выяснилось, что детали кейсов были выдуманными. 

Случаи «галлюцинаций ИИ» встречаются также и в таких сферах, как медицина, образование, математика, финансы. Случаются искажения при расшифровке речи с паузами (например, бесед врачей с пациентами), при использовании очень длинных чисел, с которыми модель раньше не сталкивалась.

В редких случаях «галлюцинации ИИ» оказываются полезны: например, ошибки при генерации изображений могут натолкнуть дизайнеров на новые идеи и вдохновить на эксперименты.

В числе причин «галлюцинаций ИИ»:

• метод генерации ответов: большие языковые модели (LLM) формируют текст, предсказывая наиболее вероятное следующее слово на основе предыдущего контекста. Этот процесс не включает проверку фактов, поэтому появляются правдоподобные, но неверные утверждения;
• некачественные данные, на которых обучалась модель: неполные или содержащие неверную информацию. Додумывание — обратная сторона креативности ИИ.

Для устранения проблемы важен комплексный подход — технические усовершенствования плюс контроль со стороны человека:

• улучшение качества данных для обучения моделей;
• поисковая дополненная генерация: возможность ИИ опираться на релевантные внешние документы и базы данных;
• многомодельный подход: сравнение решения одной и той же задачи разными LLM;
• промпт-инжиниринг: максимально точное и понятное формирование запроса;
• перепроверка данных на основе достоверных источников.

Президент технологической компании Nvidia Дженсен Хуанг считает проблему «галлюцинаций ИИ» решаемой в перспективе ближайших пяти лет.