Как 0.001% дезинформации могут разрушить обучение ИИ

Большие языковые модели, такие как ChatGPT, порой дают неверные ответы с неожиданной уверенностью. Исследование Нью-Йоркского университета, опубликованное в Nature Medicine, показало: если 0.001% данных модели заражены дезинформацией, это способно скомпрометировать всю систему, что представляет угрозу особенно в критически важных областях, таких как медицина.

Мощный эффект микродозы дезинформации

В рамках эксперимента исследователи добавили медицинскую дезинформацию в "The Pile" — широко используемый датасет, включающий высококачественные медицинские данные, такие как PubMed. В итоге: всего 0.001% ложной информации увеличили долю вредного контента почти на 5%.

«Заменив всего один миллион из 100 миллиардов токенов дезинформацией о вакцинах, мы добились роста вредных результатов на 4.8%. Это стоило нам $5 и 24 часа работы,» — отмечается в статье.

Риски для медицинских ИИ

Несмотря на загрязнение данных, искажённые модели показывали отличные результаты на стандартных тестах, что затрудняет выявление проблем. Однако на практике такие модели могут выдавать опасные рекомендации.

Пример — инструмент MyChart, использующий ИИ для ответа пациентам от имени врачей. New York Times сообщала, что платформа периодически «выдумывает» детали о состоянии пациентов.

Почему это важно

Атаки на данные не требуют доступа к самой модели. Достаточно разместить ложную информацию в открытом доступе, чтобы снизить надежность обучения. Это делает проблему крайне актуальной, особенно в медицине, где цена ошибки невероятно высока.

Что можно сделать

Ученые подчеркивают необходимость более строгого контроля за источниками данных и повышенной прозрачности при разработке моделей ИИ. Без дополнительных исследований безопасности медицинские ИИ нельзя считать надежным инструментом для диагностики или лечения.

«LLM должны разрабатываться с учетом строгих мер безопасности, прежде чем их можно будет использовать в критически важных медицинских задачах,» — заключают авторы.

Это исследование напоминает, насколько важна чистота данных для надежности ИИ. Без системного подхода к безопасности модели могут стать источником риска вместо инструмента прогресса.