«Галлюцинации» ИИ: классификация, причины и методы борьбы

Эксперты ВТБ выделили главные методы борьбы с «галлюцинациями» ИИ – созданием текстов, кажущихся достоверными, но содержащих ложную информацию, неточные сведения или ссылки на недействительные источники. Эти ошибки могут не только затруднить работу пользователей с информацией, но и нести финансовые и репутационные риски для организаций.

Лев Меркушов, руководитель направления разработки ИИ-решений ВТБ, отметил:

— Иногда ИИ предлагает несуществующие книги или нереальные условия продукта. Модель не проверяет факты, а выбирает наиболее вероятный ответ, что делает ошибки правдоподобными и вводящими в заблуждение. Сократить число галлюцинаций можно, формулируя четкие запросы. Более точная формулировка снижает вероятность фантазий модели. Однако самый надежный способ – проверка результатов человеком.

Алексей Пустынников, лидер команды разработки моделей, подчеркнул важность понимания характера ошибок ИИ. Языковые модели не понимают смысл информации и не проверяют ее достоверность, поэтому сбои проявляются по-разному: искажение данных, создание вымышленных сведений или неправильное следование инструкциям.

Пустынников разделил галлюцинации на несколько типов: фактические (ошибки в проверяемой информации), фабрикация фактов (придумывание неподтверждаемых данных или преувеличение их значения) и галлюцинации при следовании инструкциям (выполнение другой операции, игнорирование контекста или логические ошибки).

Причины галлюцинаций связаны с особенностями обучения и работы языковых моделей, которые формируют ответы на основе вероятностных связей, а не на понимании фактов. Нехватка или противоречивость информации заставляет их «додумывать» ответ. Ограничения обучающей выборки и отсутствие доступа к проверке фактов в реальном времени также играют роль.

Меркушов добавил, что сложные задачи повышают вероятность ошибок. Для их снижения рекомендуется продуманная постановка вопросов, разбитие сложного запроса на простые шаги, использование систем поиска информации в проверенных базах данных, дообучение моделей на данных из конкретной области и применение защитных механизмов для отслеживания ответов.

В банке применяются каскадные решения, где несколько моделей последовательно обрабатывают данные. Эксперты также уделяют внимание качеству исходных данных, включая фильтрацию и проверку материалов специалистами.

Использование ИИ требует ответственного отношения к качеству данных, прозрачности алгоритмов и контролю за результатами. Это позволяет внедрять ИИ-инструменты, которые действительно помогают бизнесу, минимизируют ошибки и формируют доверие клиентов.