«Галлюцинации» ИИ: классификация, причины и методы борьбы

Дата:

Ошибки могут не только затруднить работу пользователей с информацией, но и нести финансовые и репутационные риски для организаций

Эксперты ВТБ выделили главные методы борьбы с «галлюцинациями» ИИ – созданием текстов, кажущихся достоверными, но содержащих ложную информацию, неточные сведения или ссылки на недействительные источники. Эти ошибки могут не только затруднить работу пользователей с информацией, но и нести финансовые и репутационные риски для организаций.

Лев Меркушов, руководитель направления разработки ИИ-решений ВТБ, отметил:

— Иногда ИИ предлагает несуществующие книги или нереальные условия продукта. Модель не проверяет факты, а выбирает наиболее вероятный ответ, что делает ошибки правдоподобными и вводящими в заблуждение. Сократить число галлюцинаций можно, формулируя четкие запросы. Более точная формулировка снижает вероятность фантазий модели. Однако самый надежный способ – проверка результатов человеком.

Алексей Пустынников, лидер команды разработки моделей, подчеркнул важность понимания характера ошибок ИИ. Языковые модели не понимают смысл информации и не проверяют ее достоверность, поэтому сбои проявляются по-разному: искажение данных, создание вымышленных сведений или неправильное следование инструкциям.

Пустынников разделил галлюцинации на несколько типов: фактические (ошибки в проверяемой информации), фабрикация фактов (придумывание неподтверждаемых данных или преувеличение их значения) и галлюцинации при следовании инструкциям (выполнение другой операции, игнорирование контекста или логические ошибки).

Причины галлюцинаций связаны с особенностями обучения и работы языковых моделей, которые формируют ответы на основе вероятностных связей, а не на понимании фактов. Нехватка или противоречивость информации заставляет их «додумывать» ответ. Ограничения обучающей выборки и отсутствие доступа к проверке фактов в реальном времени также играют роль.

Меркушов добавил, что сложные задачи повышают вероятность ошибок. Для их снижения рекомендуется продуманная постановка вопросов, разбитие сложного запроса на простые шаги, использование систем поиска информации в проверенных базах данных, дообучение моделей на данных из конкретной области и применение защитных механизмов для отслеживания ответов.

В банке применяются каскадные решения, где несколько моделей последовательно обрабатывают данные. Эксперты также уделяют внимание качеству исходных данных, включая фильтрацию и проверку материалов специалистами.

Использование ИИ требует ответственного отношения к качеству данных, прозрачности алгоритмов и контролю за результатами. Это позволяет внедрять ИИ-инструменты, которые действительно помогают бизнесу, минимизируют ошибки и формируют доверие клиентов.

Фото: freepik.com/Автор: Dc Studio 

0
0

Рейтинг прибыльности инвестиций в 2025 году возглавили драгметаллы

Золото, корпоративные облигации и рублевый депозит стали самыми прибыльными инструментами для российских инвесторов, в том числе новосибирских, в 2025 году. Такой вывод следует из рейтинга, подготовленного аудиторско-консалтинговой сетью FinExpertiza. Он основан на расчете рублевой доходности при вложении 100 тысяч рублей в начале года и продаже актива в конце декабря.

По данным экспертов, финансовый ландшафт года формировался в условиях постепенной нормализации после периода повышенной турбулентности. Ключевым драйвером изменений стала последовательная смена денежно-кредитной политики Банка России, который за год снизил ключевую ставку в общей сложности на 5 процентных пунктов — с 21% до 16%: в июне, в июле, в сентябре, в октябре и, наконец, в декабре. Дополнительное влияние оказало значительное укрепление рубля в первой половине года и его последующая стабилизация, что снизило инвестиционную привлекательность валютных инструментов в рублевом выражении.

Читать полностью

Каждый двадцатый новосибирец установил самозапрет на кредиты

В 2025 году россияне подали 20 миллионов заявлений на установление самозапрета на кредиты и 1,6 миллиона — на его снятие. Всего самозапрет на кредиты оформили 17,3 миллиона человек.

В Новосибирской области за год было подано 405 083 заявления на самозапрет на кредиты и 33 751 заявление на его снятие. На данный момент 349 994 жителя области имеют самозапрет, что составляет примерно каждого 20-го человека из 100.

Читать полностью

Ирина Гребнева: Ключевой вызов 2025 года — очень большая активность прокуратуры

Управляющий партнёр АБ «Гребнева и партнёры» Ирина Гребнева прокомментировала ключевые тренды, которые сформировались на рынке юридических услуг для бизнеса и граждан в Новосибирской области, а также оценила вызовы 2026 года.

В качестве третьего лица в 2025 году прокуратура стала вступать практически во все споры, где есть государственные интересы. Иски прокуратуры очень разнообразны: об изъятии собственности, о применении последствий ничтожности сделок.

Читать полностью

Новые финансовые правила вступят в силу для новосибирцев в 2026 году

В 2026 году на территории России, в том числе в Новосибирской области, начинает действовать серия финансовых нововведений. Изменения затронут различные сферы: от безопасности банковских операций до условий кредитования и новых цифровых платежных инструментов. Целью многих инициатив является усиление защиты граждан от мошеннических действий и повышение прозрачности финансовых услуг, сообщили в Сибирском главном управлении Банка России.

С 1 января 2026 года все кредитные организации обязаны применять расширенный список критериев для выявления подозрительных операций. Теперь количество признаков мошеннических операций увеличено до 12 и еще появилось два новых по операциям с цифровым рублем.

Читать полностью

Новосибирским командам в 2026 году дадут меньше денег: финансирование ХК «Сибирь» из бюджета сокращено на 15,4 миллиона рублей

В 2026 году Новосибирская область уменьшает суммы господдержки спортивных клубов региона. Из десяти команд мастеров только у одной финансирование будет увеличено, остальным — сокращено. Infopro54 узнал точные суммы, которые направят клубам в этом году.

Профессиональные спортивные клубы Новосибирской области ежегодно получают господдержку. В 2023, 2024 и 2025 годах суммы, выделяемые им из бюджета, росли. В 2026 году финансирование команд мастеров сокращается примерно на 1–2%.

Читать полностью

Фишинг, фейковые магазины и розыгрыши: как мошенники используют новогоднюю суету

В связи с увеличением числа онлайн-заказов и предновогодней активностью, злоумышленники активизируют свои попытки обмана пользователей. Они прибегают к методам социальной инженерии, создавая у потенциальных жертв ощущение чувства срочности или эксплуатируя их стремление совершить выгодные покупки к праздникам. Эксперты ВТБ предупреждают о распространенных схемах мошенничества в период новогодних праздников и дают рекомендации по обеспечению безопасности денежных средств.

Основные схемы:

Читать полностью
Прямым текстом

Подпишитесь на новости
Подпишитесь на рассылку самых актуальных новостей.


Выражаю согласие на обработку персональных данных, указанных при заполнении формы подписки на рассылку новостей в соответствии с Политикой конфиденциальности

Я согласен (согласна)

 
×
Поиск по автору:
×
Январь 2026
Пн Вт Ср Чт Пт Сб Вс
 1234
567891011
12131415161718
19202122232425
262728293031  
×





    Выражаю согласие на обработку персональных данных, указанных при заполнении формы «Предложить новость» в соответствии с Политикой конфиденциальности
    Я согласен (согласна)


    ×

    Эксклюзивный материал

    Материалы, отмеченные значком , являются эксклюзивными, то есть подготовлены на основе информации, полученной редакцией infopro54.ru. При цитировании, перепечатке ссылка на источник обязательна

    ×

      Участие в конференции бесплатно






      Формат участия:


      Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта

      ×

        Участие в конференции бесплатно







        [recaptcha size:compact]
        Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта

        ×
        На нашем сайте используются файлы cookie. Продолжая пользоваться сайтом, Вы подтверждаете свое согласие на использование файлов cookie в соответствии с условиями их использования
        Понятно
        Политика конфиденциальности