Галлюцинациями нейросетей называют ответы, которые звучат убедительно, но не соответствуют действительности: несуществующие книги, вымышленные цитаты, неверные даты, ссылки в никуда. Причина в самом устройстве языковых моделей — они обучены писать правдоподобный текст, а не сверять каждое утверждение с реальностью. Поэтому чат-бот может ошибаться и уверенно, и гладко, и без всякого злого умысла.
Что такое галлюцинации ИИ
Термин заимствован из психиатрии, хотя аналогия неточная: модель ничего не «видит». Речь о фактических ошибках, поданных с той же интонацией, что и верные сведения. Отличить одно от другого по тону ответа невозможно — модель не краснеет и не запинается.
Галлюцинации бывают двух видов:
- выдумка с нуля — несуществующий учебник, научная статья с правдоподобным названием и вымышленными авторами, закон с несуществующим номером;
- искажение реального — настоящий человек, но не та должность; настоящая книга, но не тот автор; реальное событие, но смещенное на несколько лет.
Второй вид опаснее: в ответе много правды, и ошибку легко пропустить.
Почему нейросеть выдумывает факты и источники
Ее учили угадывать, а не знать
Языковая модель на этапе обучения училась продолжать текст так, как его продолжил бы человек. За правдоподобное продолжение ее «поощряли», за неправдоподобное — «штрафовали». Истинность как отдельная цель в этой схеме не заложена. Если в обучающих текстах про какого-то малоизвестного ученого было мало сведений, модель все равно знает, как обычно выглядит биография ученого, и заполнит пробелы типичными деталями.
Знания хранятся не как в справочнике
Внутри модели нет таблицы с фактами. Сведения размазаны по миллиардам параметров в сжатом виде, примерно как смутные воспоминания о книге, прочитанной десять лет назад. Часто встречающиеся факты — столица Франции, год полета Гагарина — закреплены прочно. Редкие хранятся приблизительно, и модель «вспоминает» их с искажениями.
Сказать «не знаю» трудно
В текстах, на которых училась модель, люди гораздо чаще отвечают на вопросы, чем признаются в незнании. Кроме того, при дообучении оценщики нередко ставили более высокие баллы развернутым ответам. Разработчики специально учат современные модели признавать неуверенность, и это заметно снизило долю выдумок, но не убрало их полностью.
Желание угодить
Модели склонны соглашаться с пользователем. Если в вопросе уже заложена ложная предпосылка, например «Почему Пушкин получил Нобелевскую премию?», модель иногда начинает объяснять, вместо того чтобы возразить, что премию начали вручать в 1901 году, через 64 года после смерти поэта. Это явление называют угодливостью.
Модель видит токены, а не буквы
Текст поступает в модель кусочками-токенами, часто по нескольку букв сразу. Поэтому задачи вроде «посчитай, сколько букв "р" в слове» или «напиши слово задом наперед» даются ей с трудом, хотя для человека они элементарны.
Громкие случаи, когда ошибки ИИ дорого обошлись
В 2023 году нью-йоркский адвокат подготовил для суда документ по делу против авиакомпании Avianca, используя ChatGPT. В тексте были ссылки на шесть судебных прецедентов, которых никогда не существовало: модель сочинила названия дел, цитаты и номера. Когда противоположная сторона не смогла найти эти дела, обман вскрылся. Суд оштрафовал адвокатов на 5000 долларов, а история стала хрестоматийным примером того, почему юристам нельзя доверять ИИ без проверки.
В феврале 2023 года Google показал рекламу своего чат-бота Bard. В ней бот утверждал, что телескоп «Джеймс Уэбб» сделал первые в истории снимки планеты за пределами Солнечной системы. Астрономы быстро указали, что первое такое изображение получено еще в 2004 году на наземном телескопе в Чили. На следующий день после шума рыночная стоимость Alphabet, материнской компании Google, упала примерно на 100 миллиардов долларов.
Где нейросети ошибаются чаще всего
| Тип вопроса | Типичная ошибка | Риск |
|---|---|---|
| Ссылки и источники | Несуществующие статьи и адреса сайтов | Высокий |
| Цитаты | Слова, которых человек не говорил | Высокий |
| Точные даты и числа | Сдвиг на годы, перепутанные цифры | Высокий |
| Малоизвестные люди | Чужие заслуги, выдуманные награды | Высокий |
| Длинная арифметика | Ошибка в середине расчета | Средний |
| Свежие события | Устаревшие сведения | Средний |
| Местные законы и правила | Смешение норм разных стран | Средний |
Отдельный случай — ссылки на веб-страницы. Модель знает, как обычно выглядит адрес статьи на сайте издания, и может собрать вполне правдоподобный, но несуществующий адрес. Если сервис не выполнял поиск в момент ответа, к ссылкам стоит относиться с особым подозрением.
Как проверить ответ нейросети
Проверка не требует специальных навыков, но требует привычки. Несколько приемов, которые экономят время:
- Проверяйте ключевые факты в независимых источниках. Даты, имена, цифры и названия законов ищите в энциклопедиях, на официальных сайтах ведомств, в первоисточниках.
- Открывайте каждую ссылку. Существует ли страница и говорится ли на ней то, что утверждает модель? Нередко ссылка настоящая, но про другое.
- Задайте тот же вопрос иначе. Если при переформулировке или в новом чате модель выдает другие даты и имена, скорее всего, она не знает ответа.
- Попросите указать степень уверенности. Вопрос «В каких частях ответа ты не уверен?» часто выявляет слабые места.
- Для расчетов просите формулу или код. Ход вычисления проще проверить, чем готовую цифру, а многие сервисы умеют реально выполнить код.
- Сравните с другой моделью. Разные модели ошибаются по-разному, совпадение повышает надежность, хотя и не гарантирует ее.
В вопросах здоровья, денег и права ответ нейросети годится только как отправная точка для разговора со специалистом: врачом, юристом, финансовым консультантом.
В каких задачах ИИ ошибается реже
Риск выдумки резко падает, когда модель работает с материалом, который вы ей дали, а не с собственной памятью:
- пересказ и сокращение приложенного документа;
- исправление ошибок, смена стиля, перевод готового текста;
- поиск конкретных сведений в загруженном файле, особенно если попросить цитировать места;
- ответы с подключенным поиском, где видно, на какие страницы опирается текст;
- общеизвестные факты, многократно описанные в учебниках;
- написание кода, который можно сразу запустить и проверить тестами.
Этот принцип используют компании: модель подключают к базе документов организации, и она отвечает строго по найденным фрагментам. Подход называют генерацией с опорой на найденные данные (RAG). Ошибки он не исключает, но делает их проверяемыми.
Что еще спрашивают о галлюцинациях нейросетей
Можно ли полностью избавиться от галлюцинаций
Пока нет. С каждым поколением моделей выдумок становится меньше, но сама природа предсказания текста оставляет вероятность ошибки. Поэтому надежнее строить работу так, чтобы ответы можно было проверить.
Нейросеть врет специально
В бытовом смысле нет: у модели нет намерения обмануть. Она выдает наиболее правдоподобное с ее точки зрения продолжение текста, и иногда правдоподобное оказывается ложным.
Почему модель извиняется и снова ошибается
Если указать на ошибку, модель охотно соглашается — это тоже часть ее склонности угождать. Но правильного ответа она может не знать, поэтому заменяет одну догадку другой. После двух-трех таких кругов разумнее искать ответ в надежном источнике.