Почему нейросеть выдумывает и как поймать её на этом
Нейросеть выдумывает не из-за поломки. Её так обучали: за уверенную догадку она получала больше баллов, чем за честное «не знаю». Поэтому неверный ответ звучит так же ровно, как верный, и проверять нужно не весь текст, а только цифры, ссылки, имена, номера и даты.
Проверка за две минуты.
- Десять секунд. Отметьте в ответе цифры, имена, номера документов, даты и ссылки. Если их нет, проверять нечего.
- Двадцать секунд. Спросите, на чём основан вывод и откуда цифра. Не «ты уверен?»: эта фраза работает как просьба передумать.
- Тридцать секунд. Сверьте в независимом месте: откройте ссылку, найдите документ, найдите того, кто опубликовал цифру.
- Тридцать секунд. Задайте тот же вопрос в новом чате. Совпало — уверенность выше. Разошлось — вы нашли место, где модель достраивает.
И одна строка в конце любого фактического запроса: «Если точных данных нет, так и напиши, не придумывай».
Почему она выдумывает
В сентябре 2025 года OpenAI опубликовала работу с прямым названием «Почему языковые модели галлюцинируют». В ней две модели одного семейства отвечали на набор трудных фактических вопросов.
- Первая почти никогда не отказывалась отвечать: один процент отказов, двадцать четыре процента верных ответов, семьдесят пять процентов ошибок.
- Вторая отказывалась в половине случаев: пятьдесят два процента отказов, двадцать два процента верных, двадцать шесть процентов ошибок.
Верных ответов почти поровну. А ошибок втрое меньше у той, которая умеет промолчать.
Объяснение простое. Модели оценивают по доле правильных ответов, а не честных. На тесте вы тоже ставили галочку наугад: за пустое поле точно ноль, за галочку есть шанс. Модель учили этой логике тысячами прогонов. Выдумка для неё — не сбой, а натренированное поведение.
Одна оговорка. Этот набор вопросов подобран так, чтобы модели спотыкались. Это тест на прочность, а не замер бытовой точности.
Где выдумка почти гарантирована
- Ссылки и адреса страниц. Правильный домен, правдоподобный раздел — а страницы нет.
- Цитаты. Особенно известных людей: стиль похож, фразы никто не говорил.
- Номера и даты документов. Номер закона, пункт договора, номер дела. Российский суд уже оштрафовал компанию на пятьдесят тысяч рублей за жалобу со ссылками на несуществующие судебные акты.
- Фамилии и должности. Правдоподобные люди с правдоподобными делами.
- Ваша местная конкретика. Тарифы управляющей компании, расписание поликлиники, условия вашего банка.
Там, где тема обсуждалась миллионы раз, выдумок почти нет. Как хранить открытое вино или чем ОСАГО отличается от каско — здесь модель надёжна, как приличный справочник. Опасность сидит в редком.
Что проверять, а что нет
Критерий один: проверяется то, что пойдёт дальше вас. Разобрались для себя и пошли дальше — риск невелик. Ответ уходит в письмо клиенту, отчёт, разговор с врачом, чат родительского комитета — проверяется каждая цифра, ссылка и фамилия. Отвечать за них будете вы, а не сервис.
Пять признаков, что стоит насторожиться
- Слишком круглые цифры: «экономия тридцать процентов», «в два раза быстрее».
- «Согласно исследованию 2023 года» — и никакого названия.
- Всё ровно по три: три причины, три следствия, три совета.
- Ответ подозрительно совпадает с тем, что вы хотели услышать.
- Нет ни одной оговорки там, где живой специалист сказал бы «зависит от случая».
Подробный разбор с примерами — в статье «Почему нейросеть врёт».
Частые вопросы
Почему это называют галлюцинацией?
Термин прижился, но он неудачный. Галлюцинация у человека — сбой, отличимый от нормы. У модели механизм всегда один: она достраивает вероятное продолжение. Когда данных много, продолжение совпадает с правдой, когда мало — нет. Изнутри разницы никакой.
Если включить поиск, выдумок не будет?
Станет меньше, но появятся две новые проблемы. Поиск может найти устаревшую или ошибочную страницу. А ссылка рядом с абзацем не значит, что абзац ей соответствует. Ссылка — приглашение проверить, а не отчёт о проверке.
Можно ли запретить нейросети врать?
Запретить нельзя, но можно сдвинуть баланс. Прямое разрешение не знать повышает долю честных отказов, и это подтверждают сами разработчики моделей. Это не гарантия, поэтому проверка остаётся.