Галлюцинации нейросетей — это ситуации, когда модель искусственного интеллекта генерирует уверенно звучащую, но фактически неверную информацию. Модель может выдумывать факты, ссылаться на несуществующие источники, приписывать людям чужие высказывания или создавать правдоподобные, но полностью вымышленные данные. Термин заимствован из психиатрии по аналогии с восприятием несуществующего.
Причины галлюцинаций кроются в самом принципе работы языковых моделей. Модель не «знает» факты — она предсказывает статистически наиболее вероятное продолжение текста. Если в обучающих данных определённая тема была представлена недостаточно или противоречиво, модель может сгенерировать правдоподобную, но ложную информацию. Также галлюцинации возникают, когда модель пытается ответить на вопрос, выходящий за пределы её обучающих данных, вместо того чтобы признать незнание.
В моделях генерации изображений галлюцинации проявляются иначе: лишние пальцы на руках, искажённые лица, нечитаемый текст на вывесках, физически невозможные объекты. Это связано с тем, что модель усвоила статистические паттерны, но не физические законы мира.
Борьба с галлюцинациями — одно из приоритетных направлений исследований в ИИ. Среди существующих подходов: RAG (генерация с привлечением внешних источников), обучение модели отвечать «не знаю», верификация ответов через несколько моделей, использование цепочек рассуждений (chain-of-thought) и привязка к проверенным базам знаний.
Для пользователей AI-инструментов осознание проблемы галлюцинаций критически важно. Любую фактическую информацию от нейросети необходимо проверять, особенно в медицинских, юридических и финансовых вопросах. Нейросеть — мощный помощник, но не безошибочный источник истины.