Простая команда «не угадывай» снизила галлюцинации ИИ с 70,7% до 20,2%. В тесте с 16 моделями и 42 парами страниц-ловушек без неё выдумали 405 из 573 отсутствующих значений. С инструкцией — лишь 116 из 574. Это реально работает, если четко задать границы.
Проверяли не абстрактные рассуждения, а самую бытовую задачу: извлечение данных со страниц. Ты просишь нейросеть собрать цены, автора, дату публикации, адрес площадки — и она уверенно подставляет то, чего на странице нет. Тест отвечает на вопрос, который раньше никто толком не измерял: умеет ли ИИ говорить «не знаю».
Что такое галлюцинации ИИ на бытовом примере: как проявляется галлюцинация в мире ИИ
Модель не «знает» факты, она предугадывает продолжение текста. Если в данных дырка, она закроет её правдоподобным числом — это и есть галлюцинации ИИ. Выглядит убедительно, а на деле это фантазия.
Ловушки в тесте были подобраны с умыслом. На странице висит перечёркнутый ценник «Было $493.00» — это старая цена, а не текущая. Рядом строчка «Fact-checked by Omar Tamm» — человек проверял факты, но он не автор статьи. А «Last updated September 7, 2020» — дата обновления, но не дата публикации. Если значения на странице нет, честный ответ — пусто. Если на странице есть только приманка — честный ответ тоже пусто.
Итог по приманке с ценой: без спасительной фразы все 16 моделей назвали 493 текущей ценой. С фразой так поступила только одна. Ещё отдельный случай: если площадка отвечает «TBA» (дата ещё не объявлена), это тоже засчитывалось как выдумка. Всего в тесте было 42 пары страниц и 7 типов страниц.
Кто продержался лучше всех: как исправить ошибки ИИ
Верх таблицы выглядит так:
• Gemini 3.8 Flash — 1 выдумка из 36 (без фразы 14 из 36), прогон $0,1619.
• GLM 5.3 — 1 из 35 (без фразы 18 из 36), $0,1723.
• Hy3 — 3 из 36 (без фразы 22 из 36), $0,0355.
• DeepSeek V4.1 Flash — 3 из 35 (без фразы 24 из 34), $0,0188.
• GPT-6 Luna — 5 из 36 (без фразы 25 из 36), всего $0,0049 за прогон всех 84 страниц.
Середина списка тоже приличная: GPT-5.6 Sol — 6 из 36, Qwen 3.8 27B — 7 из 36, Haiku 4.5 — 8 из 36, Gemma 4 31B — 13 из 36, Solar Pro 4 — 19 из 36.
А теперь неприятное. Платный сервис Firecrawl выдумал 24 значения из 36 — это хуже, чем 13 из 16 моделей со спасительной фразой. Причём все 24 ответа просто скопировали приманку. ScrapingBee — 16 из 36. У всех сервисов есть бесплатный уровень: у ScrapeGraphAI и Firecrawl по 5 кредитов на страницу, у ScrapingBee — 6.
Самое важное наблюдение: все 16 моделей без фразы выдумывали больше, чем с ней. Ни одна не стала исключением.
Что это даёт лично тебе: найди ошибку ИИ и улучши результат
• Фрилансер-дизайнер собирает предложения конкурентов: названия, цены, сроки. Раньше половину цифр приходилось перепроверять руками. Теперь он вставляет текст страницы и просит вернуть null там, где данных нет — и сразу видит, где дырка, а не выдумка.
• Мама двоих детей сравнивает цены на кружки и секции в своём городе. Задача та же: не получить красивое, но неправильное расписание, а сразу увидеть, что часть информации на сайте не опубликована.
• Владелец кофейни мониторит поставщиков зерна. Старая цена в акции и текущая цена — разные вещи. Фраза «не угадывай» не даст ИИ подставить прошлогодний прайс как актуальный.
• Студент собирает источники и цитаты для курсовой. Выдуманные ссылки и неправильные годы публикации — классика. С инструкцией «ставь null» список получается честнее, пусть и короче.
• Копирайтер использует ИИ для проверки текста на ошибки и пунктуацию. Тот же приём спасает от выдуманных «правил», которых в русском языке не существует.
• В медицине ошибки ИИ стоят дороже всего. Никто не хочет, чтобы модель додумала дозировку, которой не было в источнике. Здесь привычка требовать «не знаю» — не удобство, а базовая гигиена.
Как попробовать прямо сейчас: найдите и исправьте грамматическую ошибку с помощью ИИ
Шагов всего пять, и первый бесплатный.
1. Открой Gemini — базовый доступ не требует денег.
2. Скопируй текст нужной страницы (Ctrl+A, Ctrl+C) или её фрагмент.
3. Вставь в чат список полей, которые тебе нужны: цена, автор, дата публикации, адрес.
4. Добавь в конец ту самую фразу: «Ставь null для любого поля, значения которого нет на странице. Не угадывай».
5. Сравни ответ с исходником. Пустые места — это не провал, а правильный результат.
Дальше — второй уровень. Можно нанять дешёвую модель-проверяльщика: она берёт каждое возвращённое значение и отвечает, подтверждает ли его текст страницы. В тесте GPT-6 Luna поймала 38 выдуманных значений из 49 и при этом не забраковала ни одного правильного (0 из 47). Проверка всех 126 пар «страница + значение» стоила $0,0049.
Что изменится и в чём подвох: грамматические ошибки ИИ и их последствия
Раньше, чтобы получить честные данные, приходилось переписывать парсеры и настраивать правила под каждый сайт. Для обычного человека это значит, что сбор таблиц, прайсов и контактов перестаёт быть отдельной профессией. Через месяц-полгода такие инструкции, скорее всего, будут вшиты в сами инструменты, и требовать их вручную уже не придётся.
Теперь честно про минусы. 20,2% — это всё ещё каждая пятая выдумка, а не ноль. Тест был один прогон на участника, так что разброс возможен. Даже лучшие модели ошибаются, а проверяльщик — не гарантия: Jev пропускает близкие по смыслу подмены. Платные сервисы для сбора данных в этом тесте оказались слабее дешёвых моделей. И запомни: если сайт отвечает «дата не объявлена», для теста это тоже выдумка.
Вывод: как минимизировать ошибки ИИ в тексте
Одна фраза — «Не угадывай. Ставь null, если значения нет на странице» — снижает ошибки ИИ в три с лишним раза, и стоит это ноль рублей. Вот как уменьшить галлюцинации ИИ без переобучения модели: добавь эту строчку в свой следующий промпт и посмотри, сколько полей окажутся пустыми вместо придуманных.
Сделай одно действие сегодня: открой Gemini, вставь любую страницу с ценой или товаром и проверь, что вернёт модель с фразой и без неё. Результат удивит. А если хочешь разбор под свою задачу — напиши вопрос в комментариях к каналу @aigoby.
🎁 Бонус: готовый промпт для копирования, чтобы исправить грамматические ошибки ИИ
```text
Ты — аккуратный извлекатель данных. Ниже текст страницы и список полей.
Правила:
1. Для каждого поля найди значение ТОЛЬКО в тексте страницы.
2. Если значения на странице нет — верни null. Не угадывай. Не подставляй похожее число,
не бери старую цену вместо текущей, не бери «факт-чекера» вместо автора
и дату обновления вместо даты публикации.
3. Не используй свои знания о мире. Только текст ниже.
4. Если на странице стоит заглушка вроде «TBA» или «уточняется» — верни null.
5. Ответ дай таблицей: поле | значение | короткая цитата из текста, где нашёл.
Текст страницы:
[вставь сюда текст]
Поля:
• цена
• автор
• дата публикации
• место проведения
```
Скопируй, сохрани в заметки — и используй каждый раз, когда просишь ИИ собрать данные. Мелочь на одну строку, а разница в качестве — в разы.
Комментарии 0