Три одинаковых запроса — три разных ответа: как я понял, что пора пересобирать бота
Рассказываю. Без воды.
Москва, 19:13. Я гуляю с собакой в парке у метро «Сокольники». Осень, листья, тишина. Открываю статистику бота в телефоне — и вижу три подряд одинаковых запроса. От разных пользователей. Вопрос: «Какая стоимость доставки в Казань?»
Три ответа:
- «Доставка бесплатная при заказе от 3 000 ₽»
- «Стоимость доставки — 350 ₽»
- «Доставка в Казань не осуществляется»
Я остановился. Посмотрел ещё раз. Три одинаковых запроса. Три разных, противоречащих друг другу ответа. Бот врал. И врал уверенно.
Звоню коллеге: «Слушай, это уже не баг, это дыра в архитектуре. Надо пересобирать».
Он в ответ: «Да это ИИ такой, он галлюцинирует».
Я: «Нет. Это мы такие. Мы не настроили логику».
Дальше было жесть. Мы начали разбираться. И поняли: галлюцинации — это не случайность, а сигнал.
«Это был первый звоночек: ответы начали противоречить друг другу»
В тот вечер я сел за ноутбук. Выгрузил логи бота за неделю. Оказалось, что:
- 32% ответов содержали ошибки
- 15% — противоречили друг другу
- Клиенты писали в поддержку с жалобами
- NPS упал с 54 до 42 пунктов
Бот не справлялся. Он просто генерировал правдоподобный текст. А правда была где-то в другом месте.
Я понял: проблема системная. Нужно менять архитектуру.
«Дальше стало понятно: проблема в источниках»
Я разобрал, как бот строит ответ. Он брал информацию из открытых источников: сайты, форумы, статьи, даже старые чаты поддержки. ИИ сам решал, чему верить. В итоге — каша.
Я выделил 3 типа ошибок:
- Бот брал данные из неактуальных источников
- Бот интерпретировал вопросы по-разному
- Бот придумывал цифры, когда не находил информацию
Тогда я решил пересобрать пайплайн.
«Я пересобрал логику: добавил RAG и ограничил источники»
Вместо того чтобы давать боту полную свободу, я сделал так:
- Добавил RAG (Retrieval-Augmented Generation) — бот сначала ищет ответ в базе, а только потом генерирует
- Ограничил источники: 3 доверенных документа (прайс-лист, условия доставки, база знаний)
- Настроил порог уверенности: если уверенность < 0.8 — бот просит уточнить запрос
- Внедрил ручную валидацию 10% ответов
Настройка заняла 2 вечера. Но система стала стабильной.
«После правок галлюцинации упали с 32% до 3%»
Через неделю я снова открыл статистику.
- Галлюцинации — 3% (было 32%)
- NPS вырос с 42 до 69 пунктов
- Жалобы в поддержку упали на 80%
Бот перестал врать. Он теперь либо давал точный ответ, либо просил уточнить вопрос.
Клиенты перестали писать в поддержку. Менеджеры выдохнули.
«Теперь это мой стандарт»
Теперь я строю ботов только через RAG. Три правила:
- Только проверенные источники
- Чёткий порог уверенности
- Ручная валидация новых сценариев
Я перестал верить, что «галлюцинации — это нормально». Это не нормально. Это сигнал, что архитектура сырая.
Галлюцинации — это не «ИИ такой». Это следствие неправильной логики и отсутствия контроля.
Как превратить эту историю в пошаговый план
Эта история — готовый скелет для твоего плана действий.
День 1: выпиши 3 самых частых противоречивых ответа своего бота.
Что сделать сегодня за 30 минут: выбери 1 тип ошибки и придумай правило валидации (например, проверка по источнику или порог уверенности).
Где взять первый кейс: возьми 1 сценарий бота и пересобери его с RAG или ограничением источников.
Как измерить результат: процент галлюцинаций до/после, NPS, количество жалоб, скорость ответа.
Кстати, я такие истории разбираю каждый день в журнале «Цифровой доход» — там 150+ статей без воды. А если хочешь пошаговую систему, загляни в экосистему SMART >>>
→ SMART HUB — инструменты и партнёрки для старта
→ SMART SCALE — аналитика и метрики без ошибок
→ SMART FLOW — система для стабильного дохода
Переходи, смотри, забирай полезное. Это бесплатно.
Зарабатывай на рекомендациях >>>
Проверенные сервисы с высокими комиссиями и своевременными выплатами
