Языковые модели — ChatGPT, Claude, Gemini и им подобные — не «знают» факты, а предсказывают правдоподобный текст. Иногда самый правдоподобный ответ оказывается выдуманным: несуществующая позиция в инвойсе, «округлённая» сумма, код ТН ВЭД, которого нет в документе. Это и есть галлюцинация. Для развлекательного чат-бота это мелочь, для бухгалтерии и ВЭД — прямые деньги: неверная сумма в платёжке, ошибка в декларации, штраф на таможне.
Почему ИИ выдумывает — и почему это не «баг, который скоро починят»
Галлюцинации — свойство самой технологии, а не недоработка конкретной модели. Модель обучена всегда давать ответ, даже когда данных не хватает. Если в отсканированном инвойсе смазана цифра, она не скажет «не вижу» — она подставит наиболее вероятную. Полностью убрать это нельзя. Зато можно выстроить процессы так, чтобы выдумка не доходила до платежа.
Где галлюцинации бьют по деньгам импортёра
- Суммы и количества в инвойсах. Модель «дочитывает» плохой скан и превращает 1 480 в 14 800 — уверенно и без предупреждения.
- Коды ТН ВЭД и ставки пошлин. ИИ называет код, который выглядит правильно, но в документах его нет.
- Условия поставщика. Пересказывая длинное письмо, модель может «вспомнить» скидку или дедлайн, которых там не было.
- Реквизиты. Перепутанный номер счёта в ответе — это платёж не туда.
Пять правил процесса, при которых ИИ не выдумает сумму
1. Извлечение, а не пересказ
Для документов ставьте задачу «извлеки поля из этого файла», а не «расскажи, что в инвойсе». Извлечённое поле можно машинно проверить, вольный пересказ — нет.
2. Источник у каждой цифры
Каждое число должно сопровождаться указанием, откуда оно взято: файл, страница, строка. Не может показать источник — цифра не принимается. Это суть RAG-подхода: ответ опирается на ваш документ, а не на «память» модели.
3. Арифметическая сверка кодом, а не ИИ
Количество умножить на цену — сумма строки; сумма строк — итог инвойса; итог совпадает с проформой. Эти проверки делает обычный программный код, который не умеет фантазировать. Расходится — документ уходит человеку.
4. Человек на денежных точках
ИИ готовит, человек утверждает. Платёж, таможенная декларация, заказ поставщику — всегда с явным подтверждением. Автономность повышайте постепенно: сначала ИИ делает только черновики, позже забирает рутину, но деньги всё равно подтверждаете вы.
5. Журнал и честное «не уверен»
Каждое извлечение логируется: какой документ, что извлечено, какие проверки пройдены. Если система не уверена, она обязана сказать об этом явно и остановиться, а не заполнять пробел догадкой.
Простой тест вашего процесса
Возьмите реальный инвойс, испортьте в нём одну цифру и прогоните через ваш ИИ-процесс. Хороший процесс поймает расхождение на сверке или отдаст документ человеку с пометкой. Плохой — молча пропустит. Этот тест стоит десять минут и обходится дешевле, чем первый настоящий инцидент с оплатой.
Вывод: галлюцинации не лечатся «более умной моделью» — они лечатся архитектурой процесса. Извлечение вместо пересказа, источник у каждой цифры, сверка кодом, человек на платеже, журнал операций. Больше практических схем — в наших разборах и FAQ, а оценить, сколько времени съедает ручная проверка документов, поможет калькулятор.
Именно по этим принципам работает HORUVIA: каждая цифра из писем и инвойсов поставщиков проходит сверку и сохраняет ссылку на исходный документ, прежде чем попасть в ваши отчёты.