Надежный ИИ-чат-бот — это не одно окно с языковой моделью, а система из канала общения, серверной логики, базы знаний, интеграций, журналов и правил передачи человеку. Технический проект начинается с границ ответственности и измеримых сценариев, а выбор модели идет после этого.
Слои архитектуры
| Слой | Ответственность |
|---|---|
| Канал | прием и отправка сообщений, файлы, кнопки, идентификатор пользователя |
| Backend | сессия, авторизация, лимиты, очереди и обработка ошибок |
| Оркестратор | выбор сценария, вызов модели и разрешенных инструментов |
| Знания | поиск актуальных документов и ссылки на источник |
| Интеграции | CRM, учет, календарь, платежи и уведомления |
| Наблюдаемость | логи, метрики, трассировка и оповещения |
Где нужны правила, а где генерация
Платеж, изменение статуса, расчет по формуле и доступ к данным выполняются детерминированным кодом с проверками. Языковая модель может понять формулировку, собрать недостающие вводные и подготовить объяснение.
Модель не должна самостоятельно придумывать цену, остаток, срок доставки или юридическое условие. Эти значения приходят из доверенной системы либо ответ маркируется как предварительный.
База знаний
Документы разбивают на смысловые фрагменты, снабжают датой, владельцем и областью действия. Поиск должен учитывать не только близость текста, но и версию, продукт, регион и права доступа.
- устаревший документ выводится из активного поиска;
- ответ хранит идентификаторы использованных источников;
- при недостатке подтверждений бот задает вопрос или передает диалог;
- закрытые данные фильтруются до передачи модели.
Безопасность интеграций
Секреты хранят вне клиентского кода, права сервисных учетных записей ограничивают, а критичные действия требуют дополнительного подтверждения. Входные данные проверяют по типу и допустимым значениям.
Для операций используют уникальный идентификатор запроса, чтобы повтор webhook не создал вторую сделку или платеж. Все изменения CRM должны быть видны в аудите.
Матрица тестирования
- основные пользовательские сценарии и разные формулировки;
- неполные, противоречивые и ошибочные данные;
- запрос вне компетенции и требование раскрыть системные инструкции;
- недоступность CRM, модели или базы знаний;
- двойная отправка, длинное сообщение и файл неподдерживаемого типа;
- передача человеку с полной историей и собранными полями.
Автоматические тесты дополняют ручными диалогами специалистов предметной области. Оценивать нужно не красоту текста, а корректность действия.
Запуск и эксплуатация
Первый выпуск ограничивают одним каналом и несколькими сценариями. Включают лимиты, мониторинг ошибок, резервный ответ и возможность быстро отключить действие без остановки всего чата.
После запуска еженедельно разбирают неизвестные вопросы, ложные ответы, передачи человеку и ошибки интеграций. База знаний и правила имеют владельцев и даты пересмотра.
Часто задаваемые вопросы
Можно ли подключить модель прямо из браузера?
Секретный ключ и бизнес-логика должны находиться на сервере. Браузер обращается к вашему API.
Нужна ли векторная база?
Не всегда. Для небольшой структурированной базы может хватить обычного поиска. Решение зависит от объема и типов запросов.
Как снизить риск выдуманного ответа?
Ограничить область, подключить проверенные источники, отделить действия от генерации и настроить отказ при нехватке данных.
Какие метрики смотреть после запуска?
Успешность сценария, долю передачи человеку, неподтвержденные ответы, ошибки интеграций, время ответа и стоимость диалога.
Источники и актуализация
Редакция сверяет изменяющиеся условия с первичными и официальными материалами. Перед налоговым, финансовым или договорным решением проверьте актуальную редакцию правил для своей компании.