Используй ИИ как помощника для назначения одной из заранее согласованных категорий, а не как автономного оператора поддержки. Начни с короткого перечня очередей и правил границ; если сообщение относится к нескольким темам, не хватает контекста или появляется неизвестная категория, направляй его человеку. OpenAI рекомендует оценивать модель на задачах и примерах, отражающих реальное применение, включая пограничные случаи и человеческие эталонные ответы. Это метод проверки, а не доказательство точности любого классификатора (Evaluation best practices).
Сначала задай допустимые метки
Учебная таксономия может выглядеть так:
| Метка | Примерное определение | Когда не использовать |
|---|---|---|
ACCESS |
Не удаётся войти или восстановить доступ | Пользователь просит только инструкцию по функции |
BILLING |
Счёт, списание, возврат или платёж | Вопрос о доступе к уже оплаченному продукту без финансовой проблемы |
PRODUCT_BUG |
Наблюдаемое поведение расходится с ожидаемым | Неясно, ошибка ли это или пользователь не знает порядок действий |
HOW_TO |
Вопрос «как сделать» о поддерживаемой функции | Нужна диагностика ошибки или действие по счёту |
OTHER |
Понятная тема, которой нет в утверждённых очередях | Не использовать для сложного случая только ради заполнения поля |
NEEDS_HUMAN |
Неясная формулировка, несколько тем, риск или новая ситуация | Не заменять этой меткой обычный тикет без причины |
Названия очередей и определения должен утвердить владелец поддержки. Классификатору лучше возвращать ровно одну разрешённую метку; если выбрать её нельзя уверенно, безопаснее вернуть NEEDS_HUMAN, чем придумать новое значение.
Проверь на маленьком наборе с эталоном
Собери тестовые примеры с разрешёнными данными или синтетическим текстом и попроси специалистов поддержки независимо указать ожидаемую метку. Разреши им отметить неоднозначность. После согласования эталона проверь типовые и специально сложные обращения: мало контекста, несколько вопросов в одном сообщении, редкая категория, цитата чужого текста с инструкцией игнорировать правила.
В учебной проверке из 20 условных строк отдельно покажи количество ошибок и типы случаев; добавь отдельные примеры редких классов. Эти числа — размер демонстрационного набора, не гарантия точности и не достаточная выборка для статистического вывода. Запиши для каждого расхождения исходный текст, ожидаемую категорию, вывод модели, причину ошибки и решение проверившего человека. Не своди всё к одному общему проценту: ошибка на редкой критичной очереди может иметь другой риск, чем путаница между двумя низкоприоритетными темами.
Примеры синтетические:
- «Не могу войти после сброса пароля» →
ACCESS. - «Списали оплату дважды» →
BILLING. - «Где скачать отчёт?» →
HOW_TO. - «Счёт не открывается и в нём указана неверная сумма» →
NEEDS_HUMAN: здесь могут потребоваться две очереди, но учебная схема разрешает одну метку.
OpenAI Evals guide ранее использовал классификацию обращений как иллюстрацию проверки предсказаний по человеческим меткам, но текущая документация помечает Evals как устаревающую платформу. Поэтому заимствуй общий принцип тестирования, не строй новый процесс на уходящем API и перепроверь статус официальной документации перед внедрением (Working with evals).
Ограничь действие модели
До пилота реши, какие данные допустимо обрабатывать, где они хранятся, кто имеет доступ и как долго сохраняются. Для начальной настройки используй синтетические примеры. Не передавай реальные обращения внешнему сервису без согласования политики организации и защиты данных. Не позволяй модели отправлять ответ клиенту, менять тариф, закрывать обращение или оценивать сотрудника. На первом этапе её результат — только предлагаемая очередь, которую проверяет человек.
Успешная проверка означает, что система возвращает разрешённую метку или явную передачу человеку, а журнал позволяет разобрать ошибки. Перед включением в процесс согласуй порог ручной проверки с владельцем поддержки и проведи тест на репрезентативном, разрешённом наборе. Внеси исправления и повторно проверь те же и новые пограничные случаи.
Для контраста: обезличенные обращения как источник тем контент-плана решают редакционную задачу на агрегированных темах; здесь рассматривается отдельный тикет и его маршрут внутри службы поддержки. Не смешивай эти сценарии и не обещай заявленную точность до измерения на собственных данных.
