Кальтер / Блог

Как классифицировать обращения поддержки с ИИ и проверять спорные маршруты

Определи допустимые категории тикетов, проверь модель на размеченных примерах и передавай двусмысленные случаи человеку.

Материал подготовлен с помощью ИИ; источники и примеры проверены редакцией ZASLON. Учебные примеры не описывают результаты клиентов.

Категории обращений — поясняющая схема
Редакционная схема: Категории обращений. Условные обозначения, не реальные результаты клиента.

Используй ИИ как помощника для назначения одной из заранее согласованных категорий, а не как автономного оператора поддержки. Начни с короткого перечня очередей и правил границ; если сообщение относится к нескольким темам, не хватает контекста или появляется неизвестная категория, направляй его человеку. OpenAI рекомендует оценивать модель на задачах и примерах, отражающих реальное применение, включая пограничные случаи и человеческие эталонные ответы. Это метод проверки, а не доказательство точности любого классификатора (Evaluation best practices).

Сначала задай допустимые метки

Учебная таксономия может выглядеть так:

Метка Примерное определение Когда не использовать
ACCESS Не удаётся войти или восстановить доступ Пользователь просит только инструкцию по функции
BILLING Счёт, списание, возврат или платёж Вопрос о доступе к уже оплаченному продукту без финансовой проблемы
PRODUCT_BUG Наблюдаемое поведение расходится с ожидаемым Неясно, ошибка ли это или пользователь не знает порядок действий
HOW_TO Вопрос «как сделать» о поддерживаемой функции Нужна диагностика ошибки или действие по счёту
OTHER Понятная тема, которой нет в утверждённых очередях Не использовать для сложного случая только ради заполнения поля
NEEDS_HUMAN Неясная формулировка, несколько тем, риск или новая ситуация Не заменять этой меткой обычный тикет без причины

Названия очередей и определения должен утвердить владелец поддержки. Классификатору лучше возвращать ровно одну разрешённую метку; если выбрать её нельзя уверенно, безопаснее вернуть NEEDS_HUMAN, чем придумать новое значение.

Проверь на маленьком наборе с эталоном

Собери тестовые примеры с разрешёнными данными или синтетическим текстом и попроси специалистов поддержки независимо указать ожидаемую метку. Разреши им отметить неоднозначность. После согласования эталона проверь типовые и специально сложные обращения: мало контекста, несколько вопросов в одном сообщении, редкая категория, цитата чужого текста с инструкцией игнорировать правила.

В учебной проверке из 20 условных строк отдельно покажи количество ошибок и типы случаев; добавь отдельные примеры редких классов. Эти числа — размер демонстрационного набора, не гарантия точности и не достаточная выборка для статистического вывода. Запиши для каждого расхождения исходный текст, ожидаемую категорию, вывод модели, причину ошибки и решение проверившего человека. Не своди всё к одному общему проценту: ошибка на редкой критичной очереди может иметь другой риск, чем путаница между двумя низкоприоритетными темами.

Примеры синтетические:

  • «Не могу войти после сброса пароля» → ACCESS.
  • «Списали оплату дважды» → BILLING.
  • «Где скачать отчёт?» → HOW_TO.
  • «Счёт не открывается и в нём указана неверная сумма» → NEEDS_HUMAN: здесь могут потребоваться две очереди, но учебная схема разрешает одну метку.

OpenAI Evals guide ранее использовал классификацию обращений как иллюстрацию проверки предсказаний по человеческим меткам, но текущая документация помечает Evals как устаревающую платформу. Поэтому заимствуй общий принцип тестирования, не строй новый процесс на уходящем API и перепроверь статус официальной документации перед внедрением (Working with evals).

Ограничь действие модели

До пилота реши, какие данные допустимо обрабатывать, где они хранятся, кто имеет доступ и как долго сохраняются. Для начальной настройки используй синтетические примеры. Не передавай реальные обращения внешнему сервису без согласования политики организации и защиты данных. Не позволяй модели отправлять ответ клиенту, менять тариф, закрывать обращение или оценивать сотрудника. На первом этапе её результат — только предлагаемая очередь, которую проверяет человек.

Успешная проверка означает, что система возвращает разрешённую метку или явную передачу человеку, а журнал позволяет разобрать ошибки. Перед включением в процесс согласуй порог ручной проверки с владельцем поддержки и проведи тест на репрезентативном, разрешённом наборе. Внеси исправления и повторно проверь те же и новые пограничные случаи.

Для контраста: обезличенные обращения как источник тем контент-плана решают редакционную задачу на агрегированных темах; здесь рассматривается отдельный тикет и его маршрут внутри службы поддержки. Не смешивай эти сценарии и не обещай заявленную точность до измерения на собственных данных.