Не каждую ошибку черновика следует исправлять одним и тем же способом. Опечатку можно автоматически починить и проверить diff; спор о действующем лимите требует свежего первоисточника; неподтверждённая причинность может потребовать остановить публикацию. Маршрут должен содержать ответственного и условие закрытия, а не только цветовой флаг.
Синтетическая проверка одного черновика
Представим текст с четырьмя проблемами: URL официальной страницы набран с ошибкой, лимит взят из документа двухлетней давности, фраза «обновление вызвало рост конверсии» не подкреплена экспериментом, а заголовок второго уровня оформлен как H3 вместо H2. Это разные классы риска.
| Наблюдение | Маршрут | Кто отвечает | Условие закрытия |
|---|---|---|---|
| URL возвращает 404, но существует очевидный канонический путь | auto-fix → reviewer |
Агент может предложить замену; редактор подтверждает цель | Новый URL открыт, источник совпадает с тезисом, ссылка проходит проверку |
| Лимит цитирован из старой документации | blocked-evidence |
Автор ресерча или предметный редактор | Найден действующий первичный источник с датой/версией; иначе число удалено |
| «Обновление вызвало рост» при одном before/after периоде | reviewer, а если дизайн отсутствует — blocked-evidence для causal claim |
Аналитик/редактор | Причинность подтверждена подходящим дизайном либо claim переписан как наблюдаемое изменение |
| Заголовок H3 нарушает иерархию, смысл не меняется | auto-fix |
Редактор проверяет diff | Семантическая структура восстановлена; текст утверждений не затронут |
Важно: blocked-evidence — не оценка вероятности того, что фраза ложна. Это состояние «нет достаточного основания для публикации сейчас». Предметный спор нельзя перекрасить в PASS только потому, что JSON валиден или URL отвечает HTTP 200.
Минимальная карточка review
{
"finding_id": "F-03",
"claim_id": "C-12",
"severity": "high",
"type": "unsupported_causality",
"route": "blocked-evidence",
"owner": "subject_editor",
"evidence_needed": "контролируемый эксперимент или убрать причинную формулировку",
"exit_condition": "claim переписан как наблюдение либо причинный дизайн документирован",
"publish_blocking": true
}
Пример маршрутизации: F-01 по битой ссылке после исправления получает статус fixed, но ещё ждёт проверку конечной страницы; F-02 остаётся blocked-evidence, пока новый источник не найден; F-03 блокирует causal wording; F-04 исправляется локально. Итоговое решение — STOP, если остаётся хотя бы один blocking item. Исправить пункт можно только с сохранением прежнего и нового текста, источника и проверки.
OpenAI советует определять цели оценки, набирать репрезентативные примеры и сопоставлять автоматические оценки с человеческими суждениями (Evaluation best practices). Google рекомендует создавать надёжный, полезный контент для людей, но его руководство не превращает проверку структуры в проверку фактов (полезный контент Google Search).
На небольшом наборе важно отдельно определить блокирующие ошибки: одна неподтверждённая финансовая цифра может быть важнее десятка исправленных заголовков. Автоматизируй только наблюдаемые механические условия. ИИ не должен сам подтверждать собственное неподтверждённое утверждение; выход из blocked-evidence требует нового основания и редактора. Для начинающего в работе с ИИ следующий шаг — БАЗА; эта матрица касается только маршрутизации review.
