Выбирай нейросеть не по рейтингу «лучшая вообще», а по тому, насколько она решает твои повторяющиеся задачи при приемлемых цене, ограничениях и риске ошибки. Составь небольшой набор одинаковых заданий, прогони его в кандидатах и оцени результат по заранее выбранным критериям. Это не научный бенчмарк, зато честнее случайной демо-сессии. GitHub, например, публикует для Copilot отдельную карточку возможных сценариев, ограничений и оценок — это полезный образец того, какие вопросы задавать поставщику, а не универсальный рейтинг моделей (Application Card). Критичные факты в ответах ChatGPT всё равно проверяй по исходным материалам: OpenAI предупреждает, что модель может ошибаться в фактах и ссылках (ограничения точности ChatGPT).
Начни с вопроса: что именно должно измениться в работе? «Нужен ИИ» — слишком размыто. «Раз в неделю превращать длинные заметки в письмо без выдуманных обещаний» — уже проверяемая задача.
Собери тест-пакет из пяти задач
Выбери по одной задаче из реального процесса, но обезличь данные:
- Текст: переписать короткое сообщение в заданном тоне, сохранив все числа.
- Документ: найти три факта в длинном файле и указать места, где они встречаются.
- Таблица: объяснить формулу и выделить строки, требующие ручной проверки.
- Код: объяснить небольшой фрагмент или предложить изменение с описанием затрагиваемых файлов.
- Неопределённость: дать ответ на вопрос, где во входных данных недостаточно сведений, и посмотреть, попросит ли инструмент уточнение вместо выдумки.
Для каждой задачи зафиксируй один и тот же запрос, входной файл, критерий приемки и ограничения. Если сервисы имеют разные возможности загрузки, это часть сравнения: отмечай её, не маскируй.
Таблица оценки
| Критерий | Что проверять | Простой способ оценки |
|---|---|---|
| Точность | Сохранил ли числа, имена и условия | Ошибки по списку фактов |
| Полнота | Выполнил ли каждый пункт | Сколько пунктов пропущено |
| Формат | Удобно ли вставить результат в процесс | Нужно ли вручную перестраивать |
| Проверяемость | Есть ли ссылки на строки/источники | Можно ли быстро перепроверить |
| Работа с неизвестным | Уточнил ли недостающие данные | Был ли уверенный вымысел |
| Приватность | Можно ли отправлять такой материал | Настройки хранения и правила сервиса |
| Стоимость и доступ | Что нужно оплачивать и какие лимиты действуют | Проверь тариф и ограничения на дату |
Сначала оцени критичные ошибки, потом среднюю удобность. Если один кандидат красивее пишет, но меняет числа, это не «почти победа»: в задаче с числами он может быть неподходящим.
Сделай сравнение воспроизводимым
Сохрани версии промпта, дату, имя сервиса/модели и результат каждого запуска. Отключи необязательные инструменты, если они меняют поведение; если нужен поиск или выполнение кода — используй одинаковые условия либо явно оценивай этот сценарий отдельно. Сделай минимум два прогона на важных задачах: генеративные системы могут отвечать по-разному. Это не позволяет заявлять о статистическом превосходстве, но показывает, насколько результат устойчив в твоём небольшом тесте.
Не отправляй реальные клиентские документы в сервис, пока не проверил правила организации и настройки обработки данных. Не вводи API-ключи в чат для «проверки интеграции». Уточняй, где выполняется файл-обработка и какие права нужны подключённому инструменту.
Своди наблюдения в одну таблицу, а не в общий рейтинг:
| Задача | Сервис/модель и дата | Запуск | Критичная ошибка | Ручные правки, мин | Доступ/лимит/цена | Решение |
|---|---|---|---|---|---|---|
| [кейс] | [название и дата] | 1/2 | [что изменено или пропущено] | [время] | [проверенные условия] | [пилот/не подходит] |
Два прогона только показывают, что ответы могут различаться; они не доказывают устойчивость или статистическое превосходство. Для более надёжного сравнения нужен больший заранее заданный набор примеров и одинаковые условия.
Как принять решение
- Убери кандидатов, которые не проходят обязательные требования — например, нет нужной локализации или запрещена обработка данных такого типа.
- Сравни ошибки на задачах, где цена ошибки различается. Ошибка в черновике поста и ошибка в расчёте — не одинаковы.
- Посчитай стоимость не «за ответ вообще», а на типичный месяц твоей нагрузки, включая ручную проверку и возможные лимиты.
- Выбери один инструмент для пилота на узком процессе. Заранее зафиксируй дату пересмотра, объём задач и время на ручную проверку; после периода пилота сравни их с исходным процессом.
Запиши вывод с датой: модели, тарифы, доступность функций и правила обработки данных меняются. Сравни не только подписку, но и ручную проверку, исправления, лимиты файлов и доступ в твоём регионе. Не превращай тест из пяти задач в универсальный рейтинг. Практические сценарии для новичков собраны в БАЗЕ.
Пример: сравниваем не «ум», а процесс
Допустим, ты дважды в месяц готовишь описание товара по утверждённой таблице. Проверь, сохраняет ли сервис артикул и размер, не добавляет ли обещаний, удобно ли передать результат коллеге и сколько времени уходит на правки. Такой тест отвечает только на вопрос, как инструмент подходит этому процессу.
Сохрани тестовый input и ожидаемый результат, чтобы повторить сравнение после изменения тарифа или модели. Если тестируешь агентную функцию, добавь отдельный кейс «инструмент недоступен»: полезно увидеть, признаёт ли система отказ вместо заявления об успехе. Для более широкого набора критериев смотри как тестировать ИИ-агента.