Кальтер / Блог

Как анализировать открытые ответы опроса через ИИ без ложных процентов

Определи единицу ответа, создай компактный кодбук, вручную проверь каждую метку и отдельно учти пустые строки.

Материал подготовлен с помощью ИИ. Источники, учебные примеры и расчёты проверены редакцией перед публикацией.

Условный цикл качественной разметки ответов опроса; схема не изображает доли, частоты или репрезентативность выборки.
Условный цикл качественной разметки ответов опроса; схема не изображает доли, частоты или репрезентативность выборки.

При кодировании открытых ответов сначала зафиксируй единицу анализа и правила категорий, а затем считай. Одна строка может быть одним ответом, но не обязательно одним человеком; пустой ответ нельзя молча удалить из знаменателя, если ты потом описываешь полноту отклика. На маленьком наборе проверь вручную каждую метку.

Синтетический набор из восьми строк

Вопрос для учебного примера: «Что повлияло на решение попробовать сервис или отказаться от него?» В этом сценарии вопрос адресован и тем, кто воспользовался сервисом, и тем, кто отказался. Все ответы ниже вымышлены, не являются данными ZASLON или реального опроса:

ID Ответ
S1 «Вручную стало уходить слишком много времени»
S2 «Не понял, что входит в цену»
S3 «Бесплатного тарифа не хватало для экспорта»
S4 «Команда уже пользуется другим сервисом»
S5 «Не нашёл, как отменить подписку»
S6 «Пока справляюсь вручную, менять ничего не хочу»
S7 «Нужно было закончить отчёт к сегодняшнему сроку»
S8 (пусто)

Если в реальном опросе участвовали только те, кто уже попробовал сервис, ответы об отказе были бы вне заданной аудитории вопроса. Не кодируй их как соответствующие исходному опросу: сначала проверь выборку и формулировку анкеты.

Единица — одна строка ответа. Основной код назначается один на содержательную строку; пустой ответ получает отдельный статус «нет ответа». Для реального опроса укажи число строк в исходном наборе, число содержательных ответов и число пропусков отдельно.

Пусть модель предложит проект кодбука

Предложи компактный кодбук для этих открытых ответов.
Единица — одна строка; основной код один на ответ. Пустые строки помечай как «нет ответа».
Для каждой метки дай короткое определение и правило включения/исключения.
Затем закодируй все ID, приложи точный фрагмент-основание и отметь неоднозначность.
Не добавляй мотив, которого человек не написал. Не своди коды в проценты и не обобщай
на всех клиентов. Если примеры пограничные, покажи альтернативы вместо уверенного вывода.

Цель опроса: [..]
Вопрос, на который отвечали: [..]
Правило единицы и множественного кодирования: [..]
Ответы: [ID, текст]

Методика Pew для одного исследования описывает итеративную разработку кодбука и пересмотр разногласий до более широкого кодирования; в ней отдельно обсуждаются пропуски, длина ответа и различия сбора данных (описание методики). Их выборки, коэффициенты и процедуры нельзя переносить на этот игрушечный набор. Здесь из этого следует только полезный редакторский шаг: уточнять правила на спорных примерах.

Ручная проверка всех строк

Один гипотетический кодбук может выглядеть так:

ID Возможный основной код Основание в учебном ответе
S1 трудоёмкость ручного процесса «уходить слишком много времени»
S2 неясная цена/состав тарифа «не понял, что входит в цену»
S3 ограничение бесплатной функции «не хватало для экспорта»
S4 издержки смены инструмента «уже пользуется другим сервисом»
S5 неясность отмены/условий «не нашёл, как отменить»
S6 низкая срочность смены «менять ничего не хочу»
S7 ближайший срок/срочная задача «к сегодняшнему сроку»
S8 нет ответа пустая строка

Редактор сверяет каждую строку с кодбуком, исправляет метку, если смысл не совпал, и записывает спорные случаи. В этой учебной таблице 7 содержательных ответов из 8 строк; это не доля покупателей и не оценка рынка. Если на реальных данных один ответ может получать несколько тегов, число назначений может превышать число строк.

От кодов к осторожному выводу

Не говори «главная причина покупки — срок» по одной строке. Лучше опиши наблюдение в пределах этого набора: «В этой выгрузке один содержательный ответ упоминал ближайший срок; автор связывал попытку с отчётом». Затем проверь, не были ли приглашены только активные пользователи или люди, уже склонные отвечать.

Сохрани исходный текст в разрешённом месте, версию кодбука, проверенные метки и число пропусков. ИИ может помочь оформить первые категории; значение и применимость каждого кода подтверждает человек.

До сбора данных проверь ясность формулировки вопроса. Если похожие темы встречаются в публичных отзывах, сверяй их отдельно по схеме кодирования отзывов, не объединяя разные источники.