Кальтер / Блог

Пропуски в онлайн-опросе: проверь маршрут, прежде чем делать вывод

Как отделить пустые ответы, отказы и вопросы, пропущенные по маршруту; пример расчёта с корректным знаменателем до анализа результатов анкеты.

Материал подготовлен с помощью ИИ; GOV.UK/AAPOR методические источники и синтетические расчёты проверены редакцией ZASLON. Реальные данные не анализировались.

Редакционная схема: Что значит пропуск. Условные обозначения, не скриншот сервиса или реальной операции.
Редакционная схема: Что значит пропуск. Условные обозначения, не скриншот сервиса или реальной операции.

Высокая доля пропусков — сигнал проверить вопрос, маршрут и тип ответа, но не готовый вывод о том, что респондент «не знает» или «не сталкивался». Сначала раздели пустой ответ, явный отказ, неприменимость по логике анкеты и незавершённую форму. GOV.UK Survey Development Toolkit предлагает в live-фазе анализировать response patterns и missing data; AAPOR напоминает, что response rate сам по себе недостаточен, чтобы установить наличие или размер nonresponse error.

Таблица триажа

Для каждого вопроса собери как минимум: количество людей, которым он был показан; число содержательных ответов; явные «не знаю»/отказы; пропуски; число людей, которым вопрос не задавался из-за ветвления; место ухода из формы. Сохрани знаменатель отдельно для каждого показателя.

Категория Синтетический count Доля от 200 записей Что проверить
Есть содержательный ответ 140 70% Не считать автоматически репрезентативным
Явный отказ отвечать 18 9% Отдельный код отказа, не пустота
Пропущен показанный вопрос 30 15% Формулировку, обязательность, мобильную версию, место ухода
Не задавался из-за маршрута 12 6% Корректность условия перехода и исходный фильтр
Итого записей на входе в этот этап 200 100% Категории складываются ровно в знаменатель

В таблице знаменатель 200 нужен только для описания всех записей на входе в этап. Сам вопрос увидели 200 − 12 = 188 человек. Среди увидевших пустой ответ оставили 30 ÷ 188 × 100 ≈ 15,96%, явный отказ выбрали 18 ÷ 188 × 100 ≈ 9,57%. Содержательно ответили 140 ÷ 188 × 100 ≈ 74,47%. Эти три доли дают 100% с округлением. Двенадцать пропусков по маршруту сюда не входят: вопрос этим людям не показывали. Все числа учебные; это не анализ реальной выборки.

Последовательность проверки

  1. Зафиксируй знаменатель. Сколько участников действительно видели вопрос? Не дели ответы на всех приглашённых, если вопрос показывался только части анкеты.
  2. Раздели причины. «Не знаю», «предпочитаю не отвечать», технически пустой ответ и пропуск по маршруту — разные наблюдения.
  3. Проверь ветвление. Сопоставь фильтрующий ответ с записью о том, кому вопрос должен был показываться. Ошибка маршрута может выглядеть как пропуск.
  4. Посмотри на место ухода. Если незавершения концентрируются рядом с длинным/непонятным вопросом, это повод проверить UX и формулировку, а не доказательство причинности.
  5. Сравни только сопоставимые группы. Проверяй метод сбора, версии анкеты и доступные характеристики выборки. Для вероятностных выводов и весов подключи специалиста; не исправляй значения автоматической подстановкой нуля.
  6. Зафиксируй неопределённость. Ответившие могут отличаться от неответивших. Наблюдаемая доля пропусков не говорит сама по себе, как ответили бы люди, которые не заполнили форму.

Копируемый запрос к ИИ

Проанализируй только синтетическую агрегированную таблицу по вопросу анкеты. Сначала проверь, что категории взаимоисключающие и дают заявленный знаменатель. Отдельно посчитай item missing, explicit refusal и skipped by routing; не объединяй их. Не подставляй нули, не объявляй выборку репрезентативной и не выводи причинность. Предложи проверки анкеты и список того, что нельзя заключить без метода выборки и характеристик nonrespondents. Не запрашивай сырые персональные ответы.

Что считать результатом триажа

Готовый разбор заканчивается понятной таблицей причин/гипотез и следующими проверками: сверить код ветвления, посмотреть формулировку и версию вопроса и изучить различия между ответившими и неответившими в рамках доступной методики. Изменение анкеты сначала тестируется отдельно, чтобы не смешивать версии. Число ответов не доказывает точность выводов о целевой аудитории. Для подготовки анкеты см. гайд по проверке вопросов, а для проверки её веток до запуска — QA маршрутов.

Материал подготовлен с помощью ИИ. Все значения синтетические; реальные ответы не анализировались.