Как выбирать набор вопросов, выборку, язык, страну, время, модель и…

Прямой ответ

Проводите аудит GEO по заранее определённому и версионированному реестру вопросов. Реестр включает идентичность сущности, намерение пользователя, тип вопроса, уровень риска, язык, страну, дату, модель, поверхность продукта и известную версию. Не выбирайте только примеры, которые, вероятно, дадут выгодный результат. Сбалансированно охватывайте основную идентичность, доказательства, сравнение, ограничения, актуальность, ошибки с серьёзными последствиями и реальные намерения пользователей. Если область изменилась после теста, сообщайте старые и новые результаты как разные версии.

Простыми словами

Нельзя оценить класс, задав только трём лучшим ученикам самые лёгкие вопросы. Сначала решите, какие предметы и группы должны быть представлены, а затем примените один экзаменационный план ко всем.

Почему это важно

Выбор вопросов после просмотра ответа позволяет искусственно повысить или понизить успех. Представление, которое выглядит надёжным в одном языке, стране или модели, может не работать в другом условии. Без записи области два аудита нельзя честно сравнить.

Не путать

Исследовательское тестирование ищет неизвестные типы ошибок и не обязано давать формальный вывод о соответствии.
Приёмочное тестирование определяет, пригодна ли версия к использованию по заранее заданным условиям.
Регрессионное тестирование проверяет, не сломало ли изменение прежнее правильное поведение.
Мониторинговое тестирование отслеживает изменения действующей системы во времени.
Исследовательская выборка требует методического отбора, если по ней делают вывод об определённой совокупности.

Что делать

Сначала укажите решение, которое поддерживает аудит, целевую совокупность и предполагаемое обобщение.
Разделите реальные намерения пользователей и критические риски представления на категории вопросов.
Для каждой категории задайте существенные слои: например, язык, страну, устройство или поверхность продукта.
До испытания версионируйте формулировку и порядок вопросов, число повторов и условия выполнения.
Записывайте название модели, способ доступа, дату, время, языковую настройку, страну и видимые сведения о версии.
Сообщайте об отсутствующих или недоступных слоях, не подменяя их молча другими примерами.
При смене области открывайте новую версию реестра и не смешивайте её результаты со старой.

Как проверить

Явны ли целевая совокупность и цель решения, ради которого проводится измерение?
Зафиксированы ли вопросы до просмотра результатов?
Не создали ли лёгкие или выгодные вопросы смещение отбора?
Достаточно ли представлены идентичность, доказательства, ограничения, актуальность и ошибки высокого риска?
Записаны ли язык, страна, модель, поверхность, дата и версия?
Не обобщён ли результат одного условия на непроверенные условия?
Не удалены ли из результата отсутствующие, неудачные или заблокированные тесты без раскрытия?

Ограничение

Единого числа вопросов или размера выборки для каждого аудита GEO не существует. Достаточность зависит от важности решения, частоты ошибок, ожидаемой изменчивости, желаемой точности и охватываемых слоёв. Не выводите версию, если поставщик её не раскрывает.