Как выглядят автоматически обработанные результаты?

Я не буду касаться общих для всех количественных методов тем, таких как: выбор индикаторов и шкал, нормирование тестов, корректное построение выборки, основания её рандомизации, оценка доверительных интервалов, проверка гипотез, минимизация ошибок, отбраковка выбросов и т.д., сосредоточившись только на описании разработанных мной средств автоматизации сбора таких оценок.

Как зрителю показывается видео?

Отобранной выборке зрителей, это может быть пререкрут, а может быть рассылки по случайной выборке, приходит электронное письмо или СМС со ссылкой и предложением об участии в оценке видеофрагмента, содержащее уникальный код для доступа к опросу. При открытии ссылки зритель вводит код:

И попадает на страницу оценки видеофрагмента

Зритель смотрит видео и отмечает моменты, которые ему нравятся/не нравятся, нажимая мышкой на оценку, либо +/- на клавиатуре.

Что оценивается?

В примере зритель оценивает видео по дихотомической шкале. Наиболее простой и понятный способ, максимально упрощающей зрителю оценку. Возможны другие варианты:

Семантический дифференциал

Пары «успокаивающий – бодрящий» или «захватывающий – скучный», в виде униполярной «1, 2, 3, 4, 5, 6, 7», или биполярной шкалы, «-3, -2, -1, 0, 1, 2, 3».

Графическая рейтинговая шкала

Такая шкала может быть не только дискретной, но и непрерывной, от 1 до 100 или от 1 до 1000.

Какие сырые данные получаем?

Получаем временные ряды с плотностью оценок до микросекунд. Для этого сначала подготавливаем данные для сохранения:

 var resp = "{TOKEN:TOKEN}"; // идентификатор респондента

 var now = new Date(); // текущее время нажатия на кнопку

 var CurrentAnswer = this.value; // выбранный вариант ответа

 var VideoTime = player.getCurrentTime(); // время от начала видео, в секундах и их долях, из плеера.

А затем сохраняем данные в базу SQL, обязательно асинхронно, через ajax запрос, чтобы не терять промежуточные нажатия во время обработки предыдущего нажатия:

var check_quota_url = "http://url/save.php?resp="+resp+"&date="+now+"&time="+VideoTime+"&ans="+CurrentAnswer;

$.ajax({

    url: check_quota_url,

    type: "GET",

    timeout: 600,

    dataType: 'json',

    async: true

});

База с сырыми данными для дихотомии выглядит следующим образом:

Как выглядят автоматически обработанные результаты?

Результатом обработки является дашборд, на котором данные пересчитываются и обновляются раз в 3-5 минут. На графиках легко отследить хорошие и проблемные места видеофрагмента и получить как общее представление об оценке видео:

Так и оценки каждого зрителя:

Данные, запрошенные из сырых табличек дашбордом легко обрабатывать, например убирая оценки, которые выставлены до начала воспроизведения видео:

if [Timestamp] >0 then INT([Timestamp]) END

Или для отображения дизлайков на отрицательной оси

DisLike seconds =

IF [RespondentAnswer]="Dis" and [Timestamp] > 0 then INT([Timestamp]) END

Dislikes =

-1 * COUNT([DisLike seconds])

Для более глубокой обработки можно экспортировать уже очищенные и автоматически обработанные данные в удобном формате, не тратя время на ручные чистки и переформатирование сырых табличек: