Тестирование диктанта в Яндекс.Толоке

Цель: получение текстов разнообразных вариантов написания диктанта для построения тепловой карты ошибок с последующим анализом возможных ошибок/вариантов и корректировки разметки.

Ограничение: цельный текст диктанта под секретом, нельзя его полностью показывать отдельному человеку.

Решение: предлагать пользователям сервиса «Яндекс.Толока» писать отдельные предложения под диктовку, а затем склеивать результаты в единые тексты, затем формировать архив для импорта.

Зарегистрируйтесь в сервисе Яндекс.Толока в качестве заказчика.

Пополните баланс на нужную сумму (в долларах). Примерная экономика: 3 цента за предложение. В диктанте в среднем 15-20 предложений, следовательно, одно написание будет стоить от 45 до 60 центов.

Можно пополнить баланс с расчётного счёта юрлица.

Создайте новый проект.

Название: «Напишите предложение из школьного диктанта».

Описание для исполнителей: «Нужно послушать и записать предложение со всеми знаками препинания, опираясь на собственную грамотность».

Интерфейс задания:

json

{
  "view": {
    "type": "view.list",
    "items": [
      {
        "label": "Послушайте предложение из диктанта (это ОДНО предложение)",
        "type": "view.audio",
        "url": {
          "type": "data.input",
          "path": "audio"
        },
        "validation": {
          "type": "condition.played-fully",
          "hint": "Послушайте аудиозапись"
        }
      },
      {
        "type": "field.textarea",
        "label": "Запишите услышанное предложение со всеми знаками препинания, опираясь ТОЛЬКО на собственную грамотность (без словарей, справочников и поисковиков), см. Инструкцию. ",
        "data": {
          "type": "data.output",
          "path": "transcription"
        },
        "validation": {
          "type": "condition.required",
          "hint": "Введите услышанное"
        }
      }
    ]
  },
  "plugins": [
    {
      "type": "plugin.toloka",
      "layout": {
        "kind": "scroll",
        "taskWidth": 500
      }
    }
  ]
}

Инструкция для исполнителей

Используйте наушники для прослушивания аудиозаписи.

Внимательно послушайте и запишите предложение орфографически точно, со всеми знаками препинания, но опираясь только на собственную грамотность: без словарей, справочников и поисковиков. 

Некоторые правила:
* Тире (в отличие от дефиса) отделяется пробелами с обеих сторон: "это - тире".
* Предложение начинается с заглавной буквы.

Задание будет отклонено, если Ваш текст совсем не похож на продиктованный.''

Создаётся новый пул заданий, для каждого диктанта отдельный. Называние, например, «Диктант 1».

Выставляется русский язык. Принимаются только исполнители, сдавшие тест на знание языка. Выбирается, например, топ 50% лучших исполнителей.

Цена: $0,02

Контроль качества: перекрытие задания — ставится число написаний диктанта, которое нужно получить. Например, 100 написаний. Добавляется правило контроля качества: если отправленных страниц заданий = 3, то приостановить в пуле навсегда — для того, чтобы один человек смог увидеть не более трёх предложений диктанта.

Тип пула: Пул с обычными заданиями.

Поставить галочку: сохранять порядок заданий.

Формируется таблица в гугл.документах (https://sheet.new/) с двумя листами:

• INPUT
• OUTPUT

На листе INPUT добавляется в ячейку A1 строка INPUT:audio. Ниже вставляются ссылки на аудиофайлы предложений в прямом порядке. Ссылки можно получить в Учительской → Диктовка → Предложение → Скачать звуковой файл фрагмента. Примерно так должен выглядеть лист:

Далее, с листа копируется первый столбец и вставляется в текстовый файл. Каждая ссылка разделяется пустой строкой:

INPUT:audio
https://teacher.dict.orfogrammka.ru/api/media/61f0d7a8a5fd104693b9638c/6235982d9b28050b5b2b8b26.mp3

https://teacher.dict.orfogrammka.ru/api/media/61f0d7a8a5fd104693b9638c/623598f49b28050b5b2b8b33.mp3

https://teacher.dict.orfogrammka.ru/api/media/61f0d7a8a5fd104693b9638c/623599539b28050b5b2b8b3d.mp3

Файл сохраняется и загружается в текущий пул задач (кнопка «Загрузить»). Количество заданий на странице выбирается как «По пустой строке».

Разметка запускается и можно попить кофе, пока толокеры выполняют задания.

По окончании разметки можно скачать результаты по одноимённой кнопке в пуле. В окне скачивания выбирается только статус «Принятые» без полей и разделения ответов пустой строкой.

Данные из скачанного файла импортируются в таблицу, на лист OUTPUT так, чтобы в каждой строке была ссылка на аудиофайл и текст результата: