ELAN - разметка просодии и жестов

1. Типы и слои

Создайте слои (и типы слоев, если нужно) для каждого говорящего, вида (для условного спикера @aaa1989f, а вы подставьте своего):

• тип жеста (gestType@..., тип слоев gesture_type, слой не имеет родителя, стереотип - None)
• значение жеста (gestMeaning@..., тип gesture_meaning, родительский слой - gestType@…, стереотип - Symbolic Association)
• участвующие части тела
  • gestBody@..., тип слоев gesture_organs, родительский слой - gestType@…, стереотип - Included In
  • gestHead@..., тип слоев gesture_organs, родительский слой - gestType@…, стереотип - Included In
  • gestArms@..., тип слоев gesture_organs, родительский слой - gestType@…, стереотип - Included In
  • gestHands@..., тип слоев gesture_organs, родительский слой - gestType@…, стереотип - Included In
  • gestFingers@..., тип слоев gesture_organs, родительский слой - gestType@…, стереотип - Included In
  • gestLegs@..., тип слоев gesture_organs, родительский слой - gestType@…, стереотип - Included In
• комментарии к разметке жестов (gestComment@..., тип gesture_comment, родительский слой - gestType@…, стереотип - Symbolic Association)

Типы жестов: (сделайте список значений для типа gesture_type)

• изобразительный
• указательный
• эмблема
• прагматический
• адаптор

2. Разметка жестов

Граница жестовой реплики включает в себя экскурсию (выход на жест), активную фазу и удержание/рекурсию. Мы выделяем жест с начала до конца (с экскурсии до удержания/рекурсии).

Мы не размечаем “корыстные” движения: если человек берёт конфету (чтоб её съесть), берёт телефон (потому что позвонили) и т.д., мы это в разметке не отражаем.

Если у говорящего жесты переходят один в другой, то граница между ними ставится в начале перехода к следующему жесту.

Если один жест накладывается на другой (или они происходят одновременно), то - вынужденное решение - сделайте два спана подряд (временная граница между жестами в этом случае будет условной).

2.1 Разметка органов

Если в жесте задействуются пальцы, у рук автоматически ставится аннотация в том же месте. Если двигаются глаза, брови и др., ставим аннотацию в gestHead@...Если пожимают плечами, то в gestBody@....

2.2 Разметка значений жестов

В слое gestMeaning@... указывается значение жеста, см. МУРКО1. Допускается использовать свои метки, если вы не нашли подходящих в этой классификации. Если значение жеста не получается определить, допустимо использование тега #неясно#.

Варианты значений указательных жестов (конечный список):

• самоиндентификация
• идентификация собеседника
• общеуказательный

Общеуказательный используем для всего остального (для места, времени, конкретных объектов и областей).

Варианты значений адапторов (не конечный список):

• волнение
• удивление
• радость
• смущение
• …
• саморегуляция (для неявных случаев, например, когда на протяжении всего монолога человек перебирает пальцами, а понятная эмоция не считывается)

Варианты значений прагматических жестов (не конечный список):

• новая тема
• пример
• перечисление
• проверка контакта
• эмфаза (если человек этим выделяет, подчёркивает мысль)
• поиск слова
• приблизительность
• …

Пример:
TBA

1 Это файл .htm, который можно скачать и открыть локально. А ещё вы можете зайти на сайт НКРЯ (https://ruscorpora.ru/), выбрать Мультимедийный корпус и посмотреть раздел “Поиск по жестам”.

Полезные ссылки

• Мультимедийный корпус НКРЯ ruscorpora.ru
• Мультимедийный корпус: терминологический указатель
• Студиорум. Инструкция по работе с мультимедийным корпусом

Словарик

• Жест-адаптор – то, что показывает внутреннее состояние (волнение, испуг, радость, нервозность, неуверенность и т.п.). Обычно это мелкие движения руками (теребление или перебирание в руках чего-то, поглаживания и почесывания, переминание пальцев, подергивание), покусывания губ. Свидительствует о стремлении жестикулирующего адаптироваться к (стрессовой для него) ситуации коммуникации, взять ее под контроль. Выбирайте эту помету, если считаете, что жест не имеет специального коммуникативного значения.

• Жест-эмблема – общепринятые в культуре жесты, заменяющие собой слово или фразу. Например, поднятый палец вверх (“Ок!”), кручение пальца у виска (“дурак!”), мотание головой (“я не согласен”).

• Прагматические жесты – жесты, передающие отношение говорящего (выражающие неуверенность в точности передаваемой информации, указывающие на приблизительность номинации, эксплицирующие сомнения (например, жест «развести руками»)), указывающие на структуру дискурса (маркеры фона рассказа, указания на возвращение к основной линии, представления референтов и маркирование некоторой информации как дополнительной), жесты, связанные с локальной структурой дискурса (маркирующие перечисления, противопоставления и отрицания), жесты поиска слова, жесты, способные заполнить паузы хезитации, жесты, указывающие на смену или сохранение ролей в разговоре и указание на адресата сообщения. [по Ю. В. Николаевой] Повторяющиеся ритмичные жесты-биты относятся к этой же категории.

Для тех, кто всё сделал (в дз не надо)

• eduType@aaa1989f - для разметки типа интонации (Тип слоев со стереотипом Symbolic Association, родительский слой text@…)

Классы реплик

Упрощенная разметка просодии предполагает определить интонационный паттерн (по движению тона), указать паузы и слова, на которые приходится эмфатическое выделение, если оно есть.

Мы будем использовать упрощенную классификацию типов интонации:

• вопрос да/нет
• вопрос частный
• повествование
• побуждение
• незавершённость
• другое

Отредактируйте список значений utterance types для типа utterance_types (в разделе Правка).

Примеры использования похожих меток вы можете посмотреть на сайте проекта PRuD.

Подумать про: неуверенность (качание ладони), два типа (сомнение и изображение), биты (значение)