Экзаменационное задание

Экзамен сдается как групповой проект, в ходе которого участники вместе сдают письменное задание и выступают с презентацией на устном экзамене.

• Группа проекта: состоит из 4 или 5 человек, можно из разных групп по программированию или по языкам. Однако, важно, что экзамен у всех участников группы проводится в один день и час. Если вам нужно сдать экзамен как можно раньше, объединяйтесь с людьми, которые тоже спешат.

• Тема проекта: обзор электронного лингвистического ресурса (словаря, базы данных, корпуса), с критикой и идеей исследования на его материале.

• Гуглдок для записи: укажите, пожалуйста, состав группы, выбранный ресурс и пожелания по времени сдачи экзамена на вкладке “Проект” гугл-дока с оценками. Брать нескольким группам один и тот же ресурс для обзора не рекомендуется.

• Письменная часть проекта загружается накануне дня экзамена в папку в виде файла PDF (объем не менее 2,5 страниц), включает ответы на вопросы:

  • кто составители ресурса?
  • какой языковой материал документируется?
  • для решения каких задачи создавался ресурс, кому он адресован?
  • состав текстов/материалов, уровни разметки
  • краткий отчет о поисковом функционале
  • примеры двух заданий (со скриншотами), какого рода информацию можно получить по запросу (связаны с возможным исследованием, см. ниже)
  • библиография: ссылки на инструкции и литературу, посвященную ресурсу (если она есть)

Не забудьте в шапке указать название ресурса, его адрес в интернете и имена-фамилии участников экзаменационного проекта с email-ами.

• Устная часть (на экзамене в период сессии) включает рассказ о ресурсе в виде презентации (примерно 7 минут на презентацию, рассказывают все понемножку).
  • идея лингвистического исследования, которую можно осуществить с помощью данных, включенных в ресурс
  • критическое обсуждение достоинств и недостатков состава и функционала ресурса (будет здорово, если это будет связано с идеей исследования)
  • показать “в прямом эфире”, как работает ресурс, выполнив 1 сложный запрос
  • как можно улучшить ресурс и что для этого надо сделать?

Презентацию можно сделать в Power Point, Google Slides, LaTeX или каком угодно другом редакторе презентаций. На титульном слайде должно быть указано название ресурса и имена-фамилии всех участников проекта. Перед экзаменом загрузите презентацию в ту же папку, куда ранее был загружен письменный проект.

Какой ресурс взять для проекта?

• Любой корпус (кроме подкорпусов НКРЯ и Aranea), для любого языка (русского, иностранного, языков России, жестовых языков, язык вы можете знать или не знать), также параллельные, мультиязычные, диалектные и диахронические корпуса
• Интересный электронный словарь (который предоставляет больше возможностей, нежели просто поиск по электронной версии бумажного словаря)
• Лингвистическую базу данных (кроме WALS) (например, Вавилонская башня, базы данных синонимов, ворднеты, конструктиконы, Catalan intonation, из списка типологических баз данных)

Ссылки на корпуса, словари и базы данных можно найти на странице НКРЯ, linguistlist.org, web-corpora, английские корпуса, Lancaster list, Humboldt list, ресурсы для экспериментальной лингвистики, тьюториалы, а также погуглить, вики по электронным словарям, FreeDictionary, LREC resourcebook. Большая просьба не выбирать для проектов большего одного корпуса из корпусов коллекции SketchEngine/*TenTen (не русский и не английский), с платформы Восточно-Армянского корпуса/web-corpora.net, синтаксических корпусов Universal Dependencies.

Идеи для подготовки к проекту

• узнаем, есть ли доступ к ресурсу онлайн или оффлайн и как его получить
• читаем информацию на сайте (описания, инструкции и т.п.)
• находим в сети статьи об этом ресурсе (например, материалы конференций - в частности, в Гугл-Академии или в архиве https://aclweb.org, но и не только)
• разбираемся практически, как и что можно искать
• составляем критическое мнение, какие возможности (поиска, представления найденного) есть, что удобно, что неудобно, чего не хватает и т.п.
• придумываем пример небольшого лингвистического исследования, которое можно провести с помощью ресурса. Хорошо, если оно требует использования разного функционала ресурса
• придумываем фан-проджект, как улучшить ресурс

Экспертиза usability ресурса

1. onboarding (ресурс глазами новичка): легко ли вы нашли сам ресурс и форму поиска; быстро ли вы сориентировались, как и что искать; насколько все “интуитивно очевидно”; есть ли образцы запросов для новичков?
2. помощь пользователю: наличие подсказок, инструкций, насколько легко их найти, насколько легко в них ориентироваться; насколько быстро вы нашли нужную информацию (опять же дизайн)
3. продвинутый функционал (сложные запросы) – что позволяет и что не позволяет найти ресурс.
4. дизайн, что нравится и что не нравится (общее впечатление, цветовая гамма, форма и расположение кнопок и т.п.)

Fun-project: как улучшить ресурс

Эта часть призвана развить ваше умение поставить новые исследовательские лингвистические задачи, представить себя в роли пользователя ресурса и его разработчика, понять, что нужно сделать, чтобы внедрить новые функциональные возможности, оценить реализуемость ваших идей. “Fun” означает, что вы не обязаны реализовывать ничего из того, что запланировано в проекте (но кто знает?). Вопросы в помощь:

• какие новые возможности поиска, сортировки, группировки, визуализации, выгрузки данных и т. п. вы видите?
• какими данными (текстами, медиа, группами лексики) можно было бы пополнить ресурс?
• для решения каких лингвистических задач это было бы полезно?
• хватает ли документации (обучающих роликов, инструкций и т.п.) для новых и продвинутых пользователей?
• что нужно сделать, чтобы реализовать все предыдущее, на какие этапы разбить работу, сколько времени и сколько людей для этого понадобится?
• можно ли привлечь любителей (crowdsourcing не-лингвистов) и что для этого нужно сделать?

Любые другие идеи также приветствуются.

Оценка за экзамен

• макс. 3 балла – письменная часть
• макс. 5 баллов – устная часть
• 1 бонусный балл к устной части – за креативность в подаче материала, оформлении презентации, умение рассуждать, глубину критики, сложные и нестандартные примеры

• макс. 1 балл – за вопросы к презентациям других проектов, вопросы задаются в Телеграм-канале “Лингвистические данные”. Дается индивидуально каждому студенту, если он задаст не менее 2 содержательных и интересных (и не дублирующих предыдущие) вопросов. Не забудьте указать свои имя-фамилию всякий раз.

• Критерии оценивания:
  • у студентов есть представление о том, какие уровни описания языка отражает ресурс, сколько и каких типов лингвистической информации прилично содержать и показывать современному инструменту (“мейнстрим”)
  • относительно этого оценивается, как описываются слои разметки корпуса, зоны представления информации в словаре и базе данных, статистическая информация, графическая визуализация результатов поиска
  • есть понимание, для кого предназначен ресурс, могут ли им пользоваться разные группы пользователей для разных целей
  • критическая оценка функциональности – какие задачи можно/нельзя решать с помощью ресурса
  • предложенное мини-исследование адекватно связано с задачами создания ресурса и с его функционалом
  • критическая оценка usability – насколько удобно и визуально приятно, в том числе насколько легко ориентироваться новичку, насколько интуитивен (в смысле Стива Джобса) дизайн
  • (в письменной части) указано, имеются ли инструкции, видеохелпы, статьи, посвященные ресурсу и т.п. (как на странице ресурса, так и на внешних сайтах, со ссылками)
  • указано, есть ли доступ для скачивания тех или иных материалов (с которыми потом можно работать оффлайн)
  • приведены примеры запросов со скриншотами (на устной презентации – один, но не самый тривиальный запрос, другие вас могут попросить выполнить при обсуждении)
  • использованы внешние источники информации (статьи о ресурсе, обзоры ресурсов и т.п.)
  • информация дается сбалансированно, в том числе по времени ее устной презентации

Приложение. Темы проектов 2018 и 2019 гг.

(как пример. Тут были отличные ресурсы, о которых можно много чего рассказать, и неудачные ресурсы)

Звуки Му http://web-corpora.net/zvukimu/ . Corpus of Global Web-Based English (GloWbE) https://corpus.byu.edu/glowbe/
Бурятский корпус http://web-corpora.net/BuryatCorpus/
The National Corpus of Polish Cheatsheet http://nkjp.pl
The IWeb Corpus https://corpus.byu.edu/iweb/
Польско-русский и русско-польский параллельный корпус http://pol-ros.polon.uw.edu.pl/index.php?id=01&lang=ru
Шведский корпус https://spraakbanken.gu.se/korp/
Русский учебный корпус http://web-corpora.net/RLC
Беларускі N-корпус https://bnkorpus.info/index.html
The Czech National Corpus https://www.korpus.cz/
The Free Dictionary https://www.thefreedictionary.com/
Online Etymology Dictionary https://www.etymonline.com/
Корпус цыганского языка http://web-corpora.net/RomaniCorpus/search/?interface_language=ru
Башкирский поэтический корпус http://web-corpora.net/bashcorpus/search/
Рукописные памятники Древней Руси: берестяные грамоты, летописи http://www.lrc-lib.ru/
Фонетический корпус эстонского языка http://www.murre.ut.ee/phonetic-corpus/
Корпус говора села Роговатка http://www.parasolcorpus.org/Rogovatka/
Рассказы о сновидениях и другие корпуса звучащей речи http://spokencorpora.ru/
База произношений Forvo https://forvo.com
Reverso Context http://context.reverso.net/перевод/
Vienna-Oxford International Corpus of English https://www.univie.ac.at/voice/stats/page/index.php
The Quranic Arabic Corpus http://corpus.quran.com
Roget’s Hyperlinked Thesaurus www.roget.org
AnCora http://clic.ub.edu/corpus/
language goldmine http://languagegoldmine.com
Hansard corpus https://www.hansard-corpus.org/
reverso.net
https://visuwords.com/ Корпус русского жестового языка http://rsl.nstu.ru
https://www.spreadthesign.com/ru.ru/search/
Leipzig Corpora Collection
Корпус мокшанского языка http://moksha.web-corpora.net/moksha_corpus/search
ГИКРЯ http://www.webcorpora.ru/
Корпус эсперанто https://corp.hum.sdu.dk/cqp.eo.html
Русско-французский поэтический корпус http://www.nevmenandr.net/fr/
SCOTS https://www.scottishcorpus.ac.uk
TIME Magazine Corpus https://www.english-corpora.org/time/
CHILDES Talkbank https://childes.talkbank.org/
The Online Slang Dictionary http://onlineslangdictionary.com/
Urban Dictionary https://wordnet.princeton.edu/
Татарский национальный корпус http://tugantel.tatar/
Русский учебный корпус http://web-corpora.net/CoRST/search/
Корпус русской публицистики http://smalt.karelia.ru/corpus/index.phtml
https://korp.csc.fi/lab/#?lang=en&stats_reduce=word&cqp=%5B%5D
Берестяные грамоты http://gramoty.ru/birchbark/
Вавилонская башня http://starling.rinet.ru/cgi-bin/main.cgi?flags=eygtnnl
Языки Сибири “http://www.kulturstiftung-sibirien.de/itd_R.html
Alpha online. Древнегреческо-русский словарь http://gurin.tomsknet.ru/alphaonline.html
Perseus http://www.perseus.tufts.edu
Корпус туалетных надписей https://linghub.ru/wc_corpus/index.html