lingdata

Сайт курса «Лингвистические данные», бакалавры 1 курс НИУ ВШЭ

View the Project on GitHub olesar/lingdata

Работа с текстом в продвинутом текстовом редакторе

В этом практикуме мы будем работать со сменой кодировок файла и форматов конца строки, со скрытыми символами и режимом переноса строк. Вы познакомитесь с возможностями, которые предоставляют профессиональные текстовые редакторы в части поиска и замены, в том числе с использованием “регулярных выражений”.

Что понадобится: NotePad++
Владельцы Mac-ов и компьютеров на Linux используют аналоги из списка.
(Обратите внимание: Обычный Блокнот (NotePad), Word и прочие офисные редакторы для этого практикума не годятся).

1. Кодировки

Типы кодировок текста для русского языка:

Упражнение 1) Откройте файл dovlatov3.utf8.txt.
В меню “Кодировки” замените текущую на Windows-1251, затем обратно на UTF-8 без BOM.

Если вы открываете файл и видите “кракозябры”, то с помощью меню “Кодировки” можно подобрать правильную.

“Преобразовать в…”: переводит файл в другую кодировку (затем файл нужно сохранить). Windows-1251 называется ANSI.
“Открыть в другой кодировке” и “преобразовать в кодировку” - разные команды (подумайте, почему).

Mac/BBedit: настроить кодировку: меню Файл/File - Перезагрузить с помощью кодировки...
Кодировка файла меняется с помощью меню Файл - Сохранить как... - Encoding

2. Вид → Отображение символов и Перенос строк

В меню Отображение символов отметьте чекбоксы: (а) отображать пробелы и табуляции, (b) отображать символы конца строки ((c) отображать все символы). Перенос строк (text wrap) автоматически переносит текст на новую строку, как в Word. Видимые концы строк при этом не сохраняются (являются “мягкими”, то есть вычисляются редактором по специальному алгоритму).

Mac/BBedit: меню Вид/View - Text Display - Show Invisibles

3. Формат конца строки

Непечатаемые символы, обозначающие конец строки:

В режиме отображения символов конца строки вы увидите “СR”, “LF”, которые при поиске и замене в расширенном режиме и в режиме регулярных выражений задаются как эскейп-символы \r, \n, соответственно.

Mac/BBedit: формат конца строки меняется с помощью меню Файл - Сохранить как... - Конец строки

4. Поиск и замена

Меню для поиска и замены доступно по горячей клавише Ctrl+F (см. также меню Поиск и замена или Правка, в зависимости от редактора)
Отмена операции: Ctrl+Z
По умолчанию, в NotePad++ поиск происводится начиная с текущей позиции курсора до конца файла, включите чекбокс “Зациклить поиск”, чтобы замена проводилась по всему файлу.
Поиск у учетом регистра и без: прописные и строчные буквы будут различаться (орел и Орел).

Mac/BBedit: поиск Command+F или меню Поиск/Search. Отмена операции: Command+Z. 
Зациклить поиск: Wrap around. Поиск с учетом регистра: Case sensitive

Упражнение
1) Найдите все вхождения отрицания не.
2) Замените их на НЕ.
3) Отмените последнюю операцию.

5. Режим поиска “Регулярные выражения”

Узнайте, есть ли в тексте латинские буквы?

Этот поиск “жадный” - он будет искать строку максимальной длины, соответствующую условию в “Искать”. Запрос <.*> в строке <p>что-то здесь</p> найдет всю строку целиком: <p>что-то здесь</p> Нежадный (“ленивый”) поиск:

Найдите с помощью “ленивого поиска” последовательность букв от пробела до пробела (слово).

Экранирующий символ:

Найдите все концы абзацев, заканчивающиеся на точку.

6. Ссылка на найденную строку (backreference) в поле для замены

Заключите все условие или его части в скобки.

В поле “Заменить”

Упражнение:
Поменяйте в файле первый и второй абзац местами.

Практикум

А. Поиск и замена. Файл для работы - dovlatov3.txt

1) убрать ударения 2) заменить прописные буквы строчными в заголовке 3) заменить пробелы в начале абзацев на табуляцию 4) убрать “жесткие” концы строк, оставив деление на абзацы и мини-рассказы
5) при этом аккуратно обработать слова с переносами 6) убрать “лишние” пробелы (два и больше)

Полезные приемы

Удаление знаков ударения:

Правка → Преобразовать выделение → строчные

Замена пробелов в начале строки на табуляцию:

Замена границ мини-рассказов в тексте:

Замена концов строк на пробел:

Верните границы абзацев и мини-рассказов. (Догадайтесь, как! Подсказка: абзацы начинаются с табуляции).

В. Работа с tsv и conllu. Файл для работы - tsv-файл из ELAN

1) Откройте файл elan_livecorpus_template.tsv - результат импорта слоя токенов в текстовом формате с разделителями табуляции. В нем 4 столбца (имя слоя, время начала, время окончания, аннотация).

2) Переведите его в формат conllu, состоящий из 10 столбцов, где токены должны оказаться во втором столбце, а остальные три столбца занять столбцы 8-10. Пустые поля в столбцах обозначим нижним подчеркиванием.

3) Пронумеруйте строки от 1 до N в первом столбце.

Дополнительное задание 1:

Cоздайте список уникальных слов по вашему файлу.

0) сохраните содержимое файла в новый файл dovlatov_wordlist.txt
1) переведите все слова в нижний регистр (Правка -> Конвертировать Регистр / Edit -> Convert case to…)
2) сделайте так, чтобы каждое слово шло с новой строки, вставив концы строк
3) сделайте так, чтобы каждый знак препинания также шел с новой строки
4) отсортируйте строки по алфавиту (Правка -> Операции со строками -> Сортировать по возрастанию / Edit -> Line operations -> Sort lines lexicographically ascending).
5) удалите повторяющиеся строки с помощью регулярных выражений
^(.*\r\n)\1+\1

Дополнительное задание 2:

В файле с текстом разметьте начало и конец прямой речи с помощью тега , например, вот так:

   -- <speech>Не думаю</speech>, -- сказал редактор, потом вдруг
рассердился, -- <speech>хватит!  Вечные отговорки!  Всё не как
у людей!  Извольте одеваться так, как подобает
работнику солидной газеты!</speech>

Все ли реплики прямой речи вам удастся так разметить?

Дополнительное задание 3:

Из файла .eaf извлеките весь содержательный текст (реплики, токены и т.д.).

Файлы для работы:

  1. dovlatov3.utf8.txt и dovlatov3.txt
  2. tsv-файл из ELAN
  3. xml-файл из НКРЯ
  4. yaml-файл из Русского Конструктикона

Дополнительные материалы

Язык регулярных выражений может немного различаться в разных редакторах и в разных языках программирования, но в целом набор приемов и принципы поиска одинаковы.