Сайт курса «Лингвистические данные», бакалавры 1 курс НИУ ВШЭ
В этом практикуме мы будем работать со сменой кодировок файла и форматов конца строки, со скрытыми символами и режимом переноса строк. Вы познакомитесь с возможностями, которые предоставляют профессиональные текстовые редакторы в части поиска и замены, в том числе с использованием “регулярных выражений”.
Что понадобится: NotePad++
Владельцы Mac-ов и компьютеров на Linux используют аналоги из списка.
(Обратите внимание: Обычный Блокнот (NotePad), Word и прочие офисные редакторы для этого практикума не годятся).
Типы кодировок текста для русского языка:
Упражнение
1) Откройте файл dovlatov3.utf8.txt.
В меню “Кодировки” замените текущую на Windows-1251, затем обратно на UTF-8 без BOM.
Если вы открываете файл и видите “кракозябры”, то с помощью меню “Кодировки” можно подобрать правильную.
“Преобразовать в…”: переводит файл в другую кодировку (затем файл нужно сохранить). Windows-1251 называется ANSI.
“Открыть в другой кодировке” и “преобразовать в кодировку” - разные команды (подумайте, почему).
Mac/BBedit: настроить кодировку: меню Файл/File - Перезагрузить с помощью кодировки...
Кодировка файла меняется с помощью меню Файл - Сохранить как... - Encoding
В меню Отображение символов
отметьте чекбоксы: (а) отображать пробелы и табуляции, (b) отображать символы конца строки ((c) отображать все символы).
Перенос строк
(text wrap
) автоматически переносит текст на новую строку, как в Word. Видимые концы строк при этом не сохраняются (являются “мягкими”, то есть вычисляются редактором по специальному алгоритму).
Mac/BBedit: меню Вид/View - Text Display - Show Invisibles
Непечатаемые символы, обозначающие конец строки:
\r\n
\r
\n
В режиме отображения символов конца строки вы увидите “СR”, “LF”, которые при поиске и замене в расширенном режиме и в режиме регулярных выражений задаются как эскейп-символы \r
, \n
, соответственно.
Mac/BBedit: формат конца строки меняется с помощью меню Файл - Сохранить как... - Конец строки
Меню для поиска и замены доступно по горячей клавише Ctrl+F
(см. также меню Поиск и замена или Правка, в зависимости от редактора)
Отмена операции: Ctrl+Z
По умолчанию, в NotePad++ поиск происводится начиная с текущей позиции курсора до конца файла, включите чекбокс “Зациклить поиск”, чтобы замена проводилась по всему файлу.
Поиск у учетом регистра и без: прописные и строчные буквы будут различаться (орел и Орел).
Mac/BBedit: поиск Command+F или меню Поиск/Search. Отмена операции: Command+Z.
Зациклить поиск: Wrap around. Поиск с учетом регистра: Case sensitive
Упражнение
1) Найдите все вхождения отрицания не.
2) Замените их на НЕ.
3) Отмените последнюю операцию.
Специальные символы: экскейп-символ \t
(табуляция), \n
, \r\n
(символы конца строки, см. выше).
^
- начало строки, $
- конец строки
к[аоиу]т
- найдет кат, кот, кит, кут[а-яё]
- найдет все буквы русского алфавита[0-9a-z@_.]
- все знаки, допустимые в адресе электронной почтыУзнайте, есть ли в тексте латинские буквы?
[^а-я]
- “крышка” обозначает НЕ, т. е. все символы, кроме указанного диапазона а-я[^!]$
- найдет концы абзацев, не заканчивающиеся на восклицательный знаке+
- найдет е, ее, еее…[нм]+
- найдет сочетания нн, мм, нм, мн, ммм, нннн, мнннннм…
.
- любой символ.+
- повтор (любого символа) 1 или более раз.*
- повтор (любого символа) 0 или более разл.+
- найдет букву л и далее все символы до конца строкил[а-яё]+
- что найдется здесь?˽я[а-яё]*
- (в начале пробел) найдет слова, начинающиеся с я, в том числе слово яЭтот поиск “жадный” - он будет искать строку максимальной длины, соответствующую условию в “Искать”.
Запрос <.*>
в строке <p>что-то здесь</p>
найдет всю строку целиком: <p>что-то здесь</p>
Нежадный (“ленивый”) поиск:
.+?
.*?
<.*?>
- найдет тег <p>
, затем тег <p>
: <p>что-то здесь</p>
ч.+о
- найдет "что-то"
ч.+?о
- найдет "что"
Найдите с помощью “ленивого поиска” последовательность букв от пробела до пробела (слово).
Экранирующий символ:
\.
- ищет точку\\
- ищет обратный слэш\+
, \*
, \[
, \]
, \(
- ищет плюс, звездочку, знаки скобок и т.п.Найдите все концы абзацев, заканчивающиеся на точку.
Заключите все условие или его части в скобки.
В поле “Заменить”
\1
, \2
, \3
- обозначает части поиска, которые в строке поиска заключены в первую, вторую и третью пару скобок, соответственно([а-яё]+ов[а-яё]+ов[а-яё]
→ {\1}
- найденную последовательность символов (слово) заключаем в фигурные скобки.Упражнение:
Поменяйте в файле первый и второй абзац местами.
1) убрать ударения
2) заменить прописные буквы строчными в заголовке
3) заменить пробелы в начале абзацев на табуляцию
4) убрать “жесткие” концы строк, оставив деление на абзацы и мини-рассказы
5) при этом аккуратно обработать слова с переносами
6) убрать “лишние” пробелы (два и больше)
Полезные приемы
Удаление знаков ударения:
Правка → Преобразовать выделение → строчные
Замена пробелов в начале строки на табуляцию:
^˽˽˽˽˽
(5 пробелов) или ^˽+
(любое количество пробелов в начале строки)\t
(Режим поиска: расширенный)Замена границ мини-рассказов в тексте:
\r\n\r\n
,Замена концов строк на пробел:
\r\n
Верните границы абзацев и мини-рассказов. (Догадайтесь, как! Подсказка: абзацы начинаются с табуляции).
1) Откройте файл elan_livecorpus_template.tsv
- результат импорта слоя токенов в текстовом формате с разделителями табуляции. В нем 4 столбца (имя слоя, время начала, время окончания, аннотация).
2) Переведите его в формат conllu, состоящий из 10 столбцов, где токены должны оказаться во втором столбце, а остальные три столбца занять столбцы 8-10. Пустые поля в столбцах обозначим нижним подчеркиванием.
^([^\n\t]+)\t([^\n\t]+) → \2\t\1
- так можно поменять столбцы местами._\t\3\t_\t_\t_\t_\t_\t\2\t\1
.3) Пронумеруйте строки от 1 до N в первом столбце.
Cоздайте список уникальных слов по вашему файлу.
0) сохраните содержимое файла в новый файл dovlatov_wordlist.txt
1) переведите все слова в нижний регистр (Правка -> Конвертировать Регистр / Edit -> Convert case to…)
2) сделайте так, чтобы каждое слово шло с новой строки, вставив концы строк
3) сделайте так, чтобы каждый знак препинания также шел с новой строки
4) отсортируйте строки по алфавиту (Правка -> Операции со строками -> Сортировать по возрастанию / Edit -> Line operations -> Sort lines lexicographically ascending).
5) удалите повторяющиеся строки с помощью регулярных выражений
^(.*\r\n)\1+
→ \1
В файле с текстом разметьте начало и конец прямой речи с помощью тега
-- <speech>Не думаю</speech>, -- сказал редактор, потом вдруг
рассердился, -- <speech>хватит! Вечные отговорки! Всё не как
у людей! Извольте одеваться так, как подобает
работнику солидной газеты!</speech>
Все ли реплики прямой речи вам удастся так разметить?
Из файла .eaf извлеките весь содержательный текст (реплики, токены и т.д.).
Краткий курс по регулярным выражениям в NotePad++](http://markantoniou.blogspot.ru/2008/06/notepad-how-to-use-regular-expressions.html)
\d+{3,5}
- арабские цифры повторяются от 3 до 5 раз (в NotePad++ нет)\0
обозначает все условие поиска (не во всех редакторах доступно)$1
вместо \1
и т.д. – в редакторе Atom (подъязык регулярных выражений для Perl)Язык регулярных выражений может немного различаться в разных редакторах и в разных языках программирования, но в целом набор приемов и принципы поиска одинаковы.