Цифровизация данных исчезающего языка: нивхский

В НИВЦ положено начало созданию корпусов малых языков России Московского университета. Первым языком, корпус которого размещен на ресурсах НИВЦ, стал нивхский – язык коренного народа Сахалина и Амурской области, ныне имеющий статус исчезающего. Корпус доступен по адресу https://corpora.rcc.msu.ru. Работы по нивхскому языку поддержаны грантом Российского научного фонда № 25-28-00552 "Цифровизация данных исчезающего языка: нивхский", реализуемым в НИВЦ МГУ имени М.В. Ломоносова.

За нивхским языком должны последовать и другие языки России. Корпуса текстов необходимы лингвистам, занимающимся построением общей теории языка. Особенно ценны корпуса малых языков, т.к. в таких языках могут быть представлены грамматические явления, не становившиеся ранее предметом активных научных дискуссий. Корпус позволяет искать слова как по начальным формам (основе слова или именительному падежу существительного / инфинитиву глагола), так и по любым формам слов. Важной частью функционала корпуса является возможность поиска по грамматической информации: значению падежа у существительного, вида или времени у глагола и т.д. Один поисковый запрос может быть составлен из нескольких слов, у каждого из которых будут свои грамматические признаки. Подготавливаемые в НИВЦ корпуса дают также возможность поиска по русскому переводу – русский в данном случае выступает как метаязык-посредник.

Правильно подготовленный корпус должен поддерживать возможность поиска по всем релевантным для данного языка грамматическим категориям (например, корпус русского языка не может не содержать возможности поиска по роду существительных и т.д.). Соответственно, при подготовке корпуса должна быть сначала проделана работа по определению всего набора таких категорий и представлены все их значения (падежи: именительный, винительный,...). Затем необходимо собрать коллекцию текстов на языке. Для малых языков с недавно созданной письменностью (нивхский относится именно к таким) это представляет собой отдельную проблему в силу небольшого объема и труднодоступности источников. Далее, тексты должны быть нормализованы, они должны иметь максимально общее орфографическое представление. После этого тексты нужно разбить на предложения и каждому должен быть сопоставлен русский перевод. Дальше наступает самая кропотливая часть работы – ручное внесение разметки для обеспечения возможности поиска по грамматическим категориям.

Отдельная задача – построение поискового движка для реализации запланированного для корпуса функционала. Несмотря на то, что в интернете есть небольшое количество инструментов с открытым кодом, сотрудниками НИВЦ было принято решение о разработке собственной корпусной платформы, т.к. существующие решения не удовлетворяли требованиям по качеству и дизайну. В результате был создан свой программный код, написанный в основном на Python и использующий различные (JSON, MongoDB) форматы хранения данных. 

Таким образом, сотрудниками лаборатории автоматизированных лексикографических систем НИВЦ МГУ был осуществлен весь цикл работ по созданию корпуса: от поиска языковых данных до написания программного кода. По итогам работы был подготовлен ряд публикаций, в частности, статья, описывающая функциональные возможности корпуса и особенности его устройства:

Гращенков П.В., Савина Д.В., Измайлова Э.Х., Гогуа Е.Н. 2026. Мультижанровый корпус текстов нивхского языка. "Родной язык". Москва, Институт языкознания, принято в печать