Как компьютерная лингвистика помогает понять, как работает язык
Университет Помпеу Фабра — Барселона
Двумерное изображение изменения значения трех английских слов, взятое из Hamilton et al. (2016).
Дистрибутивная семантика получает представления о значении слов путем обработки тысяч текстов и извлечения обобщений с использованием вычислительных алгоритмов. Несмотря на популярность дистрибутивной семантики в таких областях, как компьютерная лингвистика и когнитивистика, ее влияние на теоретическую лингвистику до сих пор было ограниченным.
Исследование Джеммы Боледы, руководителя исследовательской группы по компьютерной лингвистике и теории языка (COLT) и профессора-исследователя ICREA на кафедре перевода и языковых наук UPF, опубликованное в журнале Annual Review of Linguistics, содержит критический обзор многочисленных исследований, доступных по семантике распределения, с особым акцентом на результаты, имеющие отношение к теоретической лингвистике. В частности, есть три области: семантическое изменение, многозначность и композиция, а также интерфейс грамматической семантики.
Исследование Джеммы Боледы направлено на объединение теоретических и вычислительных подходов для расширения коллективных знаний о том, как работает язык. Одним из методов, которые она тщательно исследовала, является дистрибутивная семантика, которая позволяет автоматически получать представления слов. Было показано, что эти представления отражают важные лингвистические свойства, такие как сходство двух слов: человек скажет вам, что «собака» и «щенок» очень похожи, и все же «собака» и «демократия» вряд ли похожи вообще; дистрибутивная семантика скажет то же самое, благодаря тому факту, что она индуцирует лингвистические свойства, основанные на текстах, написанных людьми. Таким образом, дистрибутивная семантика обеспечивает радикально эмпирические представления.
Дистрибутивная семантика позволяет анализировать употребление слов и эволюцию их значения
Дистрибутивная семантика обеспечивает выгодную, дополнительную основу для других, более традиционных методов, не только потому, что она радикально эмпирическая, но и потому, что она обеспечивает многомерные представления: два слова могут быть сопоставлены по одному измерению значения («пицца» и «паста» — это виды пищи) или по другому («пицца» и «колесо» круглые). Чтобы представить все аспекты значения, необходимы многомерные представления. Дистрибутивная семантика может отражать общее использование двух слов, а также их отличительные факторы.
Одним из важных применений дистрибутивной семантики в теоретической лингвистике является обнаружение изменений в значении. Если обрабатываются языковые данные за разные периоды, например, книги на английском языке 1900, 1950 и 1990 годов, семантика распределения может быть использована для автоматического определения изменения значения некоторых слов. Например, слово «гей» в английском языке в начале прошлого века означало «счастливый» и все чаще используется для обозначения «гомосексуальных отношений».
Аспекты исследования дистрибутивной семантики, которые вносят вклад в теорию языка
Из анализа изученных работ Боледа приходит к выводу, что существует достаточно доказательств того, что надежные результаты дистрибутивной семантики могут быть непосредственно использованы в исследованиях теоретической лингвистики.
«Существует по крайней мере четыре аспекта исследований в области дистрибутивной семантики, которые могут внести свой вклад в теорию языка. Первый аспект является исследовательским: представления распределения могут быть использованы для изучения более обширных данных, например, путем изучения сходства слов. Второй — как инструмент для выявления конкретных случаев лингвистических явлений. Например, можно идентифицировать слова, значения которых изменились при сравнении представлений, полученных из текстов разных периодов. Третий — в качестве испытательного стенда: оценка различных лингвистических гипотез в терминах распределения. Четвертым и самым сложным является обнаружение новых лингвистических явлений или соответствующих теоретических тенденций в данных», — объясняет автор в своей работе
Источник: https://phys.org/news/2020-03-linguistics-language.htm
Перевод: Иванова Виктория