Основные задачи компьютерной лингвистики и подходы к их решению. Кафедра компьютерной лингвистики Учебные курсы компьютерной лингвистики в безансоне

На филфаке Высшей школы экономики запускается новая магистерская программа, посвященная компьютерной лингвистике: тут ждут абитуриентов с гуманитарным и математическим базовым образованием и всех, кому интересно решать задачи в одной из самых перспективных отраслей науки. Ее руководитель Анастасия Бонч-Осмоловская рассказала «Теориям и практикам», что такое компьютерная лингвистика, почему роботы не заменят человека и чему будут учить в магистратуре ВШЭ по компьютерной лингвистике.

Эта программа - чуть ли не единственная такого рода в России. А вы где сами учились?

Я училась в МГУ на отделении теоретической и прикладной лингвистики филологического факультета. Попала туда не сразу, сначала поступила на русское отделение, но потом всерьез увлеклась лингвистикой, и меня привлекла атмосфера, которая остается на кафедре сих пор. Самое главное там - хороший контакт между преподавателями и студентами и их взаимная заинтересованность.

Когда у меня родились дети и надо было зарабатывать на жизнь, я пошла в сферу коммерческой лингвистики. В 2005 году было не очень понятно, что представляет из себя эта область деятельности как таковая. Я работала в разных лингвистических фирмах: начинала с небольшой фирмы при сайте Public.ru - это такая библиотека СМИ, там я начала заниматься лингвистическими технологиями. Потом год работала в Роснанотехе, где была идея сделать аналитических портал, чтобы данные на нем автоматически структурировались. Потом я руководила лингвистическим отделом в компании «Авикомп» - это уже серьезное производство в области компьютерной лингвистики и семантических технологий. Параллельно я вела курс по компьютерной лингвистике в МГУ и старалась сделать его более современным.

Два ресурса для лингвиста: - сайт, созданный лингвистами для научных и прикладных исследований, связанных с русским языком. Это модель русского языка, представленная с помощью огромного массива текстов разных жанров и периодов. Тексты снабжены лингвистической разметкой, с помощью которой можно получать информацию о частотности тех или иных языковых явлений. Ворднет - огромная лексическая база английского языка, главная идея Ворднета - связать в одну большую сеть не слова, но их смыслы. Ворднет можно скачивать и использовать для собственных проектов.

А чем занимается компьютерная лингвистика?

Это максимально междисциплинарная область. Тут самое главное понимать, что творится в электронном мире и кто тебе поможет сделать конкретные вещи.

Нас окружает очень большое количество дигитальной информации, существует множество бизнес-проектов, успех которых зависит от обработки информации, эти проекты могут относиться к сфере маркетинга, политики, экономики и чего угодно. И очень важно уметь обращаться с этой информацией эффективно - главное не только быстрота обработки информации, но и легкость, с которой ты можешь, отсеяв шум, достать те данные, которые тебе нужны, и создать из них цельную картину.

Раньше с компьютерной лингвистикой были связаны какие-то глобальные идеи, например: люди думали, что машинный перевод заменит человеческий, вместо людей будут работать роботы. Но сейчас это кажется утопией, и машинный перевод используется в поисковых системах для быстрого поиска на незнакомом языке. То есть сейчас лингвистика редко занимается абстрактными задачами - в основном какими-то маленькими штучками, которые можно вставить в большой продукт и на этом заработать.

Одна из больших задач современной лингвистики - семантический web, когда поиск происходит не просто по совпадению слов, а по смыслу, а все сайты так или иначе размечены по семантике. Это может быть полезно, например, для полицейских или медицинских отчетов, которые пишутся каждый день. Анализ внутренних связей дает много нужной информации, а читать и считать это вручную невероятно долго.

В двух словах, у нас есть тысяча текстов, надо разложить их по кучкам, представить каждый текст в виде структуры и получить таблицу, с которой уже можно работать. Это называется обработка неструктурированной информации. С другой стороны, компьютерная лингвистика занимается, например, созданием искусственных текстов. Есть такая компания, которая придумала механизм генерации текстов на темы, на которые человеку писать скучно: изменение цен на недвижимость, прогноз погоды, отчет о футбольных матчах. Заказывать человеку эти тексты гораздо дороже, притом компьютерные тексты на такие темы написаны связным человеческим языком.

Разработками в области поиска неструктурированной информации в России активно занимается «Яндекс», «Лаборатория Касперского» нанимает исследовательские группы, которые изучают машинное обучение. Кто-то на рынке пытается придумать что-то новое в области компьютерной лингвистики?

**Книги по компьютерной лингвистике:**

Daniel Jurafsky, Speech and Language Processing

Кристофер Маннинг, Прабхакар Рагхаван, Хайнрих Шютце, «Введение в информационный поиск»

Яков Тестелец, «Введение в общий синтаксис»

Большинство лингвистических разработок является собственностью больших компаний, практически ничего нельзя найти в открытом доступе. Это тормозит развитие отрасли, у нас нет свободного лингвистического рынка, коробочных решений.

Кроме того, не хватает полноценных информационных ресурсов. Есть такой проект, как Национальный корпус русского языка . Это один из лучших национальных корпусов в мире, который стремительно развивается и открывает невероятные возможности по научным и прикладным исследованиям. Разница примерно как в биологии - до ДНК-исследований и после.

Но многие ресурсы не существуют на русском языке. Так, нет аналога такому замечательному англоязычному ресурсу, как Framenet - это такая концептуальная сеть, где формально представлены все возможные связи какого-то конкретного слова с другими словами. Например, есть слово «летать» - кто может летать, куда, с каким предлогом употребляется это слово, с какими словами оно сочетается и так далее. Этот ресурс помогает связать язык с реальной жизнью, то есть проследить, как ведет себя конкретное слово на уровне морфологии и синтаксиса. Это очень полезно.

В компании Avicomp сейчас разрабатывается плагин для поиска близких по содержанию статей. То есть если вас заинтересовала какая-то статья, вы можете оперативно посмотреть историю сюжета: когда тема возникла, что писалось и когда был пик интереса к этой проблеме. Например, с помощью этого плагина можно будет, оттолкнувшись от статьи, посвященной событиям в Сирии, очень быстро увидеть, как в течение последнего года развивались там события.

Как будет построен процесс обучения в магистратуре?

Обучение в Вышке организовано по отдельным модулям - как в западных университетах. Студенты будут разделены на маленькие команды, мини-стартапы - то есть на выходе мы должны получить несколько готовых проектов. Мы хотим получить реальные продукты, которые потом откроем людям и оставим в открытом доступе.

Кроме непосредственных руководителей проектов студентов, мы хотим найти им кураторов из числа их потенциальных работодателей - из того же «Яндекса», например, которые тоже будут играть в эту игру и давать студентам какие-то советы.

Я надеюсь, что в магистратуру придут люди из самых разных областей: программисты, лингвисты, социологи, маркетологи. У нас будет несколько адаптационных курсов по лингвистике, математике и программированию. Потом у нас будет два серьезных курса по лингвистике, и они будут связаны с самыми актуальными лингвистическими теориями, мы хотим, чтобы наши выпускники были в состоянии читать и понимать современные лингвистические статьи. То же самое и с математикой. У нас будет курс, который будет называться «Математические основания компьютерной лингвистики», где будут излагаться те разделы математики, на которых зиждется современная компьютерная лингвистика.

Для того чтобы поступить в магистратуру, нужно сдать вступительный экзамен по языку и пройти конкурс портфолио.

Кроме основных курсов будут линейки предметов по выбору Мы запланировали несколько циклов - два из них ориентированы на более глубокое изучение отдельных тем, к которым относятся, например, машинный перевод и корпусная лингвистика, и, а один, наоборот, связан со смежными областями: такими как, социальные сети, машинное обучение или Digital Humanities - курс, который как мы надеемся, будем прочитан на английском языке.

« Открытие кафедры в МФТИ позволяет нам не только помогать „ своим “ студентам.

Наша цель - сделать на ФИВТе самое лучшее преподавание Computer Science в России»
Светлана Лузгина, служба корпоративных коммуникаций.

Заведующий кафедрой: Владимир Павлович Селегей, директор по лингвистическим исследованиям ABBYY

Кафедра компьютерной лингвистики ФИВТ была основана в 2011 году российской компанией ABBYY, одним из ведущих разработчиков программного обеспечения в области искусственного интеллекта, в частности, распознавания документов и обработки естественного языка. Кафедра готовит специалистов, способных эффективно работать в области разработки инновационных языковых компьютерных технологий, в частности, технологии синтаксического и семантического анализа текста ABBYY Compreno.

В последнее десятилетие компьютерная лингвистика активно развивается во всем мире. Это происходит в связи с растущим влиянием интернета и появлением большого числа новых технических устройств с естественно-языковыми интерфейсами. Особенно бурно развиваются такие технологии, как многоязычный информационный поиск, машинный перевод, извлечение знаний, распознавание речи и др. В России компьютерной лингвистике до сих пор уделялось недостаточно внимания в системе образования. Из-за этого в мировых научных исследованиях по компьютерной лингвистике недостаточно представлен русский язык.

Специализация «Компьютерная лингвистика» в МФТИ основывается на глубоком техническом образовании, которое дает Физтех. Занятия на базовой кафедре проходят в офисе ABBYY, где сотрудники компании преподают курсы по автоматической обработке языка, общей и компьютерной лексикографии, корпусной лингвистике, а также неотъемлемым дисциплинам Computer Science в области создания ПО.

Одной из задач кафедры является активное вовлечение студентов в научную жизнь. Важно не только знать о современных мировых «трендах» в компьютерной лингвистике, но и быть частью мирового процесса. Студенты кафедры принимают активное участие в разработке технологии ABBYY Compreno и совместном с РГГУ исследовательском проекте по созданию Генерального интернет-корпуса русского языка (ГИКРЯ) на основе ресурсов русскоязычного интернета.

Зачисление на кафедру производится по результатам конкурса как в бакалавриат, так и на первый курс магистратуры. В магистратуру принимаются бакалавры всех факультетов МФТИ, а также других высших учебных заведений. Зачисление производится по результатам решения логических и алгоритмических задач и собеседования с руководством кафедры.

Если вы хотите пройти собеседование на кафедру или задать вопрос, пишите на [email protected] . До встречи в ABBYY!

Заведующий УНЦ

Общая информация

УНЦ компьютерной лингвистики была открыта в Институте лингвистики РГГУ в 2011 году при участии компании ABBYY и поддержке российского отделения IBM. УНЦ готовит профессиональных лингвистов, способных эффективно работать в области разработки инновационных языковых компьютерных технологий. С 2012 года УНЦ будет осуществлять подготовку магистрантов по программе «Компьютерная лингвистика» направления «Фундаментальная и прикладная лингвистика».

Компьютерная лингвистика является относительно новой областью научной и инженерной деятельности. Актуальность создания данной магистерской программы определяется тем, что в последние 10-15 лет наблюдается бурное развитие этой области, связанное со всё растущим влиянием Интернета и появлением огромного количества новых технических устройств, важнейшей частью которых являются естественно-языковые интерфейсы. Кроме того, в современной лингвистике происходит стремительный переход от традиционных методов получения языковых данных к корпусным методам, требующим серьёзного развития компьютерных технологий.

Очевидная, возрастающая год от года потребность в специалистах, способных участвовать в разработке соответствующих технологий, не подкреплена ещё, к сожалению, наличием адекватного образовательного стандарта в системе российского образования. Предлагаемая программа является одной из первых попыток определения того, какие именно специалисты требуются отрасли.

Область деятельности, связанная с решением задач автоматической обработки Естественного Языка (ЕЯ) и именуемая «Компьютерная лингвистика», требует подготовки специалистов двух принципиально отличающихся направлений: лингвистов и инженеров. Эти направления базируются на двух совершенно разных системах образования:

• «Компьютерная лингвистика для инженеров» является частью т.н. Computer Science. В рамках этого направления готовятся инженеры, способные эффективно решать задачи автоматической обработки ЕЯ, опираясь на необходимые для конкретной задачи существующие лингвистические ресурсы и модели. УНЦ способствует появлению таких специалистов, взаимодействия с техническими вузами. В частности, с участием УНЦ компьютерной лингвистики РГГУ создаётся «параллельная» магистерская программа по компьютерной лингвистике для инженеров в МФТИ.

• «Компьютерная лингвистика для лингвистов» является разделом теоретической и прикладной лингвистики. В рамках этого направления готовятся лингвисты, способные решать задачи создания формальных языковых моделей и выполненных на их основе лингвистических ресурсов, обладающих необходимыми свойствами для их применения в задачах автоматической обработки ЕЯ. Именно это направление реализуется магистерской программой «Фундаментальная и компьютерная лингвистика», созданной силами УНЦ.

Важнейшим обстоятельством является то, что специалисты, подготовленные в рамках этих двух направлений, являются необходимыми участниками любых серьезных проектов в области автоматической обработки ЕЯ. И хотя они выполняют существенно различающиеся функции, умение эффективно взаимодействовать между собой является ключевым фактором в успехе таких проектов. Основы такого взаимодействия закладываются в программах за счет серьёзной инженерной и математической подготовки лингвистов (и соответствующей лингвистической подготовки инженеров).

Таким образом, подготовка магистров по компьютерной лингвистике в данной программе основывается на глубоком изучении фундаментальных основ лингвистики с акцентом на методы создания операциональных формальных моделей языковой системы, адекватных сложности таких задач обработки естественного языка, как распознавание и синтез речи, машинный перевод, семантический анализ и понимание текста, интеллектуальный поиск.

Специфика УНЦ отражена в следующих разделах:

1. Формальные модели языка (с акцентом на перспективах прикладного использования);

2. Инструментальное направление: специализированные языки и пакеты для лингвистов (типа NLTK, R И т.п.), имеющиеся ресурсы (от грамматик и парсеров до онтологий);

3. Прикладное направление (отдельные важные задачи NLP, как они решаются, как используется лингвистика);

4. Математическая и инженерная подготовка. Статистика, формальные грамматики, представление о методах машинного обучения.

Магистрантам направления «Компьютерная лингвистика» УНЦ читает следующие курсы:

• Математические основы компьютерной лингвистики. Обзорный курс основных математических методов, применяемых в компьютерной лингвистике: математическая логика; теория вероятностей и статистика; формальные грамматики; теория алгоритмов, в частности - понятие сложности алгоритма; машинное обучение;
• Программирование лингвистических задач (NLTK и R). Задача курса – обучение студентов работе с доступными интерпретаторами на основе языка Python. Краткое введение в методы программирования в целом;
• Общая и компьютерная лексикография (по программе Lexicom). Курс знакомит студентов с принципами современной системной лексикографии; с новыми методиками лексикографической работы, включая корпусные методы. Рассматриваются современные компьютерные системы создания словарей, анализируются новые тенденции в лексикографии (вики-проекты, экспертные методы оценки филиации и т.п.);
• Модели и методы автоматической обработки текста (NLP/АОТ). Обзорный курс, состоящий из двух частей (матричный, с разными лекторами): основные лингвистические модели + основные решаемые задачи. Курс методически связан с курсом «Математические основы лингвистических исследований». Первая часть курса носит резюмирующий характер и опирается на системные знания о языке, полученные магистрами в ходе обучения в бакалавриате по лингвистическим специальностям (эти знания являются необходимыми для сдачи вступительного экзамена);
• Лингвистические и онтологические модели. Идеологически очень важный курс, перебрасывающий мостик между лингвистическими и экстралингвистическими моделями. В курсе рассматривается интерфейс между лексико-семантическими и онтологическими описаниями (в частности, проект Игоря Богуславского). Анализируются современные лингво-онтологические ресурсы (*net), современные проекты «мэппинга» между ними (Марта Палмер и К);
• Корпусная лингвистика. Рассматриваются проблемы создания и оценки корпусов. Интернет как корпус. Методы автоматического создания корпусов. Анализ методов использования корпусов в лингвистических исследованиях (оценка значимости полученных статистических результатов).
• Лингвистическое аннотирование и разметка. Языки и методы разметки, начиная с XML. Идеологически близко курсу Хови;
• Машинный перевод;
• Методы оценки NLP-приложений;
• Формальные модели и ресурсы основных мировых языков (неиндоевропейских);
• Информационный поиск;
• Вопросно-ответные системы (спецкурс IBM);
• Специализированные лингвистические базы данных.

Студентам Института Лингвистики (специалитет, бакалавриат, магистратура) УНЦ читает следующие курсы:

• Введение в компьютерную лингвистику;
• Компьютерная лингвистика. Основные задачи и технологии;
• Современные методы социолингвистики;
• Автоматический перевод
• Лингвистические основы машинного перевода;
• Основы информатики;
• Основные направления лингвистического обеспечения новых информационных технологий (компьютерный анализ текстов);
• Информатика и информационные технологии в лингвистике;
• Автоматическая обработка естественного языка;
• Автоматическая обработка текста, Автоматическая генерация текстов-описаний изображений;
• Компьютерное обеспечение переводческой деятельности;
• Корпусная лингвистика.

Студенты проходят практику в компании ABBYY.

См. также страницу УНЦ компьютерной лингвистики на сайте компании ABBYY.

Список сотрудников УНЦ компьютерной лингвистики

Владимир Павлович Селегей – директор по лингвистическим исследованиям компании ABBYY, заведующий УНЦ компьютерной лингвистики
«Введение в компьютерную лингвистику»

Компьютерная лингвистика - одна из наиболее динамично развивающихся областей на стыке теории и практики. С достижениями компьютерной лингвистики мы сталкиваемся каждый день: это и машинный перевод, и поиск в Интернете, и голосовые помощники, и многое другое. За каждым таким продуктом стоит серьёзная работа лингвистов и программистов. В ходе курса мы поговорим об истории компьютерной лингвистики и о наиболее популярных её методах, а также посмотрим, как они позволяют решать важные практические задачи: например, проверять орфографию или классифицировать по темам новости.

Примерный план курса:

1. Введение: основные задачи компьютерной лингвистики и подходы к их решению.
2. Обработка строк при помощи регулярных выражений.
3. Лингвистические корпуса и их количественный анализ.
4. Морфологическая и синтаксическая разметка. Языковые модели.
5. Проверка орфографии.
6. Машинный перевод.
7. Классификация текстов.
8. Генерация естественного языка. Общие принципы оценки качества работы компьютерно-лингвистических приложений.

Лектор: Пиперски Александр Чедович , кандидат филологических наук, доцент Института лингвистики РГГУ, научный сотрудник Школы филологии НИУ ВШЭ.

Стоимость одной лекции — 500 рублей. Скидки: студенты (50%), школьники (70%)
Абонемент на курс (8 лекций) — 3500 рублей [студенты — 2000р; школьники — 1200р].

По окончании курса выдается сертификат (только для слушателей, посещающих занятия по абонементу).

А также мы организуем прямую трансляцию лекции:
Стоимость трансляции одной лекции —
200 рублей.
Оплатить можно через Тайм Пад:

Задать вопросы и оплатить трансляцию другим способом можно, написав на почту: [email protected]

Лекции будут проходить по адресу: Москва, м.Спортивная, ул.Малая Пироговская, д.29/7 (ИФТИС МПГУ)

Получить более подробную информацию по курсу вы можете по телефону: 8-495-088-92-81
Записаться на курс вы можете по почте.