Сотрудники лаборатории и магистранты автономной магистерской программы «Компьютерная и когнитивная лингвистика» Томского госуниверситета разрабатывают онлайн-сервис «WORLD2NEWS», способный создавать и проверять новости с помощью нейронных сетей и синтаксических парсеров, основанных на формальных грамматиках, сообщает пресс-служба вуза.
Работа над приложением начиналась как обычный студенческий проект, но в процессе его реализации был создан действующий сервис с набором функций, востребованных при решении задач автоматической обработки текстовой информации.
«Пока что „WORLD2NEWS“ — это действующий прототип с минимальным набором функций. Предстоит еще немало работы по оптимизации формальных грамматик и разработке новых решений, основанных на нейронных сетях», — добавляет сотрудник лаборатории лингвистической антропологии ФилФ ТГУ Андрей Степаненко.
На основе лингвистического преданализа структурных особенностей текста, создания тематических словарей и формальных грамматик программы автоматического анализа извлекают из неструктурированных текстов факты (кто, что, где, когда) и синтезируют заголовок новости. Если у человека на это уходит минимум 5 минут, то у нейросети — несколько секунд.
В отличие от большинства аналогичных программ, в разработке молодых ученых ТГУ функционал создаваемого сервиса гораздо шире. Например, пользователь может выбрать вариант заголовка как полностью сгенерированного нейросетью, так и созданного при помощи формальных грамматик, что позволяет формировать и стиль новостного текста. Преимуществом «WORLD2NEWS» является высокая формальная точность по показателям BLEU-score, следовательно, сгенерированные тексты максимально схожи с журналистскими.
BLEU-score — это алгоритм оценки качества текста, который был автоматически переведен с одного естественного языка на другой. Качество перевода определяется соответствием между производительностью машины и человека: «чем ближе машинный перевод к профессиональному человеческому переводу, тем лучше»
Подписывайтесь на наш телеграм-канал «Томский Обзор».