Ученые из университета Торонто создали программу, которая на основе лексического анализа способна датировать средневековые английские хартии. Препринт работы опубликован в архиве Корнельского университета, кратко о ней пишет блог Technology Review.
Программа анализирует использование слов и выражений в средневековых документах и сравнивает их набор с контрольной группой из 10 тысяч хартий, даты составления которых известны.
Авторы приводят несколько примеров характерного словоупотребления. Например, фраза "amicorum meorum vivorum et mortuorum" ("моих друзей живущих и умерших"), по словам ученых, была популярна с 1150 по 1240 годы, и редко встречается в другое время. Слова "Francis et Anglicis" ("французам и англичанам") вошли в документы сразу поле завоевания Нормандии в 1204 году.
Ученые подчеркивают, что программа не основывается на отдельных словах-маркерах, а использует статистическое сравнение предлагаемого текста и контрольной выборки.
Получившийся алгоритм оказался достаточно точным. Так, авторы приводят пример с документом, первоначально датированным специалистами XIV веком. Подробные исследования показали, что скорее всего он был создан с 1235 по 1245 год. Дата, выданная программой, указала на 1246 год.
Ранее статистический анализ неоднократно использовался для исследования эволюции языка. Так, недавно лингвисты с его помощью определили дату "созревания" английского языка.