Эмпирический подход | MetodPro.ru

Реклама на сайте

Эмпирический подход


Э первоначально был популярен, когда Шеннон создал основы теории информации. В этот период разрабатывались методы автоматического извлечения лексической и синтаксической информации из текстов. Основная цель состоит в разработке алгоритмов, обеспечивающих определение структуры языка на основе анализа вероятностей распределения слов. Работы в этом направлении были приостановлены посте того, как Хомский определил новые задачи компьютерной лингвистики, заложив основы теории порождающих формальных грамматик. Эмпирический подход вновь получил распространение к концу 80х годов. В это время были разработаны несколько программ индуктивного извлечения лексической и семантической информации из текста. Параметры моделей определялись с помощью обучающих алгоритмов на реальных речевых данных. Позже, статистические методы обработки речи были распространены на другие области обработки естественного языка. Одним из первых успешных применений обучающих алгоритмов в лингвистике связано с задачей распознавания частей речи (существительных, глаголов и т.п. в предложениях). Современные технологии позволяют решать эту задачу с точностью, близкой к точности, которая получается при анализе предложений людьми. Распознавание частей речи – важная составляющая систем понимания высказываний. С появлением больших баз данных, содержащих предложения с соответствующими деревьями грамматического разбора, эмпирические методы распространились на задачу синтаксического анализа предложений. В настоящее время, эмпирический подход применяется для установления смысла неоднозначных слов, сегментации дискурса, выделения анафор (повторение в разных частях предложения или текста одного и того же понятия, которое может представляться разными словами), семантического анализа. Широкое использование в настоящее время жмпирического подхода объясняется различными причинами. Основная причина состоит в том, что эмпирический подход предлагает потенциальные решения давних проблем связанных с обработкой естественного языка, к которым относятся:

1)      автоматического пополнение знаний.

2)      Широта охвата понятий рассматриваемой предметной области.

3)      Устойчивость соответствующих моделей по отношению к шуму и неполноте данных

4)      Простота расширения систем по отношению к новым данным или новым предметным областям.

К иным причинам роста популярности эмпирического подхода относят:

1) относительная доступность высокопроизводительных вычислительных средств

2) разработку и создание больших баз лингвистических данных, необходимых для обучения и тестирования ЕЯ-систем.

3) Ориентацию на создание систем, работающих в реальных условиях.

 

Рассмотрим особенности эмпирического подхода на примере распознавания частей речи. Задача состоит в присвоении словам предложения меток: существительное, глагол, предлог, прилагательное и т.п. Кроме этого, необходимо определять некоторые дополнительные признаки существительных и глаголов. Например, для существительного число, для глагола форму. Формализуем задачу.

Представим предложение в виде последовательности слов W=W1W2…Wn, где WWW – случайные переменные, каждая из которых получает одно из возможных значений, принадлежащих словарю языка. Последовательность меток, назначаемых словам предложения представим последовательностью X=X1X2…Xn. Где XXX – случайные переменные, значения которых определены на множестве возможных меток. Тогда задача распознавания частей речи состоит в поиске наиболее вероятной последовательности меток X1X2…Xn по заданной последовательности слов. W1W2…Wn. Иными словами необходимо найти такую последовательность меток  Х* = ХХХ, которая обеспечивает максимум условной вероятности. P(XXX|WWW). Где Х* = arg max(х) P(XXX|WWW). Совместная вероятность P(X|W) можно записать в виде произведения условных вероятностей. P(X, W) = P(X1)P(W1|X1)P(X2|X1W1)P(W1|X1W1)P(X3|X1X2,W1W2)… = Proizv(i=1..n) P(Xi|X1,…,Xi-1,W1,…,Wi-1)P(Wi|X1,…,Xi-1,W1,…,Wi-1).

 

Непосредственный поиск максимума в выражении 2 представляет собой сложную задачу, т.к. при больших значениях n поисковое пространство становится очень большим. Поэтому вероятности аппроксимируют более простыми условными вероятностями. В этом случае полагают, что значение метки Xi связано только с предыдущей меткой и не зависит от более ранних меток. А так же, что вероятность слова Wi определяется только текущей меткой. Указанные предположения называют Марковскими. С учетом Марковских предположений, выражение 1 записывается в виде: X* = arg max Proizv…………………………………………………………………….. Где условные вероятности оцениваются на множестве обучающих данных. Поиск последовательности меток Х* осуществляют с помощью алгоритма динамического программирования Viterbi. Долгое время эмпирический анализ выполнялся с помощью стохастических КСГ. Однако, для СКСГ характерен существенный недостаток. Он заключается в том, что различным грамматическим разборам могут назначаться одинаковые вероятности. Это происходит из-за того, что вероятность грамматического разбора представляется в виде произведения вероятностей правил, участвующих в разборе. Если в ходе разбора используются различные правила, характеризуемые одинаковыми вероятностями, то это и порождает указанную проблему. Лучшие результаты дает грамматика, учитывающая лексику языка. В этом случае в правила включаются необходимые лексические сведения, которые обеспечивают различные значения вероятности для одного и того же правила в разных лексических окружениях. Эмпирический синтаксический анализ в большей степени соответствует распознаванию образов. Чем традиционному грамматическому разбору в его классическом понимании. Сравнительные исследования показали, что правильность эмпирического грамматического разбора предложений естественного языка оказывается выше по сравнению с традиционным грамматическим разбором



Методические пособия

  • Системы автоматизированного проектирования
  • Социология молодёжи
  • Общая социология
  • Криптография
  • Проектирование трансляторов
  • Компьютерная графика
  • Моделирование систем
  • Информационная безопасность
  • Теория вычислительных процессов
  • Логические основы искусственного интелекта
  • Проектирование распределённых информационных систем