Обработка естественного языка | MetodPro.ru

Реклама на сайте

Обработка естественного языка


Основным из основных направлений искусственного интеллекта является разработка методов, обеспечивающих реализацию процесса общения с ЭВМ на естественном языке. Данное направление получило название «обработка естественного языка» (Natural language processing). Общение с ЭВМ на естественном языке – задача, решение которой предполагает реализацию следующих основных функций:

1)      ведение диалога.

2)      Понимание высказываний.

3)      Обработка высказываний.

4)      Генерация выходных высказываний.

 

Под ведением диалога понимают процесс обмена взаимосвязанными высказываниями между пользователем и ЭВМ, направленный на достижение целей пользователя. Процесс диалога может быть разбит на отдельные шаги. Шаг диалога представляет пару высказываний, состоящую из высказывания активного участника диалога и реакции пассивного. В ходе диалога возможен перехват инициативы, когда пассивный участник выдвигает новую подцель. Функция ведения диалога заключается в определении его структуры и управлении активностью участником диалога. Тематическая структура диалога обычно представляется в виде сценариев. При этом сценарий может встраиваться в систему при ее создании, либо генерироваться системой.

Функция понимания высказываний предполагает выяснение смысла ЕЯ-высказывания (на естественном языка) и представление его в формализованном виде на внутреннем языке системы. При реализации функции понимания высказывания предусматривают два этапа – анализ и интерпретация. На этапе анализа выделяют сущности (понятия предметной области), отражаемые во входном высказывании. Их свойства и отношения. Интерпретация состоит в сопоставлении формализованного высказывания и знаний, которыми обладает система. Знания системы классифицируются по следующим областям:

1)      предметная область.

2)      Область языка.

3)      Область диалога.

4)      Область пользователя.

5)      Область знаний системы о самой себе.

 

Различные области определяют возможные интерпретации водных высказываний. Конечная задача интерпретации состоит в установлении цели пользователя.

Обработка высказываний сводится к планированию и решению задачи в соответствии с намерениями пользователя на данном шаге диалога.

Генерация высказываний состоит в формировании смысла высказывания на внутреннем языке системы и преобразование его в ЕЯ-высказывание. На этапе формирования смысла выходных высказываний решаются следующие задачи:

1)      выявление сущностей предметной области, которые интересуют пользователя.

2)      Определение уровня общности синтезируемой информации. Выделение тех аспектов сущностей, которые соответствуют целям, стоящим перед пользователем.

3)      Разбиение сообщаемой информации на фрагменты, соответствующие будущим предложениям.

4)      Определение лексем и построение семантического представления фраз.

 

На этапе синтеза ЕЯ-высказывания осуществляется:

1)      построение синтаксической структуры предложений.

2)      Приписывание морфологической информации вершинам синтакчисеской структуры.

3)      Определение порядка следования слов.

4)      Морфологический синтез словоформ.

5)      Обнаружение и исправления морфологических ошибок.

6)       

 

Центральной функцией, выполняемой ЕЯ-системами, является функция понимания высказывания. При определении этой функции, обычно выделяют анализ слов, предложений и текста. Анализ слов заключается в поиске основ слов, соотнесением их к определенным грамотическим категориям.

Анализ предложений сводится к синтаксическому и семантическому анализу, который выполняется отдельно функционального блока, называемого анализатором.

Цель синтаксического анализа заключается в установлении синтаксической правильности предложения и построение его лингвистической структуры на основе выделения определенных лингвистических отношений между словами. Конкретная структура предложения определяется выбранной системой лингвистических отношений и часто представляется в виде дерева грамматического разбора. В ходе синтаксического анализа используются знания морфологии и синтаксиса входного языка, а так же некоторые сведения о семантике языковых конструкции. Цель семантической интерпретации – формирование описаний проблемных ситуаций, заданных входными предложениями на внутреннем языке системы, например с помощью концептуальных графов, фреймов, логических представлений. Получение таких описаний предполагает расширение сведений, которые неявно представлены во входном ЕЯ-предложении.



Методические пособия

  • Системы автоматизированного проектирования
  • Социология молодёжи
  • Общая социология
  • Криптография
  • Проектирование трансляторов
  • Компьютерная графика
  • Моделирование систем
  • Информационная безопасность
  • Теория вычислительных процессов
  • Логические основы искусственного интелекта
  • Проектирование распределённых информационных систем