СТРАТЕГИИ ПРЕОДОЛЕНИЯ КОММУНИКАТИВНЫХ НЕУДАЧ ПРИ АНАЛИЗЕ НЕГРАММАТИЧНЫХ ЯЗЫКОВЫХ ВЫРАЖЕНИЙ[4]1
(Университет Карнеги-Меллон, Отделение информатики)
Практические интерфейсы, работающие в режиме естественного языка, должны демонстрировать надежность даже в случае неправильно построенных входных сообщений пользователя.
В настоящей статье классифицируются различные типы грамматических отклонений и других подобных явлений на лексическом, сентенциальном и диалоговом уровнях и предлагаются стратегии преодоления коммуникативных неудач, связанных с выделенными типами отклонений. Такие стратегии дают набор инструментов для создания легко реализуемых компьютерных методов обработки неграмматичных (extragrammatical) выражений естественного языка в ограниченной предметной области. Некоторые из этих стратегий были опробованы в существующих анализаторах и доказали свою плодотворность.1. ВВЕДЕНИЕ
Любой надежный (robust) интерфейс, работающий на естественном языке [5], должен уметь обрабатывать входные высказывания, грамматические и семантические характеристики которых отклоняются от ожидаемых. К этому выводу пришли многие исследователи, начавшие разрабатывать специальные процедуры для обработки определенных классов неграмматичных конструкций. Поскольку надежные анализаторы должны иметь дело преимущест-
венно с такими входными выражениями, которые соответствуют заложенным в компьютер ожиданиям, то предпринимавшиеся усилия по преодолению неграмматичности обычно представляли собой расширение существовавших методов анализа. Наибольшую популярность, пожалуй, получил подход, заключающийся в расширении синтаксически ориентированных методов анализа, использующих так называемые расширенные сети переходов (ATN) (Kwasny and Sondheimer, 1981; Weischedel and Sondheimer, 1984; Wei shed el and Black, 1980; Woods et al., 1976).
Другие исследователи предпринимали попытки обрабатывать неграмматичные входные выражения с помощью семантической грамматики, основанной на сетях (Hendrix, 1977), с помощью расширения возможностей метода подбора образцов, при котором разрешается частичное совпадение с образцом (Hayes and М о u- r ad і ап, 1981), с помощью метода актуализации концептуальных падежных фреймов (D ej о n g, 1979; Schank, Lebowitz, В і г n- baum, 1980) и с помощью подходов, использующих различные взаимодействующие стратегии обработки (С а г b о n е 11 and Hayes, 1984; Carbonell et al., 1983; Hayes and Carbonell, 1981).
Учитывая основные результаты существующих работ, мы сосредоточиваемся в данной статье на трех главных задачах:
1. Создать таксономию возможных грамматических отклонений, покрывающих широкий класс неправильностей, включая некоторые лексические и дискурсные явления (например, новые слова и эллипсис в диалоге), которые могут обрабатываться теми же самыми механизмами, какие обнаруживают и обрабатывают собственно грамматические ошибки.
2. Наметить стратегии для обработки многих из этих отклонений — некоторые подобные стратегии представлены в наших более ранних работах, некоторые сходны со стратегиями, предложенными другими исследователями, некоторые же никогда ранее не рассматривались.
3. Установить, насколько легко эти стратегии могут быть использованы в соединении с несколькими существующими подходами к обработке неправильно построенных входных выражений, и проанализировать причины возникающих несоответствий.
Конечным результатом должен быть синтез различных стратегий обработки правильно и неправильно построенных выражений (с группировкой по типу грамматических явлений), далее — оценка того, насколько хорошо эти стратегии совместимы с существующими методами анализа неправильно построенных входных выражений, и, наконец, получение набора характеристик, соблюдение которых желательно при любом анализе неправильно построенных входных выражений. Мы надеемся, что это поможет разработчикам надежных естественноязыковых интерфейсов в двух отношениях:
1) они получат набор инструментов, эффективных в плане компьютерного преодоления неграмматичности;
2) будет облегчен выбор основной методологии анализа, в рамках которой должны использоваться эти методы преодоления коммуникативных неудач.
При определении степени совместимости методов преодоления неграмматичности и различных методов анализа сообщений мы избегаем вопроса о том, может ли данный метод преодоления неграмматичности использоваться в сочетании с определенным методом анализа сообщений.
Ответ на такой вопрос почти всегда положительный. Вместо этого мы сосредоточили внимание на том, насколько естественно соотносятся рассматриваемые стратегии преодоления неграмматичности с различными подходами к анализу сообщений. В частности, мы рассматриваем вычислительную реализуемость стратегий преодоления и неграмматичности и выясняем, насколько легко может быть получена информация, необходимая для их использования в контексте различных подходов к анализу текста.Надежный анализ сообщений необходим для интерфейсов, работающих на естественном языке, которым приходится иметь дело со спонтанной речью пользователя. Обычно такие интерфейсы оперируют в четко очерченной, но узкой предметной области, для которой могут быть установлены сильные семантические ограничения. По сравнению с ними системы обработки текста часто имеют дело с гораздо более широкими предметными областями. Однако необходимость в обработке неправильных выражений при анализе текста гораздо меньше, так как тексты обычно тщательно готовятся и редактируются, в результате чего устраняется большинство грамматических ошибок и явлений, характерных для диалога и порождающих фрагментарные высказывания. Поэтому мы придаем особое значение таким методам преодоления неграмматичности, которые используют сильные семантические ограничения и зависят от них. В некоторых случаях неясно, пригодны ли предлагаемые методы для адекватной обработки неограниченного текста или дискурса, но, даже если они и непригодны, мы все же надеемся, что их использование в ограниченной ситуации поможет глубже осмыслить общую проблему анализа неправильно построенной речи.
Прежде чем продолжить обсуждение, необходимо пояснить термин неграмматичность (extragrammaticality). Неграмматичные выражения включают конструкции с явными грамматическими ошибками, которые тем не менее могут быть семантически понятны, а также лексические трудности (например, орфографические ошибки), нарушения семантических ограничений, высказывания, приемлемые с общеграмматической точки зрения, но неприемлемые с точки зрения грамматики системы, эллипсис и ряд других явлений диалога, а также любые другие трудности, которые могут возникнуть при обработке отдельных высказываний.
Таким образом, неграмматичность определяется скорее в отношении возможностей конкретной системы, а не абсолютной внешней модели компетенции идеального пользователя.Неграмматичность может возникать на различных уровнях: на лексическом уровне, на уровне предложения и диалога. В следующих разделах поочередно рассматривается каждый из этих уровней, классифицируются возможные неграмматичные выражения и обсуждаются стратегии преодоления неграмматичности. В конце каждого раздела мы рассматриваем вопрос о том, насколько различные стратегии преодоления неграмматичности совместимы с различными подходами к анализу сообщений или в какой степени они могут опираться на эти подходы. В последнем разделе описываются некоторые разработанные нами экспериментальные анализаторы, обладающие свойством надежности. Многие наблюдения, предлагаемые нами в этой статье, были сделаны на основе нашего опыта разработки этих анализаторов. Мы касаемся также результатов недавних исследований по проблеме интеграции многих рассмотренных ранее стратегий преодоления неграмматичности в единый надежный комплексный анализатор для интерпретации естественноязыковых выражений ограниченной предметной области.
2.