Диалог+с+ПК


 * Язык** - это система взаимосвязанных категорий, которая, с одной стороны, отражает, сдругой - фиксирует определенный взгляд на мир.

Процесс общения с машиной долгое время оставался уделом специалистов и был недоступен для понимания простым смертным. Тем самым "простым смертным", которые, собственно говоря, и являлись потребителями компьютерных услуг.Технологи зачастую самой ЭВМ и в глаза-то не видели, а общались с машиной через посредника-программиста". Компьютерный интерфейс на первых этапах развития вычислительной техники в качестве обязательного элемента непременно включал человека-специалиста (что касается нашей страны, то кое-где такое положение сохранялось вплоть до начала девяностых; именно поэтому у нас во многих конторах до сих пор имеют привычку называть программистом любого человека, способного различить пару клавиш на клавиатуре. Что, конечно, по большому счету потребителей не очень-то устраивало.Вот если бы можно было пообщаться с компьютером напрямую, не забивая голову всяческими техническими сведениями...


 * Диалоговый компонент**

Построение речевого интерфейса распадается на три составляющие.

Первая задача состоит в том, чтобы компьютер мог "понять"то, что ему говорит человек, то есть он доложен уметь извлекать из речи человека полезную информацию. Пока что, на нынешнем этапе, эта задача сводится к тому, чтобы извлечь из речи смысловую ее часть, текст (понимание таких составляющих, как скажем, интонация, пока вообще не рассматривается). То есть эта задача сводится к замене клавиатуры микрофон. Вторая задача состоит в том, чтобы компьютер воспринял смысл сказанного. Пока речевое сообщение состоит из некоего стандартного набора понятных компьютеру команд (скажем, дублирующих пункты меню), ничего сложного в ее реализации нет. Однако вряд ли такой подход будет удобнее, чем ввод этих же команд с клавиатуры или при помощи мыши. Пожалуй, даже удобнее просто щелкнуть мышкой по иконке приложения, чем четко выговаривать (к тому же мешая окружающим): "Старт! Главное меню! Ворд!" .В идеале компьютер должен четко "осмысливать" естественную речь человека и понимать, что, к примеру, слова "Хватит!" и "Кончай работу!" означают в одной ситуации разные понятия, а в другой - одно и то же. Третья задача состоит в том, чтобы компьютер мог преобразовать информацию, с которой он оперирует, в речевое сообщение, понятное человеку.

• Электронные переводчики, • Распознаватели текста, • Поисковые системы (в WEB, на рабочей станции – текстов, почты, вБД), • Аннотаторы и рубрикаторы, • Управление с помощью ЕЯ, • Вопросно-ответные системы, • Виртуальные личности.
 * Прикладные системы, использующие ЕЯ**:

Проблемы понимания естественного языка, будь то текст или речь, во многом зависят от знания предметной области. Понимание языка требует знаний о целях говорящего и о контексте. Необходимо также учитывать недосказанность или иносказательность. Например, даже в таком простом предложении "Ваня встретил Машу на поляне с цветами" нам не понятно, кто же был с цветами: Ваня, Маша или поляна? Еще один пример "Врач бегло говорила по-английски". Разбирая это предложение, необходимо в результате разбора зафиксировать, что врач была женщина. Крылатая фраза знаменитого русского лингвиста, академика Л.В.Щербы "Глокая куздра штеко будланула бокра и курдячит бокренка" говорит о том, что такая "непонятная" фраза построена по всем правилам русского языка, не вызывает проблем с грамматическим разбором такого предложения, но вызывает проблемы с пониманием. Попробуем сформулировать лишь некоторые проблемы понимания естественного языка.
 * Проблемы понимания естественного языка**


 * 1) Проблема СМЫСЛ-ТЕКСТ. Об этом только что говорилось и приведем еще один пример по этой проблеме. В предложении "Какой завод заказал оборудование для конвертерного цеха в Бельгии?" неясен смысл: был ли сделан заказ в Бельгии или цех находится в Бельгии.
 * 2) Проблема планирования возникает при необходимости вести диалог, например, на тему "Куда Вы хотите лететь?". В этом случае нужно глубокое знание предметной области (номера рейсов, время прилета-отлета, цены и т.д.).
 * 3) Проблема равнозначности. Будут ли равнозначны два предложения "У дома стоит слон" и "У дома стоит существо с хоботом и бивнями"? На первый взгляд нет сомнений в равнозначности этих предложений. А если в базе знаний существо с хоботом и бивнями определено двумя значениями: слон и мамонт, то такие сомнения, наверное, появятся.
 * 4) Проблемы моделей участников общения. У участников общения должны быть сопоставимые модели представления знаний, необходимая глубина понимания, возможность логического вывода, возможность действия.
 * 5) Проблема эллиптических конструкций, то есть опущенных элементов диалога. Например, в пословице "Береги платье снову, а честь - смолоду" вторая часть предложения будет синтаксическим эллипсисом (опущен глагол береги).
 * 6) Проблема временных противоречий. Например, в предложении "Я хотел завтра пойти в кино" глагол "хотел" в прошедшей форме сочетается с обстоятельством будущего времени "завтра", что противоречит общепринятой логике.

Определим или напомним **основные понятия**: • Дискурс (диалог) или текст – Контекст, активный диалог, роли участников диалога, прагматика (цели, мотивация) • Предложение – Тип предложения, эллипсис (неполнота), • Словосочетание • Слово или словосочетание – Падеж (роль в предложении), часть речи, время • Слог или морфема • Символ (знак) или звук • Синтаксис – структура предложения • Семантика – смысл текста, предложения или словосочетания • Прагматика – цели или мотивация

• Анализ (понимание) ЕЯ, – Морфологический анализ, – Синтаксический анализ, – Семантический анализ, – Прагматический анализ, • Синтез предложений ЕЯ, • Классификация текстов, – Частотные методы, – Нейросетевые методы, • Распознавание речи, • Синтез речи.
 * Задачи при работе с ЕЯ:**

«Понимающий» компьютер должен осуществлять **обработку всех уровней языка**: • Фонетика • Морфология • Синтаксис • Прагматика • Дискурс Решается только одна проблема: НЕОДНОЗНАЧНОСТЬ

• Синтаксическая (структурная) неоднозначность: во фразе Time flies like an arrow для ЭВМ неясно, идет ли речь о времени, которое летит, или о насекомых, т.е. является ли слово flies глаголом или существительным. • Смысловая неоднозначность: во фразе The man went to the bank to get some money and jumped in слово bank может означать как банк, так и берег. • Падежная неоднозначность: предлог in в предложениях He ran the mile in four minutes/He ran the mile in the Olympics обозначает либо время, либо место, т.е. представлены совершенно различные отношения. • Референциальная неоднозначность: для системы, не обладающей знаниями о реальном мире, будет затруднительно определить, с каким словом - table или cake - соотносится местоимение it во фразе I took the cake from the table and ate it. • Литерация (Literalness): вдиалоге Can you open the door? — I feel cold ни просьба, ни ответ выражены нестандартным способом. В других обстоятельствах на вопрос может быть получен прямой ответ yes/no, но в данном случае в вопросе имплицитно выражена просьба открыть дверь.
 * Виды языковой неоднозначности:**

• анафора (т.е. использование местоимений вместо их анафорических антецедентов - самостоятельных частей речи); • Эллипсис (неполнота); • экстраграмматические предложения (пропуск артиклей, опечатки, употребления междометий и т.п.); • металингвистические предложения (т.е.попытка исправления введенного ранее).
 * Дополнительные трудности при диалоге на ЕЯ:**

• Подход основан на детальном синтаксическом разборе (анализе) предложения. Средствами синтаксического анализа вычленяются связанные понятия, которые объединяются в так называемые атомы смысла (АС). Создание АС идет только на основе данного предложения, определение связанный понятий идет только на основе синтаксических правил. • На основе распознавания семантики. Разбор предложения идет путем вычленения связанных понятий с помощью базы знаний. База знаний хранит АС и определенным образом представленные связи между этими АС. На втором плане стоит синтаксический анализ с помощью которого вычленяются дополнительные АС, те которые не были сгенерированы с помощью БЗ.
 * Два подхода к моделированию понимания смысла ЕЯ:**

• управление базами данных; • управление и регулирование технических систем; • службы резервирования и заказов; • диктовка и редактирование; • услуги электронного секретаря; • роботы; • автоматический перевод; • телефония; • обеспечение конфиденциальности; • помощь инвалидам (чтение для глухих, произнесение для немых).
 * Применение речевых технологий:**

Система распознавания речи состоит из двух частей. Эти части могут быть выделены в блоки или в подпрограммы. Для простоты скажем, что система распознавания речи состоит из акустической и лингвистической частей. Лингвистическая часть может включать в себя фонетическую, фонологическую, морфологическую, синтаксическую и семантическую модель языка.
 * Cистема распознавания речи**

Акустическая модель отвечает за представление речевого сигнала.Лингвистическая модель интерпретирует информацию,получаемую от акустической модели, и отвечает за представление результата распознавания потребителю.

Оба подхода имеют свои достоинства и недостатки.При разработке технических сисвыбор подхода имеет первостепенное значение.темCуществует два подхода к построенрию акустической модели:изобретательский и бионический.Первый базируется на результатах поиска механизма функционирования акустической модели.При втором подходе разработчик пытается понять и смоделировать работу естественных систем.
 * Акустическая модель**

Лингвистический блок подразделяется на следующие ярусы (слои, уровни); фонетический, фонологический, морфологический, лексический,синтаксический, семантический. Всего их шесть. За основу взят русский язык. Все ярусы суть априорная информация о структуре естественного языка, а, как известно, любая априорная информация об интересующем предмете увеличивает шансы принятия верного решения. На том стоит вся статистическая радиотехника. А естественный язык несет весьма сильно структурированную информацию, из чего, кстати, вытекает, что для каждого естественного языка может потребоваться своя уникальная лингвистическая модель (предвижу трудности с русификацией сложных систем распознавания речи). В соответствии с данной моделью на первом - фонетическом- уровне производится преобразование входного (для лингвистического блока) представления речи в последовательность фонем, как наименьших единиц языка. Далее, на морфологическом уровне оперируют со слогоподобными единицами речи более высокого уровня, чем фонема. Иногда они называются морфемами. Лексический ярус охватывает слова и словоформы того или иного естественного языка, то есть словарь языка, так же внося важную априорную информацию о том, какие слова возможны для данного естественного языка. Семантика устанавливает соотношения между объектами действительности и словами, их обозначающими. Она является высшим уровнем языка. При помощи семантических отношений интеллект человека производит как бы сжатие речевого сообщения в систему образов, понятий, представляющих суть речевого сообщения. Отсюда следует вывод, что система должна быть "умной". Чем лучше у нее будет построена модель семантических связей, эквивалента "системы мысленных образов", тем больше вероятность правильно распознать речь.
 * Лингвистическая модель**

**Классификация по назначению:** командные системы системы диктовки текста
 * Классификация систем распознавания речи**

**По потребительским качествам:** диктороориентированные (тренируемые на конкретного диктора) дикторонезависимые распознающие отдельные слова распознающие слитную речь.

**По механизмам функциониро-вания:** простейшие (корреляционные) детекторы экспертные системы с различным способом формирования и обработки базы знаний вероятностно-сетевые модели принятия решения, в том числе нейронные сети.

• SHRDLU программа, разработанная Терри Виноградом в 1968-1970 г. в MIT: моделирует понимание компьютером ЕЯ в узкой области. Название происходит из сочетания самых частотных букв английского языка - ETAOIN SHRDLU • Eliza Виртуальный собеседник, созданный Джозефом Вейзенбаумом в 1966 г., пародирует понимание компьютером ЕЯ Классическая Eliza: http://www-ai.ijs.si/eliza-cgi-bin/eliza_script Русский вариант: Киса http://hottabych.net/kisa/
 * Первые опыты**

Источники: 1. Общение с ЭВМ на естественном языке. [Электронный ресурс] - Режим доступа: http://www.intuit.ru/department/human/isrob/5/1.htm 2. Общение с компьютером на естественном языке. Проблемы и задачи [Электронный ресурс] - Режим доступа: http://www.insycom.ru/html/metodmat/ism2011/Lec_4_1.pdf 3. Системы понимания естественного языка. [Электронный ресурс] - Режим доступа: http://khpi-iip.mipk.kharkiv.edu/library/ai/conspai/10.html#part_8