Ѕаза знаний студента. –еферат, курсова€, контрольна€, диплом на заказ

курсовые,контрольные,дипломы,рефераты

»скусственный интеллект — языкознание, филологи€

ѕосмотреть видео по теме ƒипломной работы

ѕринцип аналогии в морфологии

¬ работе Ѕелоногова √. √. и «еленкова ё. √. описываетс€ принцип построени€ алгоритма морфологического анализа текстов на основе принципа аналогии. ƒанный принцип используетс€ в системах орфографического контрол€ русских текстов, системах автоматического индексировани€ документов и системах машинного перевода текстов с русского €зыка на английский и с английского €зыка на русский. ѕроизводительность программы на компьютере с процессором от 386 и выше составл€ет около 400 слов/с.

ѕри автоматической обработке текста возникает проблема УновыхУ слов. ƒл€ синтаксического анализа и синтеза необходимо знать грамматические характеристики слов. ≈сли слова в словаре нет, то морфологический анализ не может быть выполнен, а следовательно не могут быть определены грамматические характеристики слова.

ƒл€ того, чтобы определить грамматические характеристики слов без словар€, Ѕелоногов предложил принцип аналогии. ќн основан на том, что существует сильна€ коррел€ционна€ св€зь между грамматическими характеристиками слов и буквенным составом их концов. Ќапример: организаци€, приватизаци€, концентраци€ имеют ж. р., им. п. и ед. ч.; работают, понимают, привлекают - это глаголы в 3-ем лице мн. ч. и т. д.

ѕринцип аналогии провер€лс€ на р€де индоевропейских €зыков: (русский, болгарский, латышский, испанский, английский) и оказалс€ эффективным. —начала он примен€лс€ дл€ определени€ грамматических характеристик слов, не включенных в машинный словарь. «атем возникла иде€ при проведении морфологического анализа отказатьс€ от машинного словар€.

≈сли по текстам большого объема составить словарь словоформ и назначить каждой словоформе некоторые грамматические признаки, а затем преобразовать данный словарь в обратный словарь словоформ, то можно обнаружить, что многие участки словар€ имеют одинаковые наборы признаков.

ќбратный словарь словоформ представл€ет собой список словоформ с такими характеристиками как признак длинны грамматического окончани€, номер флективного класса (типа словоизменени€) и числовой индекс, характеризующий такие признаки как УглагольностьУ, УместоименностьФ, Усравнительна€ степеньФ. Ќапример:

масштаба 01/001/01

служба 01/056/01

возникшие 02/105/10

батальон 00/021/01

рассчитыва€ 00/152/10

ќбратный словарь используетс€ дл€ автоматического морфологического анализа текстов, если составл€ющие их словоформы отождествл€ть со словоформами словар€ и приписывать им грамматическую информацию, указанную в словаре. —ловоформам текста, которые не наход€тс€ в словаре, можно приписывать грамматическую информацию тех словоформ словар€, концы которых в максимальной степени совпадают с концами этих новых словоформ текста.

ќбъем обратного словар€ можно сократить, если на всех его участках оставить по две словоформы: начальную и конечную. Ѕолее того из этих двух словоформ можно оставить только одну, и если словоформа текста не совпадет ни с одной словоформой обратного словар€, то ей приписываетс€ информаци€ непосредственно предшествующей словоформы этого словар€.

ƒанный сокращенный словарь можно еще сократить, если исключить из него начальные буквы словоформ, не оказывающие вли€ние на результаты морфологического анализа. ѕри этом у каждой пары р€дом сто€щих словоформ оставл€ютс€ справа совпадающие конечные буквосочетани€ и еще по одной букве, которые не совпадают. Ќапример:

аба 01/001/01

еба 01/044/01

неба 01/071/01

авшие 02/105/10

тальон 00/021/01

тыва€ 00/152/10

ѕосле выполнени€ всех операций объем словар€ сокращаетс€ в 8 раз. Ќа точность первоначально включенных в словарь словоформ это не повли€ет, а точность анализа остальных словоформ русского €зыка будет достаточно высокой.

ƒл€ морфологического анализа текстов на основе метода аналогии достаточно располагать обратным словарем концов слов. Ќо авторы разработки сделали еще У—ловарь служебных и коротких словФ. ¬ этот словарь были включены сначала предлоги, местоимени€, частицы, союзы и короткие слова до 5 букв. «атем в него вошли также словоформы, которые по методу аналогии анализировались неверно. ¬ результате этот словарь увеличилс€ до 11 тыс€ч словоформ.

“аким образом, в процессе морфологического анализа словоформы ищутс€ в словаре У—лужебных и коротких словФ, а затем в словаре концов словоформ. –езультаты анализа, полученные по первому словарю, считаютс€ более надежными, и словоформы, найденные в этом словаре, дальнейшей обработке не подвергаютс€.

¬ насто€щее врем€ веро€тность правильного анализа слов при обработке текстов любой тематики превышает 99%.

Ћогические грамматики превратились с течением лет в инструментарий высокого уровн€, и теперь они позвол€ют пользователю сконцентрироватьс€ на лингвистических феноменах. √рамматики, построенные на определенных предложени€х, поддерживают использование логики дл€ обработки данных естественного €зыка, и они подготовили почву дл€ практической работы лингвистов на €зыке программировани€ PROLOG.

√–јћћј“» ј, ѕќ—“–ќ≈ЌЌјя Ќј ќѕ–≈ƒ≈Ћ≈ЌЌџ’ ѕ–≈ƒЋќ∆≈Ќ»я’ (DEFINITE-CLAUSE GRAMMAR или DCG)

ѕроведение работ по исследованию построени€ грамматик дл€ понимани€ естественного €зыка (далее ≈я) приобрело большую попул€рность после введени€  олмеройером в 1975 году грамматических формализмов, основанных на предложени€х ’орна. “ак называемые метаморфозные грамматики (metamorphosis grammars или MGs) определили рост заинтересованности в области выражени€ лингвистических пон€тий в логике (qv) и заложили основу дл€ создани€ качественных блоков предварительной обработки данных (процессоров ввода-вывода) и интерфейсов. ќсновное применение результаты этих исследовательских работ нашли в консультировании и создании баз данных на основе ≈я, выработке вопросов и ответов, переводе текстов и синтезе текстов, исход€ из надлежащим образом оформленных спецификаций.

ѕон€тие грамматик, построенных на определенных предложени€х (DCGs), как особого случа€ метаморфозных грамматик, было введено в 1978 году ѕерейрой и ”орреном в качестве грамматического формализма, дл€ которого PROLOG имеет эффективный механизм синтаксического анализа. ќдни практические системы были созданы дл€ одновременного использовани€ синтаксического и семантического знани€ дл€ привнесени€ логики в структуру, содержа в себе информацию дл€ семантической интерпретации. ƒругие системы были выстроены на более чем одном уровне трансл€ции; использование синтаксического и семантического знани€ осуществл€лось отдельно друг от друга, и конечным результатом €вл€лось в PROLOGе предложение ’орна, выполнение которого осуществл€лось механизмом планировани€ (qv).

“ехника экстрапозиционных грамматик (extraposition grammars или XGs) была предложена ѕерейрой дл€ описани€ определенных глобальных отношений или экстрапозиций, таких как св€зь между относительным местоимением и его записью. ¬ конечном итоге разработки наподобие грамматик структуры определений (modifier structure grammars или MSGs) ƒал€ и ћак орда, древовидных грамматик (tree grammars или TGs)  олмеройера и усложненных грамматик (puzzle grammars или PGs) —абатье увеличили силу выражени€ лингвистических пон€тий.

¬се эти исследовательские работы по грамматическим формализмам, замешанным на логике, стали возможны и проще в осуществлении после выбора PROLOGа, €зыка программировани€ основанного на подмножестве логики первого пор€дка.

Ћќ√»„≈— »≈ √–јћћј“» »

√рамматики описывают структуру (синтаксис) €зыков множеством продукций (правил, перерабатывающих текст). Ќапример, правилом

sentence -> noun-phrase verb-phrase

устанавливаетс€ св€зь между трем€ нетерминальными символами: предложение может состо€ть из именной группы и следующей за ней глагольной группы.

“акие правила могут быть отображены в PROLOGе следующим образом:

sentence (S1, S3): - noun-phrase (S1, S2), verb-phrase (S2, S3).

verb-phrase (S1, S2): - connects (S1, writes, S2).

connects (1, each, 2).

connects (2, author, 3).

connects (3, writes, 4).

(ѕримечание: предикаты (т. е. выражени€ с неопределенными терминами, или переменными, которые преобразуютс€ в истинные или ложные высказывани€ при выборе конкретных значений дл€ этих самых терминов) занос€тс€ в PROLOG через зап€тую. ѕеременные отличаютс€ от констант первой заглавной буквой.)

¬ нижеследующей записи числа обозначают начало и конец каждого слова:

1each2 author3 writes4

„тобы проверить правильность построени€ предложени€, необходимо указать цель

? - sentence (1, 4).

(где ? - бинарное обозначение структуры (или бинарный функтор), содержащеес€ в любой системе PROLOG) и продемонстрировать, что она подтверждаетс€ предыдущими услови€ми. »спользу€ список в качестве информационной структуры дл€ представлени€ предложени€, числа больше не нужны, так как PROLOG имеет устройство синтаксического анализа, способного перевести:

? - sentence ([each, author, writes]. [ ]).

√рамматики, построенные на определенных предложени€х, €вл€ютс€ объемом пон€ти€ контекстно-свободных грамматик, которые также могут быть транслированы на €зык PROLOG. √рамматики, построенные на определенных предложени€х, позвол€ют любому логическому выражению стать нетерминальным, они построены на логических символах: константах, переменных, выражени€х, - а не только на одних константах. “акже они имеют только один нетерминальный символ в левой части каждого правила.  онтекстные зависимости (контекстные отношени€ подчинени€) описываютс€ логическими переменными в рамках параметров (или независимых переменных) грамматических символов.

” правила грамматики, построенной на определенных предложени€х, следующа€ форма:

nonterminal symbol -> body (основна€ часть программы).

где УbodyФ (Уосновна€ частьФ) €вл€етс€ последовательностью одного или более элементов данных, отделенных друг от друга зап€тыми.  аждый элемент данных €вл€етс€ либо нетерминальным символом, либо последовательностью терминальных символов. «начение правила состоит в том, что "основна€ часть"- это возможна€ форма дл€ группы типа Унетерминальный символФ. ¬ PROLOGе нетерминальный символ записываетс€ как выражение (а не как список), а последовательность терминальных символов - в виде списка.

¬ правой части правила нар€ду с нетерминальными символами и списком терминальных символов могут находитьс€ последовательности вызовов процедур, записываемых в фигурных скобках ({and}). ќни используютс€ дл€ выражени€ дополнительных условий, которые в об€зательном пор€дке должны выполн€тс€, чтобы правило действовало. Ќетерминальный символ преобразуетс€ в (N + 2)-местный предикат (имеющий идентичное название), чьи первые N параметры полностью описаны в нетерминальном символе и чьи последние два параметра €вл€ютс€ такими же, как и при трансл€ции контекстно-свободного нетерминального символа. ¬ызовы процедур в правой части правила транслируютс€ так, как они есть.

 аждое грамматическое правило, типа

p(X) -> q(X).

получает группу вход€щих данных, анализирует некую исходную часть и генерирует остаток дл€ дальнейшего анализа. Ёто частное правило транслируетс€ системой PROLOG как

p(X, S0, S): - q(X, S0, S).

—ледовательно, система грамматической индексации в PROLOGе обеспечивает более сжатую запись, когда параметры дл€ групп вход€щих и выход€щих данных не€вно выражены.

 огда в правиле содержатс€ терминальные символы, они транслируютс€ со сказуемым "connects".   примеру,

connects(S1, X, S2)

означает, что суть S1 св€зана через X с сутью S2.

ѕравило

p(X) -> (older), q(X), (high).

преобразуетс€ в

p(X, S0, S): - connects(S0, older, S1),
q(X, S1, S2),
connects(S2, high, S).

јЌјЋ»« ≈я

¬ 1977 году  олмеройер ввел общую схему анализа ≈я, что €вилось решающим шагом вперед и вызвало огромный интерес в области использовани€ логических грамматик как альтернативы прочно утвердившимс€ грамматикам расширенных сетей переходов (augmented transition network grammars). — исторической точки зрени€, это можно признать поворотным пунктом, так как был указан метод преобразовани€ предложений ≈я в логические структуры. ћетод заключалс€ в рассмотрении простейших высказываний, содержащих собственные имена существительные, какой бы то ни было артикль в виде квантора (кванторного слова) с трем€ операци€ми перехода и четыре приоритетных правила, дл€ разрешени€ проблемы иерархии квантовани€ (количественного измерени€ качественных признаков).

 раткий обзор общей схемы побуждает к дальнейшему развитию приемов составлени€ логических грамматик. Ќапример, предложение

Chomsky is (a) writer

содержит им€ собственное, и глагол Уto beФ преобразуетс€ в формулу

writer(chomsky)

√лавным образом глаголы, прилагательные, имена существительные ввод€т характеристики с n параметрами. ƒл€ глаголов, n может равн€тьс€ 1 [непереходные глаголы] или N+1 [переходные глаголы, где N - количество комплементов (дополнений, следующих за глаголом в составном сказуемом и описывающих его подлежащее)]. ƒл€ прилагательных и имен существительных n равн€етс€ или больше 1 (отношени€, где n - это n-место его параметров). ѕараметры представл€ют в предложении дополнени€ при имени существительном, глаголе или прилагательном.

Ќапример, предложение

Chomsky writes a book

содержит глагол УwriteФ, существительное УbookФ и артикль УaФ и может быть заменено следующей формой:

for a

B

such that

B is (a) book (1)

it is true that

Chomsky writes B (2)

где (1) и (2) €вл€ютс€ простейшими высказывани€ми.

Ёта же логическа€ структура может быть записана в стенографических индексах:

a(B, book (B), writes(Chomsky), B)).

ќбратите внимание, что высказывани€ (1) и (2) преобразуютс€ в формулы Уbook(B)Ф и Уwrites(Chomsky, B),Ф соответственно.

Ћогическа€ структура выражает смысл предложени€, и кажда€ из ее составных частей соответствует смыслу обособленных слов согласно принципу ‘реже. «аписи, передающие значение, указываютс€ как логические структуры, так как единственным из области значени€, что люди научились точным образом представл€ть в виде записи в Ё¬ћ, €вл€ютс€ логические отношени€.

¬с€кий артикль a представл€ет квантор q (кванторное слово) с трем€ операци€ми перехода, создающий новую формулу из переменной x и двух формул f1 и f2,

q(x, f1, f2).

Ёта формула соответствует высказыванию

for a x such that e1, it is true that e2

где e1 и e2 €вл€ютс€ простейшими высказывани€ми соответствующими f1 и f2.

Ќапример, предложение

Chomsky writes a book for each publisher

содержит глагол УwriteФ, два существительных (УbookФ и УpublisherФ) и два артикл€ (УaФ и УeachФ) и может быть заменено следующей формой:

for each P such that P is a publisher it is true that for a B such that B is a book, it is true that Chomsky writes B for P

ѕредложение преобразуетс€ в логическую структуру

each(P,

publisher(P),

a(B,

book(B),

writes-for(Chomsky, B, P))).

Ёта логическа€ структура отражает следующее приоритетное правило: в конструкции с использованием имени существительного (book) и его дополнени€ (publisher), квантование, представленное артиклем при дополнении, вли€ет на квантование, представленное артиклем при имени существительном. ѕомимо этого правила  олмеройер предложил еще 3 приоритетных правила дл€ организации возможности квантовани€.

јЌјЋ»«  ќЋћ≈–ќ…≈–ј ƒЋя  ќЌ –≈“Ќќ√ќ ≈я

ќбща€ схема анализа была изначально предложена  олмеройером дл€ французского и английского €зыков. ѕозднее ƒаль адаптировал ее дл€ испанского,  оэлхо - дл€ португальского, а ѕик предложил иную семантику дл€ артиклей французского €зыка.

ќЅўјя —’≈ћј јЌјЋ»«ј  ќЋћ≈–ќ…≈–ј ¬  ј„≈—“¬≈ √–јћћј“» », ѕќ—“–ќ≈ЌЌќ… Ќј ќѕ–≈ƒ≈Ћ≈ЌЌџ’ ѕ–≈ƒЋќ∆≈Ќ»я’ (DCG)

DCGs поддерживают процессы синтаксического анализа и транслировани€ благодар€ вз€тым ими на вооружение из подмножества ≈я, необходимым элементам синтаксиса и семантики. ѕроцесс синтаксического анализа состоит из доказательства, что цепочка слов €вл€етс€ законным и правильно построенным предложением (с точки зрени€ выбранного синтаксиса). ѕроцедура доказательства осуществл€етс€ через исследовательскую стратегию (с конца на начало, сверху вниз, слева направо) и через правило умозаключени€ (логического вывода), где заключением €вл€етс€ qv, уже после отработки системы PROLOG. “рансл€ци€ заключаетс€ в изображении каждого предложени€ в виде логической структуры. Ёта структура состоит из правильно построенных формул определенной логической системы, котора€ основываетс€ на объеме пон€ти€ логики предикатов(qv).

ћеханизм транслировани€ выражаетс€ как множество определенных предложений логики через грамматические правила PROLOGа. ќн (механизм) может содержать, как вместе, так и по отдельности синтаксические и семантические знани€ из подмножества рассматриваемого ≈я. ћеханизм синтаксического анализа зависит от системы PROLOG, и он может быть вскрыт включением отслеживающего устройства. “рансл€ци€ и синтаксический анализ - независимые друг от друга процессы, их независимость позвол€ет легче производить изменени€ в грамматике.

”прощенна€ грамматика, обозначаема€ через G, рассматриваетс€ следующим образом. ќна производит синтаксический анализ английских предложений, одновременно порожда€ соответствующие им логические структуры. √рамматика определ€етс€ 2 модул€ми:

синтаксис + семантика

морфологи€

и имеет дело с предложени€ми типа: Hodges writes for Penguin.

—»Ќ“ј —»— + —≈ћјЌ“» ј

sentences(S) -> noun-phrase(NP, S2, O),

verb([subject-X | L], O1),

complements(L, O1, O2).

complements([ ], O, O) -> [ ].

complements([K-N | L], O1, O3) -> complements(L, O1, O2),

case (K),

noun-phrase(N, O2, O3).

noun-phrase(N, O2, O4) -> article(N, O1, O2, O3),

common-noun([subject-N | L], O1),

complements(L, O3, O4).

noun-phrase(PN, O, O) -> [PN], {proper-noun(PN)}.

article[A, O1, O2 and (O1, O2)] -> [a].

case(for) -> [for].

case(direct) -> [ ].

ћќ–‘ќЋќ√»я

verb([subject-A, for -P], is-published-by(A,P)) -> [writes].

common-noun([subject-P], publisher(P)) -> [publisher].

proper-noun(hodges).

proper-noun(penguin).

  примеру, правило:

noun-phrase(PN, O, O) -> [PN], {proper-noun(PN)}.

представл€ет собой структуру:

noun-phrase(PN, O, O, S0, S): - connects(S0, PN, S),

proper-noun(PN).

ѕервое правило грамматики G, по идее, признаетс€ справедливым только дл€ предложений, в которых за именной группой следует глагол с возможно некоторыми дополнени€ми. ѕервое грамматическое правило дл€ дополнений допускает их отсутствие (терминальный символ [ ] выступает в роли пустого списка), второе правило дл€ дополнений определ€ет последовательность дополнений как группу данных, составленную из дополнени€, падежа и именной группы.

–азличные параметры отличных друг от друга нетерминальных символов св€заны одной и той же логической переменной. Ёто позвол€ет строить структуры в процессе унификации.

»менна€ группа Уa publisherФ анализируетс€ и транслируетс€ грамматическим правилом как:

noun-phrase(N, Oa, Ob) -> article(N, Oc, Od, Oe),

common-noun(N, of),

{constraints(Oa, Ob, Oc, Od, Oe, Of)}.

«аметьте, что это правило - упрощенна€ верси€ четвертого правила представленной грамматики G. Ќетерминальный символ дл€ именной группы имеет 3 параметра. »нтерпретаци€ последнего параметра Ob будет зависеть от характеристики Oa индивидуума N, так как в общем именна€ группа содержит артикль, такой как УaФ.

“еперь смотри на правую часть правила. —лово УaФ имеет интерпретацию Oe,

and(Oc, Od)

в контексте двух характеристик Oc и Od индивидуума N. ’арактеристика Oc будет соответствовать оставшейс€ части именной группы, содержащей слово УaФ, а характеристика Od вытекает из остатка предложени€. «начит, Oe будет содержать всеобъемлющую интерпретацию и св€зыватьс€ с Ob через одну и ту же переменную. “ак как Of €вл€етс€ характеристикой нарицательного существительного, она св€зываетс€ с Oc одной и той же переменной. Oa имеет описание характеристик N, а также зависит от характеристик оставшейс€ части предложени€. ѕоэтому Oa св€зываетс€ с Od через одну и ту же переменную.

 аждое слово ассоциируетс€ с характеристикой. Ќапример, значение глагола УwritesФ вводитс€ отношением Уis-published-by(A,P)Ф. √лагольное правило также содержит информацию о характеристиках отношени€, а именно то, что УAФ играет роль подлежащего предложени€ а УPФ Унав€зываетФ использование предлога УforФ. «начение неопределенного артикл€ УaФ вводитс€ конъюнкцией Уand(O1, O2)Ф согласно определению, прин€тому в классической логике.

Ѕолее продвинута€ по сравнению с G грамматика имела бы более скрупулезно разработанные дефиниции существительных, глаголов, прилагательных, артиклей:

noun([A-[ ] & author & type-X], pr(author(X))) -> no(author, A).

no(Type,GN) -> [Noun], {no1(Noun, Type, GN)}.

no1(author, author,mas-sin).

verb([(G-N)-V&type-X, dir-A-W&title-Y], pr(author(X, Y))) -> ve(writes, N).

ve(Type, N) -> [Verb], {ve1(Verb, Type, N)}.

ve1(writes, writes, sin).

adjective([A-{ }&author&type-X, prep(by)-_-[ ]&pub&type-Y], pr(published(Y,X))) -> ad(pub, A).

ad(Type, GN) -> [Adj], {ad1(Adj, Type, GN)}.

ad1(published, pub, mas-sin).

article(G-sin)-D-X, O1, O2, for([X, D] and (O1, O2)), cardinality(X, greater, 0))) art-ind(G-sin).

art-ind(mas-sin) -> [a]; [some].

(«амечание: безым€нные переменные записываютс€ в PROLOG как У_Ф.)

Ёти дефиниции включают синтаксические и семантические проверки, такие как грамматический род, число, семантические типы. «начение артикл€ также отличаетс€. ¬место квантора с двум€ операци€ми перехода оно было введено квантором с трем€ операци€ми перехода. ѕерва€ операци€ перехода - квантование переменной X, втора€ - дл€ основной характеристики УandФ переменной X, треть€ - дл€ точного определени€ характеристики (мощности множества) и ограничени€ области переменной X.

ќЅЋј—“№ ѕќЌя“»… √–јћћј“» , ѕќ—“–ќ≈ЌЌџ’ Ќј ќѕ–≈ƒ≈Ћ≈ЌЌџ’ ѕ–≈ƒЋќ∆≈Ќ»я’

Ёкстрапозиционные грамматики (XGs) увеличивают мощь DCGs при перечислении контекстных зависимостей. ѕравила XG могут иметь в своей левой части более одного нетерминального символа и символ пробела У У, выражающий случайную цепочку логических символов (терминальных и нетерминальных). Ќапример, правило экстрапозиционной грамматики

Relative-marker . . . complement -> [that].

утверждает, что относительное местоимение ФthatФ может быть проанализировано как относительный показатель, за которым следуют какие-нибудь неизвестные фразы и затем дополнение.

XGs упрощают выражение синтаксических представлений и следовательно позвол€ют упростить трактовку семантических и логических описаний. ѕараметры дл€ нетерминальных символов используютс€ (как и в DCGs) дл€ проверок согласовани€, производства дерева синтаксического анализа и ограничени€ возможности присоединени€ постмодификаторов.

√рамматики структуры определений (MSGs) увеличивают веро€тность точного описани€ несинтаксических репрезентаций. ќни упрощают автоматическое моделирование таких репрезентаций при одновременно происход€щем анализе.

ƒревовидные (или древесные) грамматики (TGs) позвол€ют лучше ориентировать лингвистические конструкции.

”сложненные грамматики (PGs) €вл€ютс€ средством, разработанным специально дл€ нужд лингвистов. ѕравила их стратегии описывают пор€док и режим трансл€ции, и описываютс€ эти правила независимо друг от друга.

ѕорождение текстов на естественном €зыке

ѕорождение текстов на естественном €зыке - процесс преднамеренного построени€ текста на естественном €зыке с целью решать определенные коммуникативные задачи. “ермин "текст" рассматриваетс€ как общий, рекурсивный термин, который может относитс€ к письменному или устному высказыванию, или к отдельным част€м высказывани€. ѕри порождении текстов, в устной или письменной форме, человеку важно обдумать и отредактировать производимое высказывание. ≈два ли можно сказать, что большинство программ может УговоритьФ сегодн€, в основном все они лишь вывод€т слова на экран. “ак как дл€ программы порождени€ текстов на сегодн€шний день не стоит вопрос конструировани€ фразы, эти детали принимаютс€ во внимание только тогда, когда они задействованы в создании программы.

÷ели исход€т из другой программы, возможно экспертной рассуждающей системы или ICAI обучающей программы, котора€ общаетс€ с пользователем на естественном €зыке. ѕроизведенные тексты могут быть различной длины: от одиночной фразы, данной в ответ на вопрос, до диалогов с большим количеством предложений или толкований на целую страницу. ѕорождение текстов на естественном €зыке отличаетс€ от программ, просто использующих естественный €зык. ѕрограммы, печатающие сообщени€ на естественном €зыке, существуют со времен по€влени€ компьютеров, но сейчас, например, никто не хочет разбиратьс€, каким образом построены сообщени€ об ошибках при компил€ции на ‘ќ–“–јЌе, как бы правильно они не были написаны. —ообщение об ошибках ничего не "означает" дл€ программы, котора€ печатает их: св€зь между цепочкой слов и работой программы создаетс€ программистом. ƒаже использование утверждений с параметром, где зафиксированна€ цепочка слов может быть увеличена именами или простыми описани€ми, замен€ющими переменные, не €вл€етс€ собственно порождением текстов на естественном €зыке. ”спех таких приемов как Узаполнить пробелыФ или УшаблонФ зависит от количества и сложности ситуаций, в которых программа должна использовать их. “о, что они были адекватны до сих пор дл€ работы программы, объ€сн€етс€, по большей части, относительной простотой сегодн€шних программ, чем возможност€ми порождени€ с использованием метода УшаблонаФ.

¬ отличие от таких "инженерных разработок", исследование порождени€ текстов на естественном €зыке, подобно другим област€м вычислительной лингвистики (qv), имеет своей целью компьютерное моделирование человеческой способности к порождению высказываний. ќсновное внимание при этом сосредотачиваетс€ на объ€снении двух ключевых вопросов: многосторонность и творческий потенциал. „то люди знают относительно их €зыка, какие процессы они при этом используют, что дает возможность им быть универсальным, измен€€ тексты в форме и акцентировании, чтобы покрыть огромный диапазон €зыковых ситуаций?

¬ этой статье описываетc€ исследование в области »» по порождению естественных €зыков, при этом особое внимание удел€етс€ конкретным проблемам, которые требуют разрешени€. —тать€ начинаетс€ с противопоставлени€ порождени€ пониманию, чтобы установить базисные пон€ти€ разложени€ процесса на компоненты. ƒалее привод€тс€ примеры, показывающие работу некоторых порождающих систем, их возможности и трудности, с которыми они сталкиваютс€.

¬ оставшейс€ части статьи рассматриваютс€ общие подходы к порождению речи, включа€ характерные описани€ порождающего словар€. ќтдельный раздел продолжает обзор альтернативных подходов к представлению и использованию грамматики.

’арактер процесса порождени€. ¬ отличие от организации процесса понимани€, который, на первый взгл€д, может следовать традиционным стади€м лингвистического анализа: морфологи€, синтаксис, семантика, прагматика /дискурс¶ процесс порождени€ имеет существенно отличный характер. Ётот факт следует непосредственно из присущих различий в информационном потоке в двух процессах. ѕонимание осуществл€етс€ от формы к содержанию; порождение есть совершенно противоположный процесс. ѕри понимании, формулировка текста (и, возможно, интонаци€) - "известны". »з формулировки процесс создает и выводит примерное содержание, переданное текстом и, веро€тно, усили€ми диктора в создании текста. ѕервым делом следует просмотреть слова текста последовательно, в течение чего форма текста постепенно разворачиваетс€. √лавные проблемы вызваны неоднозначностью¶ одна форма может содержать диапазон альтернативных значений, и аудитори€ получает большее количество информации из ситуационных заключений, чем это может быть фактически передано текстом.  роме того, несоответстви€ у диктора и аудитории модели ситуации ведут к непредсказуемым заключени€м.

ѕорождение имеет противоположный информационный поток. ќно переходит от содержани€ к форме, от целей и перспектив к линейно упор€доченным словам и синтаксическим маркерам. ћодель ситуации и дискурс обеспечивают основу дл€ создани€ выбора среди альтернативных формулировок и конструкций, которые производит €зык: первое в построении заранее обдуманного текста. Ѕольшинство систем порождени€ производит поверхностные тексты последовательно слева направо, но только прин€в решение сверху-вниз по содержанию и форме текста в целом. ѕроблема генератора состоит в том, чтобы выбрать из поставленных источников, как правильно сообщить о желаемых умозаключени€х аудитории и какую информацию опустить из €вного упоминани€ в тексте.

ћожно вообразить, что процесс порождение также организован, как и процесс понимани€, только в противоположном пор€дке.   некотором смысле это верно: идентификаци€ намерени€ (цели) в значительной степени предшествует любой детализации информаци€, котора€ предназначаетс€ дл€ аудитории: планирование риторической структуры, например, в значительной степени, предшествует любой синтаксической структуре, а синтаксический контекст слова должен быть зафиксирован, прежде чем будут известны морфологическа€ и суперсегментна€ формы, которые примет слово.

—интаксис и словарь €зыка становитс€ как ресурсами, так и ограничени€ми, определ€€ элементы, доступные дл€ создани€ текста, а также зависимости между ними, которые определ€ют возможные правильные комбинации. Ёти зависимости, и тот факт, что они по умолчанию управл€ют, когда информаци€, от которой зависит каждое решение, становитс€ доступной, - основна€ причина, почему программы порождени€ в значительной степени следуют стандартным стади€м, определенными лингвистами. »дентификаци€ цели предшествует выбору содержани€ и риторическому планированию, которое предшествует синтаксической конструкции, только потому что это - естественный пор€док прин€ти€ решени€; проще следовать потоку зависимостей, чем перепрыгивать и принимать случайное решение, которое может оказатьс€ преждевременным и несосто€тельным. —егодн€шнее исследование сосредоточено как на понимании, как лучше представить решени€, которые €вл€ютс€ возможными, и зависимости среди них, так и на том, как представить ограничени€ и возможности раньше решений, которые встанут на место последних во врем€ процесса порождени€.

—тандартные  омпоненты и “ерминологи€.  омпоненты порождени€ естественного €зыка не существуют сами по себе. ќни расположены внутри человеко-машинного интерфейса, который также используют и компоненты понимани€ естественного €зыка, - ¬¬ќƒ в систему. ¬ хорошем человеко-машинном интерфейсе сегодн€ также хотелось бы видеть координированную графическую поддержку ввода и вывода, дополн€€ систему ¬¬ќƒа-¬џ¬ќƒа естественного €зыка. »нтерфейс может закончитьс€ здесь, а может также включать в себ€ другие общедоступные компоненты, типа контроллера дискурса, который указывает генератору, какие действи€ нужно предприн€ть, а также координирует интерпретации, сделанные компонентом понимани€. «а интерфейсом следует нелингвистическое рассуждение (qv) или программа базы данных, которую пользователи используют в качестве речевого интерфейса. Ёта программа будет упоминатьс€ в этой статье как основна€ программа; ею может оказатьс€ люба€ система »»: совместна€ база данных, экспертна€ диагностическа€ система, ICAI обучающа€ программа, комментатор, программа-консультант, машинный переводчик. “ип основной программы теперь не имеет никакого значени€ дл€ самой порождающей системы (генератора естественного €зыка).

—егодн€ большинство исследователей в этой области работает, в основном, с экспертными системами, где процесс общени€ контролируетс€ программой, а не пользователем.  роме того, Ё— и интеллектуальные машинные обучающие программы, веро€тно, способны понимать довольно сложные тексты, что делает их привлекательными дл€ специалистов, готовых работать с уже разработанными системами.

ѕроцесс порождени€ начинаетс€ внутри основной программы, в случае, когда, например, необходимо ответить на вопрос пользовател€; или во врем€ беседы может возникнуть потребность прервать действи€ пользовател€, чтобы указать надвигающуюс€ проблему.  ак только процесс инициализирован, три вида действий должны быть выполнены:

1. »дентификаци€ целей высказывани€,

2. ѕланирование, как эти цели могут быть достигнуты, включа€ оценку ситуации и доступных коммуникативных ресурсов,

3. –еализаци€ планов в текст.

÷ели должны обычно передавать некоторую информацию аудитории или побуждать их к действи€м или рассуждени€м. —оциальные и психологические, а также практические мотивы, побуждающие человека к общению, естественно, неприменимы дл€ сегодн€шних компьютерных программ. ѕланирование включает в себ€ отбор (преднамеренное вычеркивание) информационных модулей, которые по€вл€ютс€ в тексте (например, концепции, отношени€, индивидуальность).

–еализаци€ зависит от знани€ грамматики €зыка и правил св€зности дискурса, и дает синтаксическое описание текста как промежуточное представление. ѕри этом выдел€етс€ не только лингвистическа€ форма, но также знание относительно критериев, которые показывают, как используютс€ эти формы. ¬ многих исследовани€х процесс, который проводит грамматическую реализацию, называетс€ лингвистическим компонентом(10), а иногда планирование и вместе с процессом идентификации цели называетс€ стратегическим компонентом (13). ќбычно это - только лингвистический компонент, который имеет любое пр€мое знание относительно грамматики производимого €зыка.  акую форму эта грамматика принимает - один из самых больших различий среди проектов порождени€.

“радиционно дл€ лингвиста, грамматика - кост€к в отрезке утверждени€/ высказывани€. —одержание утверждений - специфические факты данного естественного €зыка - не представл€ет такого интереса дл€ лингвиста.

јналогична€ ситуаци€ с порождением текстов, за исключением того, что запись - процедурна€ и декларативна€ - разработана, чтобы обеспечивать очень специфическую функцию, с которой традиционный лингвист не сталкиваетс€, а именно: вести и сдерживать процесс порождени€ текста со специфическим содержанием и цел€ми в присутствии специфической аудитории. √рамматика теперь ответственна за наличие выбора, который €зык предоставл€ет дл€ формы и словар€. »сследователи порождени€ должны сделать верный выбор, чтобы, использу€ функции различных конструкций дл€ достижени€ конкретной цели. ƒруга€ функци€ грамматики - следить за грамматичностью текста, т. е. определение зависимостей и ограничива€ решени€.

“ехнический уровень

–азноплановое развитие и творческий потенциал в порождении текстов €вл€етс€ возможным при следующих услови€х:

1. √енератор включает в себ€ весь объем основной грамматики;

2. ќсновна€ программа имеет сложное, разносторонее, концептуальное представление(вид);

3. “екстовый планировщик может использовать модели аудитории и дискурса.

  сожалению, такие генераторы - все еще только предмет исследовани€ сегодн€, т. к. техническа€ сторона остаетс€ на уровне программы SHRDLU ¬инограда в 1970 (17), котора€ порождала предложени€ в процессе ответа на вопросы, система Унепосредственной заменыФ, порождающа€ простые грамматические глагольные корректировки в цел€х достижени€ удобочитаемого текста.

When did you pick up [the green pyramid]?

While I was stacking up yhe red cube, a large red block, and a large green cube.

  концу 1970-ых такие системы стали достаточно попул€рны в работе Ё—: дл€ перевода многочисленных правил в этих системах. Ќеобходимость программ порождени€ текстов в системах с составной структурой и коммуникативным контекстом была очевидной.

»сследователи заинтересованы в более сложных текстах, нежели в контекстно-свободных представлени€х, которые требуютс€ правилами системы. ¬ качестве примера приводитс€ простое описание из программы —игурда, чь€ цель была вы€снить, как в помощью интонации вы€вл€етс€ группировка:

The submarine is to the south of the port. It is approaching the port, but is not close to it. The destroyer is approaching the port too.

»спользование слов-ссылок УbutФ УtooФ €вл€етс€ большим прогрессом в структурировании системы. ѕредложение, которое €вл€етс€ источником в базе данных Ё— , рассуждающее о субмаринах и эсминцах, не будет обрамлено концептуальными эквивалентами таких функциональных слов, и может быть прочтено простым шаблоном, потому что ссылки специфичны и могут быть употреблены только в отдельном конкретном случае.

≈ще одна техническа€, пока не разрешенна€, проблема - Упоследующа€ ссылкаФ.  акими должны быть слова-заменители, если предмет по€вл€етс€ больше, чем один раз в тексте? ѕосто€нное употребление местоимений может привести к неоднозначности. ¬ качестве примера приводитс€ отрывок из исследований √ранвилле, который классифицирует отношени€ между референтом и предметом и разрабатывает правила, по которым бы могли строитьс€ последующие ссылки.

Pogo cares for Hepzibah. Churchy likes her, too. Pogo gives a rose to her, which pleases her. She does not want Churchy's rose. He is jealous. He punches Pogo. He gives a rose to Hebzibah. The petals drop off. This upsets her. She cries.

Ќеудивительно, что у исследователей, разрабатывающих основную программу, генераторы обладают наибольшей эффективностью, что дает уверенность в том, что имеетс€ концептуальна€ основа дл€ группировани€ отдельных предложений/ утверждений в тексте. ¬ажным моментом на этом этапе €вл€етс€ программа PROTEUS, разработанна€ ƒэйви в 1974. ѕрограмма дает описание игры крестики-нолики и считаетс€ одной из программ, наиболее свободно владеющей естественным €зыком. PROTEUS имеет модель толковани€ конкретных шагов: нападение, встречное нападение, включает в себ€ риторический принцип, что в текст нужно помещать только наиболее существенную информацию в ситуации. √рамматика и средства реализации выбирают описанные и сгруппированные шаги, исправл€ют формы, так чтобы они были грамматичны в английских предложени€х, и порождают собственно текст.

—ледует упом€нуть и программу ERMA  липпенгера (1974)- единственна€ программа на тот момент, работающа€ со спонтанной речью.  ак люди размышл€ют о том, что они говор€т, как они динамически планируют или мен€ют свои намерени€ относительно того, что они хот€т сказать в разговоре? ¬ цел€х моделировани€ этого процесса,  липпенгер анализировал стенограмму речи пациента по психоанализу с тем, чтобы пон€ть рассуждени€ пациента, дающие объ€снение одному из параграфов стенограммы, который ERMA могла подробно воспроизвести.  липпенгер разработал структуру из п€ти основных взаимосв€занных компонентов, участвующих в порождении спонтанного текста. Ќо дл€ компьютерного программировани€ в 1974 реализовать этот план было не под силу, вследствие чего проект был оставлен.

»сторический обзор проблемы. ѕо сути дела, программы PROTEUS ƒэйви и ERMA  липпенгера €вл€ютс€ самыми старшими в этой области. ¬о-первых, потому что до начала 80-ых сравнительно мало людей работало над проблемой порождени€ , во-вторых, сама проблема достаточно сложна, по мнению авторов статьи, намного сложнее проблемы понимани€ речи. Ќа самом деле, проблемой серьезно занимались в начале 1970-ых. Ќо справедливо отметить, что на важной конференции по данной проблеме в 1975г представленные отчеты о проделанной работе не нашли должного отклика, после чего исследовани€ по порождению естественного €зыка были почти приостановлены до начала 1980-ых.

ƒо 80-ых специалисты в области »» склонны были считать проблему порождени€ достаточно легкой. ¬ самом деле, разве трудно вз€ть к-л утверждение из некоторого речевого фрагмента, св€зать его с определени€ми, хран€щимис€ отдельно, и произвести, например, следующее УThe big black block supports a green oneФ. Ёто было под силу SHRDLU ¬инограда уже в 1970г. ≈сли бы можно было ограничитьс€ этими знани€ми, то, на самом деле, не возникало бы проблем. Ќо вариативность €зыка не давала такой возможности.  аким образом человек представл€ет грамматические знани€, которые позвол€ют генератору использовать синтаксическую структуру предложени€ в цел€х cоздани€ соответствующего относительного предложени€ (Уthe green block that's supported by the big red oneФ, Уa green oneФ, а не Уa green blockФ), а также вообще иметь представление о возможности таких относительных предложений и подобных замен.

ќбщие подходы к проблеме. “рудно идентифицировать общие элементы в различных проектах исследовани€ по порождению естественного €зыка. Ќапротив, в исследовани€х по пониманию речи можно выделить несколько основных подходов к проблеме: использование расширенных сетей переходов, семантические грамматики (qv), рабочие системы, основанные на представлении концептуальной зависимости, процедурна€ семантика и многое другое. »сследование порождени€ не может дать подобной классификации, поскольку очень мало специалистов ставили эту проблему во главу угла. Ѕольшие исследовательские группы, полностью сконцентрировавшиес€ на вопросе порождени€ естественного €зыка, начали создаватьс€ в последние два года. ќсновна€ проблема состоит в отсутствии общего отправного пункта, конкретной основы дл€ сравнени€, что осложн€ет работу, не дает возможности дл€ взаимопомощи между исследовател€ми: практически невозможно проверить свои эксперименты на системе другого разработчика. ќднако имеютс€ общие нити, св€зывающие различные проекты: похожие подходы, похожие представлени€, похожие грамматики.

—уществует два вопроса, представл€ющих общий интерес. ѕервый вопрос: как сопоставить многообразие форм в естественных €зыках, чтобы разработать их функциональное использование, ответить на вопрос, почему человек использует одну форму, а не другую, а далее формализовать этот процесс.

¬торой вопрос - это контроль над процессом порождени€. „то определ€ет выбор говор€щего в данной €зыковой ситуации?  ак человек организовывает и представл€ет промежуточные результаты?  акими знани€ми о зависимост€х между вариантами выбора должна обладать система?  ак представлены эти зависимости и как они могут вли€ть на алгоритмы управлени€? ќтветы на поставленные вопросы будут рассмотрены в этой статье.

 онтроль над постепенной обработкой сообщени€. —реди порождающих систем, которые были специально построены дл€ работы в основных системах, преобладающий подход контрол€ состоит в обработке сообщений как определенного вида программ. Ёти "сообщени€" не просто выражени€, чьи контекст и форма изоморфны по отношению к конечному тексту. У—ообщени€Ф могут быть закодированы на компьютерном €зыке. »х нельз€ просто перевести.  онечно, при самой простой обработке порождени€, перевода было бы достаточно (как почти во всех существующих Ё—), но в обработке, котора€ сосредоточена на порождении текстов на естественном €зыке, отношени€ и содержание в сообщении лучше всего просматриваютс€ в виде команд дл€ достижени€ определенного эффекта лингвистическими средствами. ќценка происходит при постепенной обработке от внешних команд к внутренним. Ёта методика контрол€ естественна дл€ разработчиков систем, так как она имитирует стиль €зыков программировани€, которые они используют.

Ќаиболее общие сообщени€ сегодн€ не создаютс€ планировщиком, а €вл€ютс€ просто структурами данных, которые извлекаютс€ из основной программы и которым генератор дает особую интерпретацию. ѕодобна€ практика распространена в программах, которым необходимо объ€сн€ть свои рассуждени€, заключенные в доказательстве дедуктивным методом исчислени€ предиката. Ќиже приводитс€ такого рода доказательство.

Ќа входе

Line 1: premis

Exists(x) [barber(x) and

Forall(y)..shaves(x,y) iff not.shaves(y,y)l

Line 2: existential instantiation (1)

barber(g)and Forall(y)..shaves(g,y) iff not.shaves(y,y)

Line 3: conjunction reduction (2)

Forall (y)..shaves(g,y) iff not.shaves(y,y)

Line 4: universal instantiation (3)

shaves(g,g) iff not.shaves(g,g)

Line 5: tautology (4)

shaves(g,g) and not.shaves(g,g)

Line 6: conditionalization (5,1)

(Exists(x) [barber(x) and

Forall(y)..shaves (x,y) iff not.shaves(y,y)]

implies (shave(g,g) and not.shaves(g,g))

Line 7: reductio-ad-absurdum (6)

not(Exists(x) barber(x) and

Forall(y)..shaves (x,y)

iff not.shaves(y,y))

Ќа выходе

Assume that there is some barber who shaves everyone who doesn't shave himself (and no one else). Call him Giuseppe. Now, anyone who doesn't shave himself would be shaved by Giuseppe. This would include Guiseppe himself. That is, he would shave himself, if and only if he did not shave himself, which is a conradiction. Therefore it is false, there is no such barber.

ћодель дает объ€снение действи€м автора доказательства в выборе, какое правило примен€ть, например, что цель правой части услови€ в первой строке наложить ограничение на переменную Y ("...  то не бреет себ€ "). Ёто дает право воспринимать доказательство особым образом. Ёти действи€, однако, нигде в доказательстве (которое было единственным входом в программу) не по€вл€етс€. ќни только предполагаютс€ и, таким образом, имеют силу только дл€ нескольких примеров доказательств, произведенных естественным дедуктивным методом.

Ќедостаток информации в сообщени€х основной программы - посто€нна€ проблема в работе с порождением текстов. —пециалисты по вычислительной лингвистике вынуждены вчитыватьс€ в структуры данных основных программ, потому что последние уже не включают те виды риторических команд, которые необходимы генератору, если следовать синтаксическим конструкци€м €зыка, которые использует человек. Ѕез УдополнительнойФ информации св€зность произносимого - особенно дл€ длинных текстов - будет зависеть от того, насколько непротиворечиво и полно авторы основных программ представили информацию: каждый раз, когда генератор встречает к-л символ, ему ничего не остаетс€ как обрабатывать его как "посылку" или как условие одним и тем же способом, если он встречает их в одинаковом контексте. ≈сли поддерживаетс€ непротиворечивость, проектировщик может восполн€ть неточности, усовершенству€ структуры данных, как только они оказываютс€ внутри лингвистического компонента.

—редства, направленные на достижение беглости и преднамеренной детализации формы, объ€сн€ют использование фразовых словарей и промежуточного лингвистического представлени€. ѕростой пример показывает, почему это необходимо. –ассмотрим логическую формулу, которую программа обычно использовала бы внутренне. ¬ этом примере обработка проводитс€ тем же методом, что описан выше. ѕример представл€ет из себ€ наиболее общий вид сообщени€: выражение пр€мо из модели основной программы (система доказательства естественным дедуктивным методом), которому теперь даетс€ особа€ интерпретаци€, так как это выражение служит дл€ анализа текста.

(exists x

(and barber(x)

(forall y

(if-and-only-if shaves(x,y)

(not shaves(y, y) )))))

¬ этой формуле генератор одновременно сопоставл€етс€ с выбором реализации. ƒолжно ли навешивание кванторов выражатьс€ буквально ("—уществует такой X, что ..."), или должно быть свернутым внутри основной части как определ€юща€ информаци€ относительно реализации переменных ("...some barberФ)? ƒолжно ли условие if-and-only-if реализовыватьс€ буквально как конъюнкци€ подчинени€ или может быть интерпретировано как ограничение диапазона переменной? ”тверждение типа barber(x), по-видимому, всегда должно декодироватьс€ и преобразовыватьс€ в детальное описание переменной. ќстальное реализуетс€ независимым образом, однако, после тщательного обдумывани€.

ќбъекты, которые заполн€ют "мозг" основной программы, в данном случае - логические св€зки, предикаты, и переменные, полностью св€заны со словами и грамматическими конструкци€ми, которые подлежат обработке "специальными процедурами/ процедурами знаний" поддерживаемыми внутри генератора. Ёти процедуры - эквивалент словар€ в понимающей системе. —пециалисты стро€т фразу дл€ понимани€, использу€ лексическую информацию, св€занную непосредственно с индивидуальными логическими объектами.  аждый объект обычно ассоциируетс€ с к-л лексическими единицами: константа может иметь им€; предикат может иметь прилагательное или глагол. —пециалист помещает их во фразовый контекст, который будет дополнен рекурсивной прикладной программой других специалистов, например, двуместный предикат "shaves(x,y)" становитс€ шаблоном предложени€ "x shaves y."

“аким образом, лингвистические шаблоны обеспечивают упор€доченную реализацию параметров, что поддерживает эффективное функционирование с наименьшим количеством блокирований, ускор€€ процесс порождени€ в целом, избега€ необходимость "резервировать" преждевременные решени€, которые могут оказатьс€ несовместимыми с грамматическим контекстом, определенным более высоким шаблоном.

Ћексический ¬ыбор. Ќекоторые подходы к машинному пониманию основываютс€ на небольшом наборе базисных элементов (qv) и, формулируют знани€ программы в виде набора выражений к базисным элементам, что упрощает работу программы: становитс€ легче выводить умозаключени€, потому что при помощи базисных элементов они распредел€ютс€ в естественные группы. ќднако, сведение диапазона человеческих действий к определенному набору, например, лишь к 13 концептуальным базисным элементам, означает, что специфика значений распредел€етс€ в выражени€х и извлекаетс€ оттуда каждый раз, если во врем€ порождени€ необходимо использовать глаголы со специфическим значением. √олдман первый провел исследовани€ по использованию сетей распознавани€. ќн показал, как производитс€ выбор слова, в отрыве от основных базисных элементов. Ќапример, из базисного элемента действи€ "глотать" можно получить глаголы "пить", "есть", "вдыхать", "дышать", "курить", или "проглотить", как бы провер€€ при этом, был ли проглоченный объект жидкостью или дымом.

ѕроект сети распознавани€ заставл€ет исследовател€ порождени€ выходить за рамки основных различий типов объектов и включать контекстные факторы, напр., эмоциональные рассуждени€ говор€щего. Ќиже - выборка из работы ’ови, цель которой состо€ла в том, чтобы сместить текст, чтобы подчеркнуть желаемую точку зрени€ (в данном случае сообщить в февральских первичных выборах так, чтобы результаты понравились  артеру, даже если он проиграл.

Kennedy only got a small number of delegates in the elections on 20 February. Cater just lost by a small number of votes. He has several delegates more than Kennedy in total.

‘разовые словари.  акое слово ассоциируетс€ с простыми пон€ти€ми, типа "парикмахер" или "брить", €вл€етс€ очевидным; однако, дл€ объектов в комплексных основных программах, лексический выбор может оказатьс€ более проблематичным. ѕомощь в этой ситуации может оказать использование фразового словар€. Ёто пон€тие было введено в 1975 Ѕекером и с тех пор стало важным инструментом систем порождени€. — лингвистической точки зрени€, "фразовый" словарь - концептуальное расширение стандартного словар€, включающее все непроанализированные фразы, - на той же самой семантической основе, что и словарь отдельных слов. Ёто обеспечивает фиксацию незаконсервированных идиом и различных речевых способов, которые люди используют каждый день. “ак как люди используют эти " фиксированные фразы " как нерасчленимое целое, программы должны научитьс€ делать то же самое. ѕример ниже - из работы  укича.

Wall Street securities markets meandered upward through most of the motning, before being pushed downhill late in the day yesterday. The stock market closed out the day with a small loss and turned in mixed showing in moderate trading.

Ёто информационное объ€вление было вычислено непосредственно из анализа данных по поведению рынка в течение дн€.  ачественные моменты в сообщении были соединены непосредственно со стереотипными фразами подобного рода объ€влений: "a small loss", "a mixed showing", "in moderate trading". ќбъекты, действи€ и указатели времени были отображены непосредственно в соответствующих цепочках слов: "Wall Street securities markets", "meandered upward ", "be pushed downhill", "late in the day".  омпозиционный шаблон состоит из предложений, сформированных на основе S-V-Advp фразы: (рынок) (действие) (указатель времени).

ќбработка √рамматики

¬ изучении порождени€ выбор формализации представлени€ грамматики €зыка всегда св€зывалс€ с выбором протокола контрол€. »звестны три основных подхода к решению этого вопроса:

1. грамматика как независимый корпус предложений и фильтр к ним (например, объединенна€ функциональна€ грамматика);

2. использование грамматики с целью вы€влени€ всех возможных поверхностных структур, доступных дл€ €зыка; затем проведение выбора и реализации среди данных поверхностных структур (смысловые подходы);

3. грамматика как структура пересеченного графа, который контролирует весь процесс, как только создаетс€ план текста (план выражени€) (грамматика расширенных сетей переходов, а также систематическа€ грамматика).

¬ этой статье не оказываетс€ предпочтение ни одному из трех подходов. ќднако каждый из них будет рассмотрен в соответствие с поставленной задачей, котора€ мотивирует использование этих подходов.

ќбъединенна€ ‘ункциональна€ √рамматика (ќ‘√) в порождении.

ќбъединенна€ ‘ункциональна€ √рамматика была разработана  ейем, €вл€етс€ УреверсивнойФ грамматикой, т. е. может использоватьс€ как при порождении, так и при понимании речи.

“ермин "функциональный", по мнению разработчиков, говорит о том, что следует оттолкнутьс€ от описани€ структуры лингвистических форм, чтобы обратитьс€ к причинам, почему используетс€ €зык. ¬ отличие от систематических грамматик, функциональные элементы в ќ‘√ представл€ют к насто€щему времени лишь минимальное расширение стандартного категориального лингвистического словар€, используемого традиционно, чтобы описать синтаксическую форму (например, "clause", "noun phrase", "adjective"), и имеют много общего с "лексико-функциональной грамматикой", (сто€щей в той же парадигме грамматик).  лассическое функциональное значение, типа различие между "уже имеющейс€" и "новой" информацией в предложении, подобно различию между "темой" и "ремойФ, еще не включено в ќ‘√. ќ‘√ использует УtelegramФ грамматику, разработанную јппельтом, понимающий компонент, написанный Ѕосси.

ѕервый пример (из јппельта) описывает одну из составл€ющих ролей, которые сопровождают фразовую категорию, именную фразу.

ќ‘√ используют, чтобы изложить в детал€х минимальные, концептуально полученные функциональные описани€, например, что главным словом к-л именной фразы должно быть слово "отвертка". Ќедавн€€ работа ѕаттена использует систематическую грамматику в очень схожим образом. ќперации такого типа на семантическом уровне, выполн€емые в других подходах путем планировани€ уровн€, специалисты определ€ют как набор особенностей вывода внутри систематической грамматики, эквивалент начального функционального описани€, которое управл€ет ќ‘√. ќбратное и пр€мое формирование цепочки перемещаетс€ через систематическую грамматику, затем определ€ет, какие дополнительные лингвистические особенности должны быть добавлены к грамматической спецификации текста.

ќ‘√ используютс€ в процессе последовательных объединений, ограниченных правилами, которые след€т за тем, как два описани€ могут быть объединены.  лючева€ иде€ состоит в том, что планировщик первоначально создает минимальное описание фразы, что можно делать и стандартным способом. „тобы излагать в детал€х описание к пунктам, где это было бы грамматически верно, оно затем объедин€етс€ с грамматикой: описание фразы и спецификаци€ грамматики успешно объединены.  онкретизаци€ пон€тий прежде не определенных особенностей описани€ константами, снабженными грамматикой, вызывает эффект р€би во всей системе: решени€, которые завис€т от только что конкретизированных особенностей, провоцируют дальнейшее циклическое объединение, пока не будет сформулировано грамматически полное описание высказывани€.  роме того, элементы в описании планировщика побуждают к отбору среди дизъюнктивных спецификаций в грамматике. Ќапример, определение глагола приводит к выбору грамматической подклассификации.

ѕолное описание составл€ет дерево подописаний (составл€ющих) как определено "стандартом" (образцом), который предписывает последовательный пор€док на каждом уровне. ‘актически текст создаетс€ при просмотре этого дерева и чтении слов с лексическими особенност€ми каждой составл€ющей. ќграничени€ накладываютс€ в процессе объединени€: только совместимые частичные описани€ присутствуют в конечном результате. Ёто имеет большое значение, так как планировщику не нужно разбиратьс€ с грамматическими ограничени€ми и зависимост€ми, что, с другой стороны ограничивает его потенциал: он не может пользоватьс€ знани€ми по грамматическим ограничени€м, даже когда ему это понадобитс€.

— точки зрени€ разработки грамматики, ќ‘√ €вл€етс€ вполне удовлетворительной, так как данный подход позвол€ет компактно формулировать €зыковые факты, то есть необ€зательно расшифровывать взаимосв€зь между предложени€ми, так как это происходит автоматически во врем€ объединени€.

ѕр€мой  онтроль √рамматики при ѕонимании: —истематическа€ √рамматика и √рамматика –асширенных —етей ѕереходов (–—ѕ). –асширенна€ сеть переходов используетс€ в порождении почти с момента своего определени€. –—ѕ использовали сначала —иммонс и —локум в 1970, чью систему затем использовал √олдман. –—ѕ также примен€л Ўапиро, чей генератор, в этой группе, €вл€етс€ наиболее продуманным. ¬се системы имеют схожую структуру. ќни просматривают структуру данных, которую поддерживает основна€ программа. —ети поддерживают формат сверху-вниз, как обычно у всех –—ѕ-парсеров (синтаксических анализаторов). ƒл€ ранних –—ѕ подобна€ структура €вл€лась семантической сетью, основанной на теории фреймов с глаголом в центральной части (еще одна "функциональна€" лингвистическа€ система). —пециальный узел в сети, "вектор модальности", определ€ет информацию на корневом уровне, например, врем€ и вид; €вл€етс€ предложение активным или пассивным. ѕервична€ функци€ –—ѕ в ранних системах состо€ла в линейном упор€дочении сетевой структуры, котора€ была главным образом уже закодирована в лингвистическом словаре.

–—ѕ, по существу, представл€ет из себ€ процедурное кодирование порождающей грамматики. –егистры, которые дают сет€м "расширенное" вли€ние, используютс€ как представление грамматических отношений с глубинной структурой, и пути в сет€х кодируют все составные поверхностные альтернативные последовательности. ќграничени€ распростран€ютс€ по дереву сверху-вниз (то есть к рекурсивным подсет€м –—ѕ) через значени€ в обозначенных регистров, привод€ в действие подсети при контекстном управлении. ѕроект –—ѕ Ўапиро особенно впечатл€ет, поскольку его структура управлени€ данных занимает весь вычислительный режим основной программы.

ƒальнейший аспект проекта –—ѕ - тот факт, что средства создани€ слов текста €вл€ютс€ выполнением побочного эффекта по прохождению ребра графа, что приводит генератор к действию почти в тот момент, когда ситуаци€ воспринимаетс€. ќсобенно впечатл€ет то, что оценивает, что –—ѕ Ўапиро никогда не пользуетс€ резервированием. Ёто - совершенно необычное поведение дл€ –—ѕ, так как порождение €вл€етс€ в сущности процессом планировани€.

Ќаиболее значительной проблемой дл€ проектов –—ѕ - трудность выделени€ понимани€ из действи€. √енераторы, основанные на систематической грамматике, имеют дело с этой проблемой, непосредственно представл€€ срединную репрезентацию в форме набора характерных признаков, что позвол€ет спецификации текста постепенно накапливатьс€, предоставл€€ ограничени€м возможность распростран€тьс€ и вли€ть на более поздние решени€.

ƒве важных системы порождени€ были основаны на систематической грамматике: PROTEUS ƒэйви(обсуждали ранее) и NIGEL ћанна и ћаттхиссена. NIGEL - сама€ больша€ систематическа€ грамматика в мире и, очень веро€тно, одна из самых больших машинных грамматик любого сорта.

–ј—ѕќ«Ќј¬јЌ»≈ –≈„».

ѕо мере развити€ компьютерных систем становитс€ все более очевидным, что использование этих систем намного расширитс€, если станет возможным использование человеческой речи при работе непосредственно с компьютером, и в частности станет возможным управление машиной обычным голосом в реальном времени, а также ввод и вывод информации в виде обычной человеческой речи.

—уществующие технологии распознавани€ речи не имеют пока достаточных возможностей дл€ их широкого использовани€, но на данном этапе исследований проводитс€ интенсивный поиск возможностей употреблени€ коротких многозначных слов (процедур) дл€ облегчени€ понимани€. –аспознавание речи в насто€щее врем€ нашло реальное применение в жизни, пожалуй, только в тех случа€х, когда используемый словарь сокращен до 10 знаков, например при обработке номеров кредитных карт и прочих кодов доступа в базирующихс€ на компьютерах системах, обрабатывающих передаваемые по телефону данные. “ак что насущна€ задача - распознавание по крайней мере 20 тыс€ч слов естественного €зыка - остаетс€ пока недостижимой. Ёти возможности пока недоступны дл€ широкого коммерческого использовани€. ќднако р€д компаний своими силами пытаетс€ использовать уже существующие в данной области науки знани€.

ƒл€ успешного распознавани€ речи следует решить следующие задачи:

обработку словар€ (фонемный состав),

обработку синтаксиса,

сокращение речи (включа€ возможное использование жестких сценариев),

выбор диктора (включа€ возраст, пол, родной €зык и диалект),

тренировку дикторов,

выбор особенного вида микрофона (принима€ во внимание направленность и местоположение микрофона),

услови€ работы системы и получени€ результата с указанием ошибок.

—уществующие сегодн€ системы распознавани€ речи основываютс€ на сборе всей доступной (порой даже избыточной) информации, необходимой дл€ распознавани€ слов. »сследователи считают, что таким образом задача распознавани€ образца речи, основанна€ на качестве сигнала, подверженного изменени€м, будет достаточной дл€ распознавани, но тем неменее в насто€щее врем€ даже при распознавании небольших сообщений нормальной речи, пока невозможно после получени€ разнообразных реальных сигналов осуществить пр€мую трансформацию в лингвистические символы, что €вл€етс€ желаемым результатом.

¬место этого проводитс€ процесс, первым шагом которого €вл€етс€ первоначальное трансформирование вводимой информации дл€ сокращени€ обрабатываемого объема так, чтобы ее можно было бы подвергнуть компьютерному анализу. ѕримером €вл€етс€ "техника сопоставлени€ отрезков", позвол€юща€ сократить вводимую информацию с 50'000 до 800 битов в секунду. —ледующим этапом €вл€етс€ спектральное представление речи, получившеес€ путем преобразовани€ ‘урье. –езультат преобразовани€ ‘урье позвол€ет не только сжать информацию, но и дает возможность сконцентрироватьс€ на важных аспектах речи, которые интенсивно изучались в сфере экспериментальной фонетики. ѕример такого представлени€ см на рис. —пектральное представление достигнуто путем использовани€ широко-частотного анализа записи.

’от€ спектральное представление речи очень полезно, необходимо помнить, что изучаемый сигнал весьма разнообразен. –азнообразие возникает по многим причинам, включа€:

различи€ человеческих голосов;

уровень речи говор€щего;

вариации в произношении;

нормальное варьирование движени€ артикул€торов (€зыка, губ, челюсти, нЄба).

ƒл€ устранени€ негативного эффекта вли€ни€ варьировани€ голосового тракта на процесс распознавани€ речи было использовано множество методов. ѕервым делом рассматривалась характеристика пространства траектории артикул€торных органов, включа€ гласные, используемые говор€щим. Ќаиболее удачные формы трансформации, использованной дл€ сокращени€ различий, были впервые представлены —ако€ & „ибо и назывались динамичными искажени€ми (dynamic time warping). “ехника динамичного искажени€ используетс€ дл€ временного выт€гивани€ и сокращени€ рассто€ни€ между искаженным спектральным представлением и шаблоном дл€ говор€щего. »спользование данной техники дало улучшении точного распознавани€ (~20-30%). ћетод динамичного искажени€ используют практически все коммерчески доступные системы распознавани€, показывающие высокую точность сообщени€ при использовании. “ехника динамичного искажени€ представлена на рис.2. ¬начале сигнал преобразовываетс€ в спектральное представление, где определ€етс€ немногочисленный, но высокоинформативный набор параметров. «атем определ€ютс€ конечные выходные параметры дл€ варьировани€ голоса(следует отметить, что данна€ задача не €вл€етс€ тривиальной) и производитс€ нормализаци€ дл€ составлени€ шкалы параметров, а также дл€ определени€ ситуационного уровн€ речи. ¬ышеописанные измененные параметры используютс€ затем дл€ создани€ шаблона. Ўаблон включаетс€ в словарь, который характеризует произнесение звуков при передаче информации говор€щим, использующим эту систему. ƒалее в процессе распознавани€ новых речевых образцов (уже подвергшихс€ нормализации и получивших свои параметры), эти образцы сравниваютс€ с шаблонами, уже имеющимис€ в словаре, использу€ динамичное искажение и похожие метрические измерени€. ¬ насто€щее врем€ этот метод изучаетс€ и дополн€етс€.

ќчевидно, что спектральное представление речи позвол€ет характеризовать особенности голосового тракта человека и способ использовани€ его говор€щим. —амый обычный способ моделировани€ специфических эффектов "модель-источник" - использование фильтров. –ечевой аппарат моделируетс€ с использованием источников, вызывающих резонанс, ведущий к пиковым точкам интенсивности звука в соседстве с отдельными частотами, называемыми формантами. ѕри произнесении звуков вибраци€ голосовых св€зок €вл€етс€ источником возбуждени€, и эти короткие импульсы вызывают резонанс между голосовыми св€зками и губами. “ак как €зык, челюсть, губы, зубы и альвеол€рный аппарат двигаютс€, размер и место этих резонансов мен€ютс€, дава€ возможность воспроизведени€ особых параметров звуков.

¬озможно построить очень точную модель, также пр€мо смоделировать движени€ артикул€торов физиологически реальным путем. »спользование этих моделей привели к пониманию пути, в котором происходит речевой сигнал. Ќо так как наблюдение над артикул€торами затруднено, остаютс€ недостатки. ’от€ природа вокального тракта очень сильно вли€ет на выходной сигнал речи, это не единственное ограничение, которое необходимо принимать во внимание, так как контроль над мускулами звукового тракта обусловлен сигналами моторного кортэкса мозга. ¬озможно все аспекты вли€ни€ акустической структуры контролируют сигналы и форму звукового выхода речи (хот€ это не может быть доказано с систематической точки зрени€).

јспекты вли€ни€ акустической структуры включает в себ€:

природу сегментов индивидуального звука (гласные/согласные),

структуру слога,

структуру морфем (приставки, корни, суффиксы),

лексикон,

уровень синтаксиса фраз и предложений и

долгосрочные ограничени€ речи (long-term discourse constraints) .

Ќиже рассматриваетс€ вли€ние ограничений и способ их воздействи€ производство сигнала речи. Ќеобходимо также прин€ть во внимание тот факт, что человеческий аппарат воспри€ти€ также должен быть смоделирован, он сам по себе накладывает на процесс воспри€ти€ дополнительные ограничени€. Ќедавно процесс воспри€ти€ был изучен с помощью метода сигнального подавлени€ барабанных перепонок через возбуждение нервных клеток, которые образовывают примерно 30 тыс€ч нервных окончаний слухового нерва. Ќо изучение нервных окончаний способно только про€снить формирование простых синтетических гласных. ѕеред исследовател€ми встало новое главное направление в области изучени€ воспроизводства речи, св€занное с интеграцией всей физиологии воспри€ти€ человека. ¬ насто€щий момент по€вл€ютс€ некоторые модели €влений, происход€щих в ухе, и не без оснований можно ожидать дальнейшего улучшени€ понимани€ процесса распознавани€ речи из-за более полного понимани€ характеристик этого вли€ни€.

„то касаетс€ уровн€ артикул€торного контрол€, первым уровнем €вл€етс€ индивидуальный фонетический сегмент, иначе говор€, - фонема. ¬о многих естественных €зыках их примерно 40. Ќо их набор существенно различатетс€. ѕоэтому, например, английские гласные могут быть носовыми, даже ненамеренно, в то врем€ как во французском носализаци€ гласных €вл€етс€ фонетическим контрастом, и поэтому вли€ют на значение произносимого. ¬о французском €зыке носова€ коартикул€ци€ доминирует в гласных и существенно вли€ет на воспри€тие фонем и следовательно на главный смысл значени€. ’от€ все говор€щие имеют одинаковый голосовой аппарат, использование его разное. “ак например, использование кончика €зыка или прищелкивание, как в некоторых африканских €зыках. ясно, что природа артикул€ционных движений имеет сильное вли€ние на метод воспроизведени€ речи. Ёти ограничени€ всегда активно используютс€ в практических системах.

Ќа следующем уровне лингвистической структуры фонетические сегменты сгруппированы в согласные/гласные, а следовательно и в слоги. ƒалее, в зависимости от роли фонетического сегмента внутри этих слогов их реализаци€ может быть сильно изменена. “ак например, начальный согласный в слоге может быть реализован как абсолютно отличный от конечной позиции. —огласные очень крепко св€зываютс€ между собой, что оп€ть же вли€ет на последующие ограничени€. Ќапример, в английском если начальна€ группа согласных состоит из трех фонем, перва€ фонема должна быть /s/, следующей фонемой должен быть непроизносимый согласный, третьей или /r/ или /l/, как например, в слове /scrape/ или /split/. √овор€щие на родном €зыке избегают этих ограничений или могут активно их использовать во врем€ процесса воспри€ти€. »з выше приведенных примеров очевидно, что хот€ и существуют сильные ограничени€, вли€ющие на слушател€, но их сила не €вл€етс€ решающей во врем€ произнесени€ речи. “о есть любое моделирование процесса воспри€ти€ может быть активным и может оказать большую помощь в понимании главного смысла.

ƒругой пример, показывающий необходимость применени€ сфокусированного поиска, может быть представлен в воспри€тии конечного согласного. —реди многих ключевых слов дл€ распознавани€ конечного согласного существует спектральна€ природа шума, воспроизводимого при освобождении конечной перемычки и перехода резонанса второй форманты в гласный, следующий за этой перемычкой. ћногие исследователи изучали эти вли€ни€, и результаты их исследований показали, что ограничивающее вли€ние обоих вышеописанных характеристик на воспри€тие варьируетс€ природой следующего гласного, и следовательно, мощна€ стратеги€ распознавани€ должна иметь некоторые знани€ о твердой позиции гласного перед конечным согласным перед тем, как будет сделано само распознавание конечного согласного.  онечные согласные дают €ркий пример весьма интересного комплекса фонетики, используемого дл€ лингвистической окраски. Ќапример, при рассмотрении слов rapid и rabid обнаруживаетс€ 16 фонетический различий.

 роме сегментного и слогового уровней существуют ограниченные вли€ни€ из-за структуры морфем, которые €вл€ютс€ минимальными синтаксическими единицами €зыка. ќни включают в себ€ приставки, корни, суффиксы. ћожно себе представить, что это синтаксис на слоговом и на морфемном уровн€х, также как и нормально распознанный синтаксис, характеризующийс€ способом, в котором английские слова объедин€ютс€ во фразы и предложени€. ¬озможно представить данные ограничени€ как последстви€ рассмотрени€ грамматики вне контекста. ¬ этом виде ограничений много УшумныхФ вариаций сегментов речи, которые так же относ€тс€ и к иерархическим синтаксическим ограничени€м.

ƒополнительные ограничени€ на природе входа новой лексики в €зык могут €вл€тьс€ уровнем слова. ћногие исследовани€ обнаружили, что характеристика слов при введении разбиени€ на 5 жестких классов фонетических сегментов может быть сокращена до минимума, часто име€ единственное в своем роде распознавание. ƒалее слишком усиливаетс€ эффект пор€дка двух букв и фонетических сегментов с тех пор как в изучении английских и французских словарей было обнаружено, что более 90% слов имели единственное значение и только 0,5% имели 2 и больше альтернатив. Ќа фонемном уровне было обнаружено, что все слова в английском словаре из 20 тыс€ч слов имели одно значение из-за беспор€дочных фонемных пар. Ётот пример помогает показать, что все еще существует ограничивающее вли€ние на лексическом уровне, которое еще не определено в современных системах распознавани€ речи. ≈стественно, что исследовани€ в этой области продолжаютс€.

 роме уровн€ слов синтаксис имеет дополнительное ограничительное вли€ние. ≈го вли€ние на последовательный пор€док слов часто характеризуетс€ в системах фактором, который в свою очередь характеризует количество возможных слов, которые могут следовать за предыдущим словом в процессе произнесени€. —интаксис также имеет ограничительные вли€ни€ на просодические элементы, такие как ударение, например в случае, когда ударение слов в incline и survey варьируетс€ в зависимости от части речи. ¬озможно дл€ того, чтобы охарактеризовать ударение в слове, нужно прин€ть во внимание не только индивидуальное слово, но вышеприведенные дополнительные ограничени€ синтаксиса.

ƒалее, кроме синтаксического уровн€ ограничени€ доминируют над семантикой, прагматикой и речью, что плохо осознаетс€ людьми, однако имеет очень важное значение дл€ процесса распознавани€.

Ќесмотр€ на сложность описани€ характеристик источников различных ограничений, немаловажную роль играют современные системы вли€ни€, которые представлены всеми возможными вариантами произнесени€ звуков. Ќапример, система HARPI университета —arnegie-Mellon University €вл€етс€ системой, в которой звуковоспроизведение описываетс€ как путь через комплексную сеть. ¬ этом способе ограничени€ структуры слога, слова и синтаксиса св€заны одной структурой. —труктура контрол€, используема€ дл€ поиска, €вл€етс€ адаптацией динамичной программной техники. Ѕолее сильный подход был предложен модел€ми использовани€ цепей ћаркова. Ёти модели использовались как едина€ структура, где возможности могут быть точно изучены экспериментальным путем. «акодированные представлени€ спектральной трансформации воспроизводства речи используютс€ дл€ нахождени€ самого правильного пути через сеть, и недавно были получены очень хорошие результаты. ќчень важно подчеркнуть использование такого формально- структурного подхода, который способствует автоматичному определению классов символов через структурирование и параметризацию.

ѕри другом подходе базы данных и св€занные с ними процессы обработки используютс€ структурой контрол€. Ётот подход был изучен системой HEARSAJ 2, котора€ была разработана в институте —arnegie-Mellon University, и системой HWIM (hear what I mean). ¬ этих системах комплексна€ структура данных, котора€ содержит всю информацию о воспроизведении звуков, изучаетс€ с точки зрени€ конкретных ограничений. Ќо как выше указано, каждое из этих ограничений имеет особую внутреннюю модель, и полный анализ не может быть произведен. ƒл€ проведени€ анализа в целом структура данных должна иметь взаимодействие между разными процессами, а также средства дл€ интеграции. Ќесмотр€ на то, что структура включает в себ€ несколько весьма различных источников знаний и ее вклад в понимание речи очень общий, она также имеет большое количество степеней свободы, которые могут быть использованы дл€ тщательного системного воспроизведени€. ¬ отличие от этого, техника, основанна€ на цеп€х ћаркова, имеет математическую поддержку. „тобы иметь возможность сфокусированного исследовани€ ограничений взаимодействи€ и интеграции в контексте, необходимо примен€ть обе системы. “е системы, которые описывают ограничение взаимодействи€, сфокусированы во многом на воспроизведении знаний, и они относительно слабо контролируемы, а системам с математической поддержкой, которые в свою очередь имеют великолепную технику дл€ установлени€ параметров и оптимизации изучени€, не достает использовани€ комплексной структуры данных, необходимых дл€ характеристики ограничений высокого уровн€, таких как синтаксис. ќба направлени€ в насто€щий момент наход€тс€ в процессе развити€.

¬ заключение следует сделать акцент на вли€ние производственной технологии на эти системы. “ехнологи€ интеграции не €вл€етс€ большой проблемой дл€ систем распознавани€ речи, наоборот, это €вл€етс€ архитектурой этих систем, включа€ способ представлени€ ограничений. Ќеобходимо провести грандиозные эксперименты и найти новые способы, которые необходимы дл€ ограничительного вли€ни€ взаимодействи€.

¬о многих способах распознавание речи имеет типичный пример стремительно развивающегос€ класса высоко интегрированных комплексных систем, которые должны использовать лучшую компьютерную технику и самые последние достижени€ современного математического обеспечени€.

ћорфологический анализ научного текста несловарного типа

¬ современных системах ћј существуют два основных принципа выведени€ морфологических признаков слова с помощью анализа его структуры:

ѕредставление грамматической информации в словаре основ и в словаре флексий (с включением формальной процедуры делени€ слова на основу и окончание и последующее сравнение со словар€ми).

»звлечение грамматической информации из слова путем его графемного анализа.

¬ описываемой системе, представл€ющей собой подсистему автоматического анализа научно-реферативного текста, выбираетс€ второй принцип. »спользуетс€ он на первом этапе анализа, допускающем приписывание единицам текста дизъюнктивных кодов, репрезентирующих грамматические омонимы. ќбусловлено это тем, что любой морфологический анализ (ћј), проводимый в пределах слова, не может обеспечить стопроцентного однозначного определени€ его морфологических характеристик, поскольку про€вление последних в действительности происходит в синтагматике, на уровне св€зей слов в предложении. ѕоэтому в системе ћј предусмотрен второй этап анализа, который корректирует результаты первого с помощью анализа грамматического контекста единиц с дизъюнктивными кодами.  роме того, и на первом, и на втором этапах ћј в отдельных случа€х возникает необходимость обращени€ к информации о значении слова, например дл€ сн€ти€ грамматической омонимии существительных. ѕредлагаетс€ задание списка лексем или отдельных лексем в виде цепочек начальных буквосочетаний слова, общих дл€ всех словоформ. ¬озможность задавать семантическую информацию таким образом вытекает из ограниченности лексического состава текстов анализируемого подъ€зыка (в тексте длиной 108 тыс€ч словоупотреблений различных лексем знаменательных лексем насчитываетс€ всего 6653). ƒол€ использовани€ семантической информации при флективном анализе Ц 11,5 %, при контекстном анализе Ц 9,1 %.

ќбщие задачи ћј можно определить следующим образом:

ќднозначное идентифицирование единиц текста в терминах лексико-грамматических классов.

ќпределение внутри класса словоизменительных характеристик словоформ (грамматический подкласс).

—ведение словоизменительных парадигм, приведение словоформ одной лексемы к канонической форме.

–аботе алгоритмов собственно морфологического анализа предшествует процедура предредактировани€ вводимых в машину текстов, ориентированна€ не только на нужды ћј, но и на последующие задачи всей системы автоматического анализа текста.  роме разбиени€ текста на машинные слова (слова в форме, удобной дл€ распозновани€ их машиной): пробелами отдел€ютс€ все знаки препинани€, кроме тех случаев, когда они выступают не в своей основной синтаксической функции, текст должен быть также размечен: заглави€ реферата и абзацев внутри него. ¬ данной системе приходитс€ еще редактировать текст, привод€ в соответствие множество символов естественного €зыка и представлени€ их в машине. ¬место символов, отсутствующих в устройстве ввода/вывода, став€тс€ особые пометы, например заглавные буквы, если они не относ€тс€ к начальному слова предложени€, отмечаютс€ звездочкой и знаком >, если в слове больше одной заглавной, то впереди ставитс€ цефра, указывающа€ на их количество: 7>фортран (=‘ќ–“–јЌ).

«аписанный в такой форме текст поступает на вход системы ћј. ƒанна€ система состоит из п€ти подсистемы. ¬ задачи подсистемы 1 входит:

ј) выделение тестовых единиц, требующих собственного ћј;

Ѕ) анализ слов, не имеющих морфологического статуса, типа формул, сокращенных словосочетаний, слов из букв латинского алфавита; ћорфологическим статусом обладают все слова, имеющие в совем составе только русские прописные буквы или ограниченное кол-во знаков препинани€, как-то дефис, коса€ черта и т.п., а также слова, ничинающиес€ цепочкой цифр или латинских букв, за которыми следует дефис, и последефисна€ часть слова состоит из русских прописных букв: 15-й.

¬) вы€вление ошибок, допущенных при перфорации текста.

ѕодсистема 2 предназначена дл€ обработки текстовых единиц, получивших в процессе предредактировани€ метку заглавной буквы. »спользуетс€ открытый список наиболее частотных аббревиатур (Ё¬ћ) и некоторые словоупотреблени€, сокращени€

ѕодсистема 3 определ€ет коды грамматических классов дл€ слов на основе анализа их графемной структуры.

ѕодсистема 4 определ€ет коды грамматических подклассов в пределах класса с помощью графематического анализа. јлгоритмы определени€ подклассов разные дл€ местоимений, наречий, кратких причастий и прилагательных, существительных, слов адъективного типа. Ќапример, род существительного определ€етс€ с веро€тностью 99,98 % по графемному составу основы. ¬ работе алгоритма определени€ подкласса существительного каждой словоформе присваиваетс€ двухсимвольный код, перва€ позици€ Ц род, втора€ число и падеж, всего выдел€ютс€ 42 однозначных подклассов и 34 дизъюнктивных (типа компонент Ц м.р./вин. ед. и ж.р./ род. мн.).

¬ функции подсистемы 5 входит сн€тие грамматической омонимии классав и подклассов, полученной в результате работы алгоритмов 2,3,4, на основе контекстного анализа.

¬ автономном режиме работает только контекстный анализ. ≈го работа начинаетс€ после того, как все слова текста обработаны предшествующими алгоритмами и на вход поступает текст, в котором каждое машинное слово, отличное от знака препинани€, снабжено двухбуквенным кодом, перва€ из которых Ц код класса, втора€ Ц код подкласса.  оды грамматических омонимов содержат в себе информацию о возможных грамматических значени€х данной словоформы, например,

– Ц существительное/предлог (путем),

D Ц существительное/глагол (начала, суть),

џ- союз/частица/наречие (только) и т.д.)

ќсновна€ часть алгоритмов несловарного морфологического анализа сосредоточена в третьей подсистеме, котора€ должна единицы текста в терминах грамматических классов на основе списка квазифлексий.. ќграниченность лексической системы используемого подъ€зыка и типа текстов и делает возможным применени€ принципа определени€ грамматической информации по квазифлекси€м в качестве основного инструмента ћ» и отказ вообще от словар€ основ как главной базы ћј. Ќа вход данного алгоритма после работы подсистем 1,2 поступает 93,54 % текстовых единиц.

јвтоматическое построение списка квазифлексий дл€ морфологической идентификации словоформ в тексте предполагает:

–учное построение обучающей выборки на фрагменте введенного в Ё¬ћ текста. ƒл€ ручной частеречной кодировки прин€та детализированна€ система классов слов:

существительное--»

полное прилагательное --я

полное причаcтие--≈

глагол--√

наречие--Ќ

краткое прилагательное --ё

краткое причаcтие--”

нераспознанные по алгоритму слова, и т.п.

ќмонимичные словоформы типа дл€ ее обработки и стобы ее обработать разграничиваютс€.

јвтоматическое построение инверсионного словар€ и автоматический вывод списка квазифлексий

–учную проверку и уточнение результатов автоматической морфологической идентификации словоформ в новом тексте

јвтоматическое пополнение инверсионного словар€ словоформ обучающей выборки автоматическую перестройку списка квазифлексий.

ѕри контекстном анализе  ј, разработанных дл€ сн€ти€ грамматической омонимии отдельных слов по окружению, наибольшей диагностицирующей силой обладают грамматические контексты, представленные предлогами, контекстами, краткими причасти€ми и прилагательными, существительными, подчинительными союзами и местоимени€ми и наречи€ми-союзных слов, а также знаки препинани€. ¬се названные элементы текста используютс€ во всех без исключени€ алгоритмах  ј, в качестве опорных точек ќ“. ѕри этом дизъюнкци€ класса/подкласса может сниматьс€ по пересечению содержащейс€ в нем информации с грамматической информацией ќ“, образующей левую или правую, а также обе границы (сн€тие омонимии падежа существительного по предлогу слева, сн€тие омонимии классов Z (полное прилагательное/наречие); Y (краткое прилагательное/наречие) по расположенному справа глаголу; анализ дизъюнктивных кодов словоформ, принадлежащих к адъективным классам).

јлгоритм включает разные ситуации, как-то именна€ ситуаци€(SIT NOUN), глагольна€(SIT VERB), предложна€ (SIT PREP), ситуацию аббревиатуры (SIT U) и прочие. ќпорные точки могут образовывать ситуацию в сочетании с нектороми грамматическими классами, например ситуаци€ POINT определ€етс€ тире + частица Ё“ќ, зап€та€ + наречие когда, где. јнализ производитс€ слева направа, начина€ с первого элемента текста, и состоит из двух частей: входа, формирующего ситуацию и собственно контектного анализа, при этом ищутс€ опорные точки, формируетс€ ситуаци€ и по правилам  ј снимаютс€ дизъюнктивные классы.

јнализ результатов машинных экспериментов работы описаннойй системы ћј на рефератах по кибернетике и системам св€зи показал высокую степень эффективности сочетани€ флективного и контекстного анализа при автоматическом ћј, ориентированном на подъ€зык научно-реферативных текстов широкой тематики. Ќеразграниченные омонимы грамматических классов составл€ют всего 3,93 % текста.  оличество словоформ с несн€той омонимией подклассов равно 10,34 %. Ёто объ€сн€етс€, прежде всего, необходимостью привлечени€ анализа целого предложени€ (краткое прилагательное в роле подлежащего) и анализа контекстных св€зей, выход€щих за пределы предложени€ (анализ эллиптических конструкций, сн€тие омонимии местоименных классов). Ќиже приводитс€ пример машинной кодировки, полученной после флективного и контекстных анализов. ѕри идентификации грамматического стутуса каждого класса и подкласса слов в алгоритме ћј используетс€ различное количество правил и разные типы правил. ¬ основу системы правил ћј положена €зыкова€ и текстова€ информаци€ разного типа, в том числе:

графемна€ структура словоформ.

ѕозиционные закономерности употреблени€ словоформ в тексте.

ƒистрибуци€ словоформ и их соположение в тексте.

ƒистрибуци€ словоформ, учитывающа€ их грамматические св€зи.

Ћексическа€ информаци€.

ј¬“ќ ќ––≈Ћя÷»ќЌЌјя(я∆) —“–” “”–ј( ») √≈Ќ≈–ј“ќ–ј(…–) —Ћ”„ј…Ќџ’( ≈) „»—≈Ћ(Ћ≈) 1>“ј”—¬ќ–“ј(…–).

ќ—Ќќ¬џ¬јя—№(ƒ) Ќј(ѕѕ) «ЌјЌ»»(Ћѕ) ј¬“ќ ќ––≈Ћя÷»ќЌЌџ’(я≈) ‘”Ќ ÷»…( ≈) ƒЋя(ѕ–) ЋёЅџ’(ќ≈) ѕќ¬“ќ–яёў»’—я(ј≈) „Ћ≈Ќќ¬(…≈) ѕќ—Ћ≈ƒќ¬ј“≈Ћ№Ќќ—“»( –) , ј¬“ќ–ќћ(…“) ƒјЌ(”ћ) јЋ√ќ–»“ћ(…»), ƒЋя(ѕ–) ќѕ–≈ƒ≈Ћ≈Ќ»я(Ћ–) ј¬“ќ ќ––≈Ћя÷»ќЌЌќ…(я«) —“–” “”–џ( –) Ќќ¬ќ…(я«) ѕќ—Ћ≈ƒќ¬ј“≈Ћ№Ќќ—“»( –).

ћќ–‘ќЋќ√»я

¬ исследовани€х по морфологии естественных €зыков, проведенных в последние годы отечественными лингвистами, можно выделить несколько

крупных направлений:

Ч теоретические исследовани€ по различным вопросам морфологии;

Ч типологические исследовани€ по морфологии;

Ч прикладные аспекты морфологических исследований.

“еоретические исследовани€ по морфологии

ѕо сравнению с другими област€ми €зыкознани€ морфологи€ по праву

считаетс€ наиболее исследованной областью. ѕоэтому в завершающее дес€ти-

летие нашего века закономерно по€вление целого р€да фундаментальных публикаций итогового характера, вышедших из-под пера известных ученых,

посв€щенных основополагающим пон€ти€м, своего рода principia morphologia.

  ним относитс€:

Ч системное описание всех основных разделов морфологии: морфемики, изучающей морфемную членимость слова, принципы вычленени€

и разграничени€ морфем, их функционирование в €зыке; словообразовани€,

изучающего соотношени€ между морфемными структурами; словопроизводства

Ч образовани€ новых слов путем использовани€ морфемных возможностей €зы-

ка [«емска€, Ќемченко, ѕанов, “имофеев, “ихонов];

Ч системное описание диахронической морфологии индоевропейских

€зыков [∆уравлев] и древненовгородского диалекта русского €зыка [«ализн€к];

Ч итоговое описание системы морфологии русского €зыка ’’ века:

морфемной модели и количественных данных о русских морфемах [ узнецова],

активных процессов в словоизменении, словообразовании и словопроизводстве

(суффиксации, префиксации, аббревиации, производстве сложных слов, типич-

ных особенност€х окказиональных и потенциальных слов) [«емска€, 92, 95,

–усский €зык в его функционировании, –усский €зык конца ’’ века], морфологических словарей русского €зыка [ узнецова, “ихонов];

Ч морфологическа€ типологи€ слова в разноструктурных €зыках, преж-

де всего в слав€нских [Ўирокова];

Ч структурное моделирование морфологии естественных €зыков в тесной

св€зи с достижени€ми структурализма в других област€х €зыкознани€, прежде

всего в фонологии и синтаксисе [Ѕондарко, ƒемь€нков].

¬ теории морфологии традиционно большое место занимают исследова-

ни€ по аспектологии русского глагола: анализ совершенного вида в отрицатель-

ных предложени€х [јкимова], фактическое и общефактическое значение вида,

семантика и прагматика несовершенного вида императива, таксономические

категории глаголов imperfectiva tantum [ѕадучева], видова€ парность русских

глаголов [„ерткова], проблема инварианта в семантике вида [Ўатуновский],

употребление глаголов вторичной имперфективизации [–усский €зык в его

функционировании].

—реди других теоретических работ следует отметить :

Ч исследовани€ по аффиксации: изучение словообразовательного потенциала суффиксальных типов русских существительных [ аде], суффиксальной универбации и усечени€ в русском словообразовании

[ќсипова Ћ.».], возникновени€ новых аффиксов [ћамрак], сочетаемости пре-

фиксов в русском слове [ узнецова], парадигматики и синтагматики русских

глагольных префиксов [¬олохина и др.], суффиксоидов в современном английском €зыке [Ѕартков], словар€ словообразовательных аффиксов в русском €зыке [”луханов, 93];

Ч исследовани€ словообразовательной мотивированности и ее св€зи с

производностью [”луханов,92], мотивационного отношени€ Уим€-глаголФ

[ќсипова ћ.ј.], типов полисемии в производном слове и границ словообразова-

тельного гнезда [Ўиршов, 96] ;

Ч работы по различным типам окказиональных способов словообразо- вани€ [”луханов, 92];

Ч исследовани€ по св€зи морфологического уровн€ с другими уровн€ми

€зыка: фонемным (морфемный или фонемный принцип русской орфографии)

[ћоисеев,95], синтаксическим (синтаксическа€ дериваци€ как про€вление изоморфизма между словообразованием и синтаксисом) [ ], лексическим

(лексический состав русского €зыка со словообразовательной точки зрени€

[ћоисеев, 91], семантическим (границы словообразовательной семантики) [”луханов,91], стилистическим (стилистические аспекты русского словообразовани€ ) [Vinogradova];

Ч работы по диахронической морфологии русского словообразовани€ [”луханов, 92], диахронии словоизменени€ и словообразовани€ русских существительных [–усский €зык в его функционировании], развити€ категории

одушевленности в русском €зыке [ рысько].

 ак и в каждой области знани€, в морфологии немало интересных и спор-

ных проблем. ѕоскольку Условообразование посто€нно балансирует в €зыке между системностью и беспор€дкомФ [ѕиотровский, 95], в литературе живо обсуждаютс€ правомерность использовани€ пон€ти€ усечени€ морфем [ƒобродомов], сложные случаи морфемики и словообразовани€ [Ўанский], пограничные случаи между словоизменением и словообразованием [ћуравьева], лексикой и словообразованием [√лухих], морфемика в ее отношении к формообразованию [√ерд, 94], проблемы трактовки групповой флексии [ѕлун-

г€н,94].

— точки зрени€ историографии морфологии безусловный интерес представ-

л€ет переписка Ќ.—.“рубецкого и –.ќ.якобсона о повелительном наклонении

русского глагола [’раковский, 94].

“ипологические исследовани€ по морфологии

≈стественными и традиционными представл€ютс€ работы по сопостави-

тельной морфологии русского €зыка с другими €зыками и прежде всего со сла-

в€нскими, балканскими и балтийскими. »з огромного количества подобных

работ прежде всего следует отметить доклады российской делегации на X I ћеж-

дународном съезде славистов в Ѕратиславе (1993г.) [«емска€ и др., Ќещименко,

], материалы научных конференций

и сборников, в которых среди прочих обсуждаютс€ проблемы:

Ч сопоставительной слав€нской аспектологии [—мирнов];

Ч образно-экспрессивного употреблени€ грамматических категорий [Ўи-

рокова];

Ч словообразовательной интерференции в слав€нских €зыках [ƒжамбазов];

Ч морфологической типологии слова в разноструктурных €зыках, в том

числе в русском, английском, французском и испанском [Ўирокова,92];

Ч типологии грамматических категорий Ч в частности, категории лишитель-

ности в слав€нских и балканских €зыках [»ванов и др.], категории наклонени€

в разных €зыках [—абанеева];

Ч морфологические характеристики слов в Устарослав€нском словареФ [ ры-

сько].

 ак всегда, весьма разнообразны сопоставительные морфологические исследовани€ по другим €зыкам: английскому [Ѕиренбаум], малагасийскому [ оршунов], тагальскому [Ўкарбан], чешскому [—тешковска€], эвенскому

[–оббек], лезгинскому [ еримов], эскимосскому [¬ахтин], вепсскому [»ткин],

догон [ѕлунг€н, Plungian], дари [ќстровский].

ѕрикладные исследовани€ по морфологии

ѕрикладна€ морфологи€, €вл€€сь составной частью компьютерной линг-

вистики, традиционно считаетс€ в ней наиболее исследованной областью,

в задачу которой входит:

Ч разработка морфологических процессоров Ч систем автоматического

морфологического анализа и синтеза слов, а также систем лемматизации Ч сведе-

ни€ словоформ к словарным словам;

Ч автоматизаци€ морфологических исследований, предусматривающа€ про-

ведение р€да лингвистических работ с помощью Ё¬ћ дл€ решени€ основной за-

дачи Ч разработки морфологических процессоров: использование —”Ѕƒ дл€

составлени€ морфологических словарей, проведени€ типологических исследо-ваний, моделировани€ морфологических €влений и т.д.

—ледует отметить, что в насто€щее врем€ используютс€ самые разнообраз-

ные автоматизированные системы обработки речи и текста, примен€ющие мор-

фологические процессоры: системы машинного перевода, коррекции и редакти-

ровани€ текста, анализа и синтеза речи, информационного поиска (в особенности

полнотекстовые системы), автоматического реферировани€, автоматические словари, экспертные системы и обучающие лингвистические автоматы. ¬ указанных системах морфологические процессоры €вл€ютс€ наиболее надеж-

ными и хорошо отработанными компонентами. ¬ последних промышленных и коммерческих разработках хорошо зарекомендовали себ€ морфологические процессоры процедурного типа, работающие на базе словар€ основ, Ч ср. сис-

темы автоматического морфологического анализа в —ћѕ ј—ѕ≈–ј [ оролев,

91,95], MORSE [ѕиотровский, 95], в автоматических корректорах Winќ–‘ќ [јшманов, 95], автоматического морфологического синтеза в —ћѕ —ѕ–»Ќ“-2 [“ихомиров, 92], лемматизации русских слов [QUALICO-94].

ћодификаци€ морфологических процессоров в основном идет за счет

использовани€ блока анализа слов, не содержащихс€ в словаре (Уновых словФ),

которые традиционно анализируютс€ на основе принципа морфологической аналогии, предполагающего сильную коррел€ционную зависимость между

грамматическими характеристиками слов и буквенным составом их концов.

Ётот принцип давно и успешно используетс€ в морфологических процессорах, разработанных √.√.Ѕелоноговым. ¬ 80-е годы киевскими лингвистами (¬.».ѕе-

ребейнос, “.ј.√р€знухина, Ќ.ѕ.ƒарчук и др.) принцип аналогии был положен

в основу морфологических анализаторов русского €зыка, работающих без ка-

ких-либо словарей. ћодификаци€ этого подхода, также предполагающего ис-

ключение словарей дл€ целей морфологического анализа или использование

их в минимальной степени, в последнее врем€ была предприн€та √.√.Ѕелоно- говым дл€ русского и некоторых других €зыков [Ѕелоногов и др.,95], а также другими специалистами по вычислительной морфологии [Ўереметьева и др., 96].

Ўирокое распространение персональных Ё¬ћ создает благопри€тные

услови€ дл€ автоматизации морфологических исследований Ч автоматического

формировани€ русского морфологического словар€ по исходным массивам слов

и словосочетаний [Ѕольшаков,93], использовани€ специализированных словарных

баз данных дл€ анализа морфологии русского €зыка, автоматического типологи-

ческого анализа морфологии семитских €зыков [QUALICO-94], автоматического

формировани€ перечн€ структурных типов префиксов русских существительных

[√ерд, 93], использовани€ автоматизированной системы составлени€ и ведени€ флективных классов русских существительных, прилагательных и глаголов, примен€емых в морфологическом процессоре —ћѕ ј—ѕ≈–ј [ оролев, 95],

моделировани€ морфологического анализа русских слов, содержащих суффик-

сы [√ельбух, 92].

¬ заключение напомним о том, что за последние несколько дес€тилетий

морфологи€ переживала свои периоды взлетов и падений. ¬ 60-е годы нашего

столети€ определенный застой в морфологических исследовани€х был вызван

бурным распространением структурного синтаксиса, а затем и семантики. ќдна-

ко со временем развитие науки и требовани€ жизни все расставили по своим ме-

стам, и в последние годы, как свидетельствует наш краткий обзор, теоретическа€

и прикладна€ морфологи€ вновь €вл€ютс€ важным полигоном дл€ лингвистичес-

кой теории и практики.

ќбеспечение взаимодействи€ с Ё¬ћ на естественном €зыке (≈я) €вл€етс€ важнейшей задачей исследований по искусственному интеллекту (»»). Ѕазы данных, пакеты прикладных программ и экспертные системы, основанные на »», требуют оснащени€ их гибким интерфейсом дл€ многочисленных пользователей, не желающих общатьс€ с компьютером на искусственном €зыке. ¬ то врем€ как многие фундаментальные проблемы в области обработки ≈я (Natural Language Processing, NLP) еще не решены, прикладные системы могут оснащатьс€ интерфейсом, понимающем ≈я при определенных ограничени€х.

—уществуют два вида и, следовательно, две концепции обработки естественного €зыка:

дл€ отдельных предложений;

дл€ ведени€ интерактивного диалога.

ѕрирода обработки естественного €зыка

ќбработка естественного €зыка - это формулирование и исследование компьютерно-эффективных механизмов дл€ обеспечени€ коммуникации с Ё¬ћ на ≈я. ќбъектами исследований €вл€ютс€:

собственно естественные €зыки;

использование ≈я как в коммуникации между людьми, так и в коммуникации человека с Ё¬ћ.

«адача исследований - создание компьютерно-эффективных моделей коммуникации на ≈я. »менно така€ постановка задачи отличает NLP от задач традиционной лингвистики и других дисциплин, изучающих ≈я, и позвол€ет отнести ее к области »». ѕроблемой NLP занимаютс€ две дисциплины: лингвистика и когнитивна€ психологи€.

“радиционно лингвисты занимались созданием формальных, общих, структурных моделей ≈я, и поэтому отдавали предпочтение тем из них, которые позвол€ли извлекать как можно больше €зыковых закономерностей и делать обобщени€. ѕрактически никакого внимани€ не удел€лось вопросу о пригодности моделей с точки зрени€ компьютерной эффективности их применени€. “аким образом, оказалось, что лингвистические модели, характеризу€ собственно €зык, не рассматривали механизмы его порождени€ и распознавани€. ’орошим примером тому служит порождающа€ грамматика ’омского, котора€ оказалась абсолютно непригодной на практике в качестве основы дл€ компьютерного распознавани€ ≈я.

«адачей же когнитивной психологии €вл€етс€ моделирование не структуры €зыка, а его использовани€. —пециалисты в этой области также не придавали большого значени€ вопросу о компьютерной эффективности.

–азличаютс€ обща€ и прикладна€ NLP. «адачей общей NLP €вл€етс€ разработка моделей использовани€ €зыка человеком, €вл€ющихс€ при этом компьютерно-эффективными. ќсновой дл€ этого €вл€етс€ общее понимание текстов, как это подразумеваетс€ в работах „арн€ка, Ўенка,  арбонелла и др. Ќесомненно, обща€ NLP требует огромных знаний о реальном мире, и больша€ часть работ сосредоточена на представлении таких знаний и их применении при распознавании поступающего сообщени€ на ≈я. Ќа сегодн€шний день »» еще не достиг того уровн€ развити€, когда дл€ решени€ подобных задач в большом объеме использовались бы знани€ о реальном мире, и существующие системы можно называть лишь экспериментальными, поскольку они работают с ограниченным количеством тщательно отобранных шаблонов на ≈я.

ѕрикладна€ NLP занимаетс€ обычно не моделированием, а непосредственно возможностью коммуникации человека с Ё¬ћ на ≈я. ¬ этом случае не так важно, как введенна€ фраза будет пон€та с точки зрени€ знаний о реальном мире, а важно извлечение информации о том, чем и как Ё¬ћ может быть полезной пользователю (примером может служить интерфейс экспертных систем).  роме понимани€ ≈я, в таких системах важно также и распознавание ошибок и их коррекци€.

ќсновна€ проблема обработки естественного €зыка

ќсновной проблемой NLP €вл€етс€ €зыкова€ неоднозначность. —уществуют разные виды неоднозначности:

—интаксическа€ (структурна€) неоднозначность: во фразе Time flies like an arrow дл€ Ё¬ћ не€сно, идет ли речь о времени, которое летит, или о насекомых, т.е. €вл€етс€ ли слово flies глаголом или существительным.

—мыслова€ неоднозначность: во фразе The man went to the bank to get some money and jumped in слово bank может означать как банк, так и берег.

ѕадежна€ неоднозначность: предлог in в предложени€х He ran the mile in four minutes/He ran the mile in the Olympics обозначает либо врем€, либо место, т.е. представлены совершенно различные отношени€.

–еференциальна€ неоднозначность: дл€ системы, не обладающей знани€ми о реальном мире, будет затруднительно определить, с каким словом - table или cake - соотноситс€ местоимение it во фразе I took the cake from the table and ate it.

Ћитераци€ (Literalness): в диалоге Can you open the door? Ч I feel cold ни просьба, ни ответ выражены нестандартным способом. ¬ других обсто€тельствах на вопрос может быть получен пр€мой ответ yes/no, но в данном случае в вопросе имплицитно выражена просьба открыть дверь.

÷ентральна€ проблема как дл€ общей, так и дл€ прикладной NLP - разрешение такого рода неоднозначностей - решаетс€ с помощью перевода внешнего представлени€ на ≈я в некую внутреннюю структуру. ƒл€ общей NLP такое превращение требует набора знаний о реальном мире. “ак, дл€ анализа фразы Jack took the bread from the supermarket shelf, paid for it, and left и дл€ корректного ответа на такие вопросы, как What did Jack pay for?, What did Jack leave? и Did Jack have the bread with him when he left? необходимы знани€ о супермаркетах, процессах покупки и продажи и некоторые другие.

ѕрикладные системы NLP имеют преимущество перед общими, т.к. работают в узких предметных област€х.   примеру, системе, используемой продавцами в магазинах по продаже компьютеров, не нужно ФраздумыватьФ над неоднозначностью слова terminals в вопросе How many terminals are there in the order?.

“ем не менее, создание систем, имеющих возможность общени€ на ≈я в широких област€х, возможно, хот€ пока результаты далеки от удовлетворительных.

“ехнологии анализа естественного €зыка

ѕод технологией анализа ≈я подразумеваетс€ перевод некоторого выражени€ на ≈я во внутреннее представление. ‘актически все системы анализа ≈я могут быть распределены на следующие категории: подбор шаблона (Pattern Matching), синтаксический анализ, семантические грамматики, анализ с помощью падежных фреймов, Ужди и смотриФ (Wait And See), словарный экспертный (Word Expert), коннекционистский, Ускольз€щийФ (Skimming) анализ. Ќиже пойдет речь о некоторых наиболее распространенных методах, описанных в статье.

ѕодбор шаблона. —ущность данного подхода состоит в интерпретации ввода в целом, а не в интерпретации смысла и структуры его отдельных составл€ющих на более низком уровне. ѕри использовании этого метода происходит сравнение уже имеющихс€ в системе шаблонов-образцов с текстом, поступившим на вход. ќбычно шаблоны представлены в виде простого списка соответствий между классами высказываний и интерпретаци€ми. »ногда они дополнены семантическими элементами или другими компонентами более высокого уровн€. ѕо такому принципу работает система Ёлиза, имитирующа€ диалог с психотерапевтом. ¬ действительности система ничего не понимает, а лишь поддерживает диалог, сравнива€ реплики пациента с шаблонами и присвоенными им соответствующими ответными репликами, такими, как:

X всегда Y: ¬ы можете привести какой-нибудь пример?
 огда?
ƒействительно, всегда?
X ¬ы Y мен€: ѕочему ¬ы думаете, что € Y ¬ас?
¬ам нравитс€ думать, что € Y ¬ас, не правда ли?
ѕредставьте, что € Y ¬ас. „то ¬ы об этом думаете?
¬ результате Ёлиза способна вести такой диалог:

ѕац.: Ћюди всегда пристально смотр€т на мен€. подбор по 1-му шаблону с учетом всегда
Ёл.: ¬ы можете привести какой-нибудь пример? первый ответ по 1-му шаблону
ѕац.: Ќапример, сейчас ты смотришь на мен€. подбор по 2-му шаблону, Y=смотреть
Ёл.: ѕочему ¬ы думаете, что € смотрю на ¬ас? первый ответ по 2-му шаблону
ѕац.: ѕотому что ты ненавидишь мен€. подбор по 2-му шаблону, Y=ненавидеть
Ёл.: ¬ам нравитс€ думать, что € ненавижу ¬ас, не правда ли? и т.д. второй ответ по 2-му шаблону
—интаксический анализ. ѕри использовании синтаксического анализа происходит интерпретаци€ отдельных частей высказывани€, а не всего высказывани€ в целом. ќбычно сначала производитс€ полный синтаксический анализ, а затем строитс€ внутренне представление введенного текста, либо производитс€ интерпретаци€.

ƒеревь€ анализа и свободно-контекстные грамматики. Ѕольшинство способов синтаксического анализа реализовано в виде деревьев. ќдна из простейших разновидностей - свободно-контекстна€ грамматика, состо€ща€ из правил типа S=NP+VP или VP=V+NP и полагающа€, что лева€ часть правила может быть заменена на правую без учета контекста. —вободно-контекстна€ грамматика широко используетс€ в машинных €зыках, и с ее помощью созданы высокоэффективные методы анализа. Ќедостаток этого метода - отсутствие запрета на грамматически неправильные фразы, где, например, подлежащее не согласовано со сказуемым в числе. ƒл€ решени€ этой проблемы необходимо наличие двух отдельных, параллельно работающих грамматик: одной - дл€ единственного, другой - дл€ множественного числа.  роме того, необходима сво€ грамматика дл€ пассивных предложений и т.д. —емантически неправильное предложение может породить огромное количество вариантов разбора, из которых один будет превращен в семантическую запись. ¬сЄ это делает количество правил огромным и, в свою очередь, свободно-контекстные грамматики непригодными дл€ NLP.

“рансформационна€ грамматика. “рансформационна€ грамматика была создана с учетом упом€нутых выше недостатков и более рационального использовани€ правил ≈я, но оказалась непригодной дл€ NLP. “рансформационна€ грамматика создавалась ’омским как порождающа€, что, следовательно, делало очень затруднительным обратное действие, т.е. анализ.

–асширенна€ сеть переходов. –асширенна€ сеть переходов была разработана Ѕобровым (Bobrow), ‘рейзером (Fraser) и во многом ¬удсом (Woods) как продолжение идей синтаксического анализа и свободно-контекстных грамматик в частности. ќна представл€ет собой узлы и направленные стрелки, УрасширенныеФ (т.е. дополненные) р€дом тестов (правил), на основании которых выбираетс€ путь дл€ дальнейшего анализа. ѕромежуточные результаты записываютс€ в €чейки (регистры). Ќиже приводитс€ пример такой сети, позвол€ющей анализировать простые предложени€ всех типов (включа€ пассив), состо€щие из подлежащего, сказуемого и пр€мого дополнени€, таких, как The rabbit nibbles the carrot ( ролик грызет морковь). ќбозначени€ у стрелок означают номер теста, а также либо признаки, аналогичные примен€емым в свободно-контекстных грамматиках (NP), либо конкретные слова (by). “есты написаны на €зыке LISP и представл€ют собой правила типа если условие=истина, то присвоить анализируемому слову признак ’ и записать его в соответствующую €чейку.

–азберем алгоритм работы сети на вышеприведенном примере. јнализ начинаетс€ слева, т. е. с первого слова в предложении. —ловосочетание the rabbit проходит тест, который вы€сн€ет, что оно не €вл€етс€ вспомогательным глаголом (Aux, стрелка 1), но €вл€етс€ именной группой (NP, стрелка 2). ѕоэтому the rabbit кладетс€ в €чейку Subj, и предложение получает признак TypeDeclarative, т.е. повествовательное, и система переходит ко второму узлу. «десь дополнительный тест не требуетс€, поскольку он отсутствует в списке тестов, записанных на LISP. —ледовательно, слово, сто€щее после the rabbit - т. е. nibbles - глагол-сказуемое (обозначение V на стрелке), и nibbles записываетс€ в €чейку с именем V. ѕеречеркнутый узел означает, что в нем анализ предложени€ может в принципе закончитьс€. Ќо в нашем примере имеетс€ еще и дополнение the carrot, так что анализ продолжаетс€ по стрелке 6 (выбор между стрелками 5 и 6 осуществл€етс€ снова с помощью специального теста), и словосочетание the carrot кладетс€ в €чейку с именем Obj. Ќа этом анализ заканчиваетс€ (последний узел был бы использован в случае анализа такого пассивного предложени€, как The carrot was nibbled by the rabbit). “аким образом, в результате заполнены регистры (€чейки) Subj, Type, V и Obj, использу€ которые, можно получить какое-либо представление (например, дерево).

–асширенна€ сеть переходов имеет свои недостатки:

немодульность;

сложность при модификации, вызывающа€ непредвиденные побочные эффекты;

хрупкость (когда единственна€ неграмматичность в предложении делает невозможным дальнейший правильный анализ);

неэффективность при переборе с возвратами, т.к. ошибки на промежуточных стади€х анализа не сохран€ютс€;

неэффективность с точки зрени€ смысла, когда с помощью полученного синтаксического представлени€ оказываетс€ невозможным создать правильное семантическое представление.

—емантические грамматики. јнализ ≈я, основанный на использовании семантических грамматик, очень похож на синтаксический, с той разницей, что вместо синтаксических категорий используютс€ семантические. ≈стественно, семантические грамматики работают в узких предметных област€х. ѕримером служит система Ladder, встроенна€ в базу данных американских судов. ≈е грамматика содержит записи типа:

S Ѓ <present> the <attribute> of <ship>

<present> Ѓ what is|[can you] tell me

<ship> Ѓ the <shipname>|<classname> class ship

“ака€ грамматика позвол€ет анализировать такие запросы, как Can you tell me the class of the Enterprise? (Enterprise - название корабл€). ¬ данной системе анализатор составл€ет на основе запроса пользовател€ запрос на €зыке базы данных.

Ќедостатки семантических грамматик состо€т в том, что, во-первых, необходима разработка отдельной грамматики дл€ каждой предметной области, а во-вторых, они очень быстро увеличиваютс€ в размерах. —пособы исправлени€ этих недостатков - использование синтаксического анализа перед семантическим, применение семантических грамматик только в рамках рел€ционных баз данных с абстрагированием от обще€зыковых проблем и комбинаци€ нескольких методов (включа€ собственно семантическую грамматику).

јнализ с помощью падежных фреймов. — созданием падежных фреймов св€зан большой скачок в развитии NLP. ќни приобрели попул€рность после работы ‘иллмора Уƒело о падежеФ. Ќа сегодн€шний день падежные фреймы - один из наиболее часто используемых методов NLP, т.к. он €вл€етс€ наиболее компьютерно-эффективным при анализе как снизу вверх (от составл€ющих к целому), так и сверху вниз (от целого к составл€ющим).

ѕадежный фрейм состоит из заголовка и набора ролей (падежей), св€занных определенным образом с заголовком. ‘рейм дл€ компьютерного анализа отличаетс€ от обычного фрейма тем, что отношени€ между заголовком и рол€ми определ€етс€ семантически, а не синтаксически, т.к. в принципе одному и то же слово может приписыватьс€ разные роли, например, существительное может быть как инструментом действи€, так и его объектом.

ќбща€ структура фрейма такова:

[«аголовочный глагол

[падежный фрейм

агент: <активный агент, совершающий действие>

объект: <объект, над которым совершаетс€ действие>

инструмент: <инструмент, используемый при совершении действи€>

реципиент: <получатель действи€ - часто косвенное дополнение>

направление: <цель (обычно физического) действи€>

место: <место, где совершаетс€ действие>

бенефициант: <сущность, в интересах которой совершаетс€ действие>

коагент: <второй агент, помогающий совершать действие>

]]

Ќапример, дл€ фразы »ван дал м€ч  ате падежный фрейм выгл€дит так:

[ƒавать

[падежный фрейм

агент: »ван

объект: м€ч

реципиент:  ат€]

[грам

врем€: прош

залог: акт]

]

—уществуют об€зательные, необ€зательные и запрещенные падежи. “ак, дл€ глагола разбить об€зательным будет падеж объект - без него высказывание будет незаконченным. ћесто и коагент будут в данном примере необ€зательными падежами, а направление и реципиент - запрещенными.

„асто в NLP бывает полезным использовать семантическое представление в как можно более канонической форме. Ќаиболее известным способом такой репрезентации €вл€ютс€ метод концептуальных зависимостей, разработанный Ўенком дл€ глаголов действи€. ќн заключаетс€ в том, что каждое действие представлено в виде одного или более простейших действий.

Ќапример, дл€ предложений »ван дал м€ч  ате (1) и  ат€ вз€ла м€ч у »вана (2), различающихс€ синтаксически, но оба обозначающих акт передачи, могут быть построены следующие репрезентации с использованием простейшего действи€ Atrans, примен€ющегос€ в грамматике концептуальных зависимостей:

(1) (2)
[Atrans [Atrans
отн: обладание отн: обладание
агент: »ван агент:  ат€
объект: м€ч объект: м€ч
источник: »ван источник: »ван
реципиент:  ат€] реципиент:  ат€]

— помощью такого представлени€ легко вы€вл€ютс€ сходства и различи€ фраз.

ƒл€ облегчени€ анализа также используетс€ деление роли на лексический маркер и заполнитель. “ак, дл€ роли объект может быть установлен маркер пр€мое дополнение, дл€ роли источник - маркер вида <маркер-из>=из|от|...

¬ общем анализ текста с помощью падежных фреймов состоит из следующих шагов:

»спользу€ существующие фреймы, подобрать подход€щий дл€ заголовка. ≈сли такого нет, текст не может быть проанализирован.

¬ернуть в систему подход€щий фрейм с соответствующим заголовком-глаголом.

ѕопытатьс€ провести анализ по всем об€зательным падежам. ≈сли один или более об€зательных заполнителей падежей не найдены, вернуть в систему код ошибки. “акой случай может означать наличие эллипсиса, неверный выбор фрейма, неверно введенный текст или недостаток грамматики. —ледующие шаги используютс€ уже дл€ анализа и исправлени€ таких ситуаций.

ѕровести анализ по всем необ€зательным падежам.

≈сли после этого во введенном тексте остались непроанализированные элементы, выдать сообщение об ошибке, св€занной с неправильным вводом, недостаточностью данного анализа или необходимостью провести другой, более гибкий анализ.

ѕреимущества использовани€ падежных фреймов таковы:

совмещение двух стратегий анализа (сверху вниз и снизу вверх);

комбинирование синтаксиса и семантики;

удобство при использовании модульных программ.

”стойчивость анализа

ќпределенную трудность при анализе представл€ет вариативность одного и того же запроса. Ќапример, на вход системы, управл€ющей зачислением и перераспределением учащихс€ на курсах разных специальностей, может поступить запрос типа ѕереведите ѕетрова, если это возможно, с математики на, скажем, экономику.

Ќаиболее легко такие трудности преодолеваютс€ при использовании падежных фреймов. ѕравило, сформулированное  арбонеллом и ’ейзом, гласит: У—ледует пропускать неизвестные введенные элементы до тех пор, пока не будет найден падежный маркер; пропущенные элементы следует анализировать с учетом незаполненных падежей, использу€ только семантикуФ.

ƒиалог

Ќар€ду с проблемой распознавани€ текста существует и проблема поддержани€ интерактивного диалога. ѕри этом возникают дополнительные особенности, характерные дл€ диалогов, а именно:

анафора (т.е. использование местоимений вместо их анафорических антецедентов - самосто€тельных частей речи);

эллипсис;

экстраграмматические предложени€ (пропуск артиклей, опечатки, употреблени€ междометий и т.п.);

металингвистические предложени€ (т.е. попытка исправлени€ введенного ранее).

 роме того, пользователи систем с естественно-€зыковым интерфейсом стараютс€ выражатьс€ как можно короче, что в р€де случаев также затрудн€ет анализ.

»спользование падежных фреймов, а именно сли€ние текущего фрейма с предыдущим, обеспечивает восстановление эллипсиса.

«аключение

“аким образом, процесс разработки систем, обеспечивающих понимание ≈я, требует создание механизмов, отличных от традиционных способов представлений ≈я, а системы с естественно-€зыковыми интерфейсами примен€ютс€ только в узких предметных област€х.

јЌјЋ»« —Ќ»«” ¬¬≈–’ » —¬≈–’” ¬Ќ»«

У—верху внизФ vs. Уснизу вверхФ, Упр€мойФ vs. УобратныйФ, Ууправл€емый даннымиФ vs. Удвижимый цельюФ - три пары определений дл€ таких терминов, как Уцепной анализФ, УпарсингФ, Усинтаксический разборФ, Улогический анализФ и УпоискФ. ¬ принципе, все эти термины отражают сходные отношени€, и различие между ними состоит лишь в том, что они вз€ты из различных подобластей компьютерной науки и искусственного интеллекта (парсинг, системы с заложенными в них правилами, поисковые системы и системы, направленные на решение проблем и т.д.)

—уть этих противопоставлений можно проиллюстрировать на примере парадигмы поиска. ќсновна€ задача любого поиска состоит в том, чтобы определить маршрут, по которому вы будете перемещатьс€ с насто€щей позиции к вашей цели. ≈сли вы начнете поиск с текущей позиции и будете продолжать его, пока не наткнетесь на желаемый результат, - это так называемый пр€мой поиск или поиск снизу вверх. ≈сли вы мысленно ставите себ€ в то место, где вы хотите очутитьс€ в результате поиска и определ€ете маршрут, двига€сь в обратном направлении, т.е. туда, где вы действительно находитесь в насто€щий момент, - это поиск в обратном направлении или поиск сверху вниз. ќбратите внимание на то, что, определив маршрут в результате обратного поиска, вам все же предстоит добратьс€ до своей цели. Ќесмотр€ на то, что сейчас вы движетесь вперед, это не €вл€етс€ пр€мым поиском, т.к. поиск уже был осуществлен ранее, причем в обратном направлении.

Ёти же противопоставлени€ можно рассмотреть на примере систем с встроенными правилами. ѕредставим себе, что правило состоит из набора антецедентов и набора следствий.  огда система определ€ет, что все антецеденты определенного правила удовлетворены, это правило вызываетс€ и выполн€етс€ (выполн€етс€ ли каждое вызванное правило зависит от специфики конкретной системы). ѕосле этого в базу знаний занос€тс€ утверждени€, полученные в результате выполнени€ правила, и выполн€ютс€ соответствующие операции. ƒанный процесс происходит вышеописанным образом, независимо от того, примен€ет ли система пр€мой или обратный логический анализ. „тобы проиллюстрировать различи€ между ними, следует отдельно рассмотреть процедуру активации правила. ¬ызываютс€ только активированные правила. ѕри пр€мом логическом анализе (снизу вверх), когда в систему добавл€ютс€ новые данные, они сравниваютс€ со всеми антецедентами всех правил. ≈сли данные соответствуют антецеденту правила, то это правило активируетс€ (если оно еще не €вл€етс€ активированным), и если подобраны все антецеденты определенного правила, то оно вызываетс€. ”тверждени€, полученные в результате выполнени€ правила, занос€тс€ в базу знаний и рассматриваютс€ в качестве новых данных, сравниваютс€ с антецедентами и могут вызвать активацию и вызов дополнительных правил. ѕри обратном логическом анализе (сверху вниз) при добавлении данных правила не активируютс€.  огда система получает запрос, он сравниваетс€ со всеми следстви€ми всех правил. ≈сли запрос совпадает со следствием, то это правило активируетс€, а все его антецеденты рассматриваютс€ в качестве вторичных запросов и могут вызвать активацию дополнительных правил.  огда запрос соответствует не ограниченному условием утверждению базы знаний, на него поступает ответ, и если этот запрос исходил от антецедента, считаетс€, что он удовлетвор€ет последнему.  огда все антецеденты некоторого правила будут удовлетворены, правило вызываетс€ и выполн€етс€. ѕри выполнении правила осуществл€етс€ ответ на запросы, которые его активировали, и теперь другие антецеденты считаютс€ удовлетворенными и могут вызыватьс€ соответствующие им правила. ќбратите внимание на то, что вызов и выполнение правила всегда происходит в пр€мой последовательности, а отличие пр€мого цепного анализа от обратного состоит в том, когда активируетс€ правило.

ѕримеры

ѕарсинг. ѕопытаемс€ проиллюстрировать и объ€снить разницу между синтаксическим анализом сверху вниз и снизу вверх на примере предложени€ УThey are flying planesФ и простой грамматики, представленной в виде пронумерованных правил:

1. S Ѓ NP VP

2. NP Ѓ N

3. NP Ѓ PRO

4. NP Ѓ ADJ N

5. VP Ѓ VT NP

6. VT Ѓ V

7. VT Ѓ AUX V

8. N Ѓ planes

9. PRO Ѓ they

10. ADJ Ѓ flying

11. AUX Ѓ are

12. V Ѓ are

13. VЃ flying

јнтецеденты указаны с правой стороны, а следстви€ - с левой. Ќапример, правило 1 читаетс€ следующим образом: У≈сли последовательность состоит из именной группы (NP), за которой следует глагольна€ группа (VP), то эта последовательность €вл€етс€ предложением (S).Ф

—интаксический разбор сверху вниз начинаетс€ с символа S, который и будет €вл€тьс€ вершиной дерева разбора. Ёта процедура эквивалентна процедуре постановки задачи, котора€ заключаетс€ в том, чтобы определить, €вл€етс€ ли последовательность слов предложением. ѕравило 1 гласит, что каждое предложение состоит из именной группы (NP), за которой следует глагольна€ группа (VP). ѕри наличии нескольких правил, сперва примен€етс€ правило с наименьшим номером, а затем оно расшир€етс€ слева направо. “аким образом следующим шагом €вл€етс€ нахождение первой св€зи, т.е. NP. —перва активируетс€ правило 2, а затем правило 8 (рис. 2а). “.к. УplanesФ не соответствует ФtheyФ, алгоритм срабатывает вновь, и теперь сперва активируетс€ правило 3, а затем правило 9. «атем алгоритм возвращаетс€ к правилу 1 и следующей целью ставит определение VP. —перва активируютс€ правила 5, 6, а затем 12 (рис. 2b). ƒальнейший ход разбора отржен на рисунке 2 (с, d, e).

—интаксический разбор снизу вверх начинаетс€ со слов в предложении. ќп€ть же разбор ведетс€ слева направо, и сперва примен€етс€ правило с наименьшим номером. »так, сначала первое слово предложени€ УtheyФ соотноситс€ с антецедентом правила 9, которое после выполнени€ выдает утверждение, что УtheyФ €вл€етс€ местоимением (PRO). «атем выполн€етс€ правило 3 и выдает, что УtheyФ €вл€етс€ NP. NP соответствует антецедентам правил 1 и 5, но ни одно из этих правил еще не вызвано, поэтому разбор переходит к УareФ. ¬ыполн€етс€ правило 11 (несмотр€ на то, что правило 12 также вызвано, оно не выполн€етс€ в соответствии с правилом о последовательности выполнени€ правил). «атем выполн€ютс€ правила 10, 8 и 2 (рис. 3а). Ќа данной стадии дальнейший разбор последовательности NP+AUX+ADJ+NP невозможен, поэтому мы возвращаемс€ к последнему вызванному, но еще не выполненному правилу, т.е. к правилу 4. –азбор последовательности NP+AUX+NP так же невозможен, поэтому оп€ть выполн€етс€ последнее вызванное невыполненное правило. —ейчас это правило 13, которое выдает, что УflyingФ €вл€етс€ V. «атем выполн€ютс€ правила 6 и 5 (рис. 3с). –азбор последователльности NP+AUX+VP невозможен, поэтому выполн€етс€ правило 7 и выдает утверждение, что Уare flyingФ €вл€етс€ VT. «атем снова выполн€ютс€ правила 5 и 1, на чем и заканчиваетс€ синтаксический разбор (рис. 3d).

ƒанный пример был приведен с целью сравнени€ механизмов синтаксического разбора снизу вверх и сверху вниз. ”становление строгого пор€дка разбора слева направо и нумераци€ правил обусловлены стремлением к применению в наибольшей степени сходного алгоритма, несмотр€ на то, что результаты разбора оказались различными.

—истемы со встроенными правилами. –ассмотрим пр€мой и обратный цепной анализ на примере выдуманного набора правил о том, как следует провести вечер. ѕравила расположены в обычном пор€дке, антецедент располагаетс€ слева, а следствие - справа, все вызванные правила выполн€ютс€, а разбор ведетс€ параллельно.

1. ’ороший фильм по “¬ + –ано утром встреч нет Ѓ ѕозднее кино

2. –ано утром встреч нет + Ќужно поработать Ѓ –абота допоздна

3. Ќужно поработать + Ќеобходимы документы Ѓ –абота в офисе

4. ѕозднее кино Ѓ Ќе спать допоздна

5. –абота допоздна Ѓ Ќе спать допоздна

6. –абота допоздна Ѓ ¬озвращение в офис

7. –абота в офисе Ѓ ¬озвращение в офис

Ќапример, правило 1 гласит, что если по “¬ идет хорошее кино и у мен€ завтра рано утром встреч нет, тогда € следую режиму Уѕозднее киноФ.

–ассмотрим сперва пример пр€мого цепного анализа. ƒопустим, система получила начальную информацию о том, что завтра рано уторм у мен€ нет встреч. јктивируютс€ правила 1 и 2. ƒопустим, что далее система получила сообщение о том, что мне нужно поработать. јктивируетс€ правило 3, а правило 2 вызываетс€ и выполн€ет€, откуда следует вывод, что € нахожусь в режиме У–абота допозднаФ, в результате чего вызываютс€ и выполн€ютс€ правила 5 и 6. ¬ итоге система заключает, что € должна вернутьс€ в офис и не спать допоздна.

“еперь рассмотрим эту же проблему с применением обратного цепного анализа. ƒопустим, что система получила исходную информацию о том, что у мен€ нет завтра утром встреч, но мне нужно еще поработать, а затем ее (систему) спросили, следует ли мне вернутьс€ в офис. ƒанный запрос активирует правила 6 и 7. ¬ свою очередь возникнет вопрос У–абота допозднаФ или У–абота в офисеФ? ѕри этом активируютс€ правила 2 и 3, и возникает вопрос У–ано утром встреч нетФ, УЌужно поработатьФ или УЌужны документыФ? ѕервые два антецедента будут удовлетворены, таким образом правило 2 будет вызвано и выполнено, что повлечет за собой удовлетворение антецедента У–абота допозднаФ, вызов и выполнение правила 6, в результате чего система придет к заключению, что мне следует вернутьс€ в офис.

ќбратите внимание на то, что при пр€мом разборе порождаетс€ больше следствий, а при обратном - запросов. “.к. в обоих примерах использовались одни и те же данные, то в ходе анализа выполн€лись одни и те же правила, но активировались различные.

—равнение

Ёффективность. ¬ыбор вида анализа (сверху вниз или снизу вверх) зависит от конфигурации дерева, по которому осуществл€етс€ поиск. ≈сли в среднем каждому элементу следует большее количество элементов, нежели предшествует, то анализ сверху вниз (или обратный анализ) будет более эффективным и наоборот. –ассмотрим крайний случай. ƒопустим, что поискова€ область образует дерево с вершиной в начальном состо€нии. “огда при использовании пр€мого подхода нам придетс€ осуществл€ть поиск практически по всему дереву, тогда как при обратном подходе - только в его линейной части.

—равнение и унификаци€. ¬ системах с заложенными правилами или системах логического анализа выбор пр€мого или обратного цепного анализа вли€ет на степень трудности процесса сравнени€. ѕри пр€мом цепном анализе системе посто€нно предъ€вл€ютс€ новые факты, не имеющие свободных переменных. “аким образом посто€нно проводитс€ сравнение антецедентов, вполне веро€тно обладающих свободными переменными, с фактами, не обладающими таковыми.

— другой стороны, системам с обратным цепным анализом често задают специальные вопросы. ≈сли правила изложены в логике предикатов, а не логике суждений, тогда производитс€ сравнение вопроса с переменной со следствием с переменными. ¬торичные запросы также могут содержать переменные, поэтому, в общем, системы с обратным цепным анализом должны быть разработаны таким образом, чтобы они могли сравнивать две символьные структуры, кажда€ из которых может содержать переменные, дл€ чего потребуетс€ создание алгоритма унификации.

—мешанные стратегии

ѕоиск в двух направлени€х. ≈сли не €сно, какой вид поиска - пр€мой или обратный - €вл€етс€ наиболее приемлимым дл€ конкретного приложени€, следует осуществл€ть поиск в двух направлени€х. ¬ таком случае, отправными точками станов€тс€ начальное и конечное состо€ние, и поиск осуществл€етс€ по направлению к центру.

¬ывод по двум направлени€м. ѕри данном подходе изначальные данные примен€ютс€ дл€ активировани€ правил, котоые перебирают другие антецеденты в обратном пор€дке. ¬торичные запросы, которые не соответствуют ни следстви€м, ни данным, сохран€ютс€ в качестве УдемоновФ, которые могут быть удовлетворены позднее за счет новых или позднее поступивших данных. —истему можно разработать таким образом, что данные, удовлетвор€ющие УдемонамФ (антецеденты активированных правил) не будут активировать дополнительные правила, что УзаставитФ систему при предсто€щем пр€мом выводе сконцентрироватьс€ на правилах, учитывающих предыдущий контекст.

–азбор с началом в левом углу. ѕрименив вышеописанный метод к парсингу, мы получим так называемый разбор с началом в левом углу. ¬ терминах примера, приведенного в разделе парсинг, система сначала рассмотрит УtheyФ, найдет правило 9 - единственное правило, которое можно применить к этому слову, затем правило 3, объ€сн€ющее PRO, а затем правило 1, как единственное правило, следствие которого начинаетс€ с NP. ƒалее система попытаетс€ разобрать сверху вниз Уare flying planesФ как VP.

«аключение

ќбычно в системах искусственного интеллекта примен€етс€ один из двух видов анализа. ѕервый - это анализ снизу вверх или пр€мой анализ, а второй- сверху вниз или обратный. –азличие их определ€етс€ тем, в каком направлении ведетс€ поиск (от начала в конец или наоборот) и какой элемент (следствие или антецедент) активирует правила.

‘актор эффективности и легкости внедрени€ может сыграть решающую роль при выборе вида анализа, который будет примен€тьс€ в определенном приложении, но следует помнить, что использование смешанных стратегий также возможно.

—≈ћјЌ“»„≈— »≈ —≈“».

—емантическа€ сеть - структура дл€ представлени€ знаний в виде узлов, соединенных дугами. —амые первые семантические сети были разработаны в качестве €зыка-посредника дл€ систем машинного перевода, а многие современные версии до сих пор сходны по своим характеристикам с естественным €зыком. ќднако последние версии семантических сетей стали более мощными и гибкими и составл€ют конкуренцию фреймовым системам, логическому программированию и другим €зыкам представлени€.

Ќачина€ с конца 50-ых годов были создано и применены на практике дес€тки вариантов семантических сетей. Ќесмотр€ на то, что терминологи€ и их структура различаютс€, существуют сходства, присущие практически всем семантическим сет€м:

1. узлы семантических сетей представл€ют собой концепты предметов, событий, состо€ний;

2. различные узлы одного концепта относ€тс€ к различным значени€м, если они не помечено, что они относ€тс€ к одному концепту;

3. дуги семантических сетей создают отношени€ между узлами-концептами (пометки над дугами указывают на тип отношени€);

4. некоторые отношени€ между концептами представл€ют собой лингвистические падежи, такие как агент, объект, реципиент и инструмент (другие означают временные, пространственные, логические отношени€ и отношени€ между отдельными предложени€ми;

5. концепты организованы по уровн€м в соответствии со степенью обобщенности так как, например, сущность, живое существо, животное, плото€дное,;

ќднако существуют и различи€: пон€тие значени€ с точки зрени€ философии; методы представлени€ кванторов общности и существовани€ и логических операторов; способы манипулировани€ сет€ми и правила вывода, терминологи€. ¬се это варьируетс€ от автора к автору. Ќесмотр€ не некоторые различи€, сети удобны дл€ чтени€ и обработки компьютером, а также достаточно мощны, чтобы представить семантику естественного €зыка.

»—“ќ–»„≈— јя —ѕ–ј¬ ј.

‘рег представил логические формулы в виде деревьев, которые однако мало напоминают современные семантические сети. ≈ще одним пионером стал „арльз —андерз ѕрис, который использовал графические записи в органической химии.

ќн сформулировал правила выводы с использованием экзистенциональных графов.

¬ психологии «ельц использовал графы дл€ представлени€ наследственности некоторых характеристик в иерархии концептов. Ќаучные изыскани€ «ельца имели огромное вли€ние на изучение тактики в шахматах, который в свою очередь повли€л на таких теоретиков, как —аймон и Ќьюэлл.

„то касаетс€ лингвистики, то первым ученым, занимавшимс€ разработкой графических описаний, стал “еньер. ќн использовал графическую запись дл€ своей грамматики зависимостей. “еньер оказал огромное вли€ние на развитие лингвистики в ≈вропе.

¬первые семантические сети были использованы в системах машинного перевода в конце 50-х - начале 60-х годов. ѕерва€ така€ система, которую создала ћастерман, включала в себ€ 100 примитивных концептов таких, как, например, Ќј–ќƒ, ¬≈ў№, ƒ≈Ћј“№, Ѕџ“№. — помощью этих концептов она описала словарь объемом 15000 единиц, в котором также имелс€ механизм переноса характеристик с гипертипа на подтип. Ќекоторые системы машинного перевода базировались на коррел€ционных сет€х ÷еккато, которые представл€ли собой набор 56 различных отношений, некоторые из которых - падежные отношени€, отношени€ подтипа, члена, части и целого. ќн использовал сети, состо€щие из концептов и отношений дл€ руководства действи€ми парсера и разрешени€ неоднозначностей.

¬ системах искусственного интеллекта семантические сети используютс€ дл€ ответа на различные вопросы, изучение процессов обучени€, запоминани€ и рассуждений. ¬ конце 70-х сети получили широкое распространение. ¬ 80-х годах границы между сет€ми, фреймовыми структурами и линейными формами записи постепенно стирались. ¬ыразительна€ сила больше не €вл€етс€ решающим аргументом в пользу выбора сетей или линейных форм записи, поскольку идеи записанные с помощью одной формы записи могут быть легко переведены в другую. » наоборот, особо важное значение получили второстепенные факторы, как читаемость, эффективность, неискусственность и теоретическа€ элегантность, также учитываютс€ легкость введени€ в компьютер, редактирование и распечатка.

–≈Ћя÷»ќЌЌџ≈ √–ј‘џ.

—амые простые сети, которые используютс€ в системах искусственного интеллекта, - рел€ционные графы. ќни состо€т из узлов, соединенных дугами.  аждый узел представл€ет собой пон€тие, а кажда€ дуга - отношени€ между различными пон€ти€ми. Ќа рисунке 1 представлено предложение У—обака жадно гложет костьФ. „етыре пр€моугольника представл€ют пон€ти€ собаки, процесса гложени€, кости и такой характеристики, как жадность. Ќадписи над дугами означают, что собака €вл€етс€ агентов гложени€, кость €вл€етс€ объектом гложени€, а жадность - это манера гложени€.

“ерминологи€, использующа€с€ в этой области различна. „тобы добитьс€ некоторой однородности, узлы, соединенные дугами, прин€то называть графами, а структуру, где имеетс€ целое гнездо из узлов или где существуют отношени€ различного пор€дка между графами, называетс€ сетью. ѕомимо терминологии, использующейс€ дл€ по€снени€, также различаютс€ способы изображени€. Ќекоторые используют кружки вместо пр€моугольников; некоторые пишут типы отношений пр€мо над дугами, не заключа€ их в овалы; некоторые используют аббревиатуры, например ќ или ј дл€ обозначени€ агента или объекта; некоторые используют различные типы стрелок. Ќа рисунке 2 изображен граф концептуальных зависимостей Ўенка. <=> означает агента. INGEST (поглощать) - один из примитивов Ўенка: ≈—“№ - ѕќ√Ћќўј“№ твердый объект; ѕ»“№ - ѕќ√Ћќўј“№ жидкий объект; ƒџЎј“№ - ѕќ√Ћќўј“№ газообразный объект. ƒополнительна€ стекла слева показывает, что кость переход из неуказанного места к собаке.

ѕоскольку довольно сложно ввести в компьютер некоторые диаграммы и при этом они занимают много места при печати, многие ученые записывают свои графы в более компактном варианте. Ќапример, то же предложение —ова предложил записать в линейном виде с использованием некоторых элементов из рисунка 1:

[≈—“№]-

(AGNT) -> [—ќЅј ј]

(OBJ) -> [ ќ—“№]

(MANR) -> [∆јƒЌќ—“№]

¬ этом варианте записи квадратные скобки обозначают пон€ти€, а круглые скобки содержат в себе названи€ отношений. ¬се линейные формы записи очень похожи на фреймовые структуры.

√–ј‘џ — ÷≈Ќ“–ќћ ¬ √Ћј√ќЋ≈.

√лаголы соедин€ютс€ с группой существительного с использованием падежных отношений. Ќапример, с предложении УMary gave a book to FredФ, Mary агент давани€, book объект этого процесса, а Fred реципиент глагола УдаватьФ. ѕомимо падежных отношений в предложении в естественном €зыке также имеютс€ средства дл€ св€зи отдельных предложений. “акие отношени€ необходимы дл€ следующего:

—оюзы. —амый простой способ соединить предложени€ - это поставить между ними союз. Ќекоторые союзы, как например УиФ, УилиФ, УеслиФ обозначают логическую св€зь; некоторые, такие как Упосле того, какФ, УкогдаФ, УпокаФ, Ус тех пор, какФ и Употому чтоФ, выражают временные отношени€ и причину.

√лаголы, требующие подчиненное предложение. ѕадежные фреймы многих глаголов требуют подчиненного предложени€, €вл€ющегос€ обычно пр€мым дополнением.   такому типу относ€тс€ глаголы УговоритьФ, УсчитатьФ, УдуматьФ, УзнатьФ, Убыть убежденнымФ, УугрожатьФ, Упытатьс€Ф и др.

ќпределители, относ€щиес€ к целому предложению. ћногие наречи€ и пропозиционные фразы относ€тс€ только к глаголу, но некоторые определ€ют целое предложение. “акие наречи€, как УобычноФ, Уверо€тноФ, в большинстве случаев став€тс€ в начале предложени€. ј например, слово УоднаждыФ определ€ет весь рассказ, следующий после него.

ћодальные глаголы и времена. “акие глаголы, как УmayФ, УcanФ, УmustФ, УshouldФ, УwouldФ и УcouldФ имеют модальное значение и относ€тс€ ко всему предложению, где они встречаютс€. ¬ременное отношение может быть выражено как формой прошедшего времени глаголов, так и обсто€тельствами УсейчасФ, УзавтраФ или УоднаждыФ и другими.

—в€занный дискурс. ѕомимо отношений, выраженных в одном предложении, существуют также отношени€ более высокого пор€дка между отдельными предложени€ми рассказа или какого-либо другого повествовани€. ћногие из них не выражены эксплицитно: временные отношени€ и следование аргументов может быть, например, имплицитно выражено пор€дком следовани€ предложени€ друг за другом в тексте.

»менно потому, что глагол отводитс€ така€ важна€ роль в предложении, многие теори€ делают его своим центральным св€зующим звеном. Ётот подход берет свое начало из »ндо-≈вропейской €зыковой семьи, где модальность и временные отношени€ выражаютс€ изменением глагольной формы. –ассмотрим следующий пример: УWhile a dog was eating a bone, a cat passed by unnoticedФ. ¬ этом предложении сообщено, что, когда предложение УWhile a dog was eating a boneФ €вл€лось истинным, второе предложение УA cat passed unnoticedФ также €вл€етс€ истинным. Ќа рисунке 3 изображен граф с центром в глаголе. —оюз УwhileФ (WHL) соедин€ет узел PASS-BY с узлом EAT. Ќа рисунке 3 показано, что собака €вл€етс€ агентом незамечани€ (not noticing).

√рафы с центром в глаголе - это рел€ционные графы, где глагол считаетс€ центральным звеном любого предложени€. ћаркеры времени и отношени€ пишутс€ пр€мо р€дом с концептами, которые представл€ют глаголы. √рафы концептуальных зависимостей –оджера Ўенка также используют этот подход.

Ќесмотр€ на то, что графы с центром в глаголе довольно гибкие по своей структуре, они обладают р€дом ограничений. ќдно из них заключаетс€ в том, что они не провод€т разграничение между определител€ми, которые относ€тс€ только к глаголу, и определител€ми, относ€щимис€ к предложению целиком. –ассмотрим следующие примеры:

The dog greedily ate the bone.

Greedily, the dog ate the bone.

Ёти графы также плохо справл€ютс€ с предложени€ми, наход€щимис€ внутри других предложений.

ѕри работе с рел€ционными графами возникают проблемы с передачей всего многообрази€ временных отношений и отношений модальности. Ќесмотр€ на то, что многие учение используют эти графы дл€ решени€ сложных проблем, они так до сих пор и не разработали общего метода дл€ их разрешени€. ¬ выше приведенном примере пометка PAST должна относитс€ ко всему предложению, которое говорит о том, что собака ест кость, а не только к глаголу EAT, поскольку очевидно, что кость позже была съедена собакой целиком. “акже должно быть указано, что процесс прохождени€ кошки и процесс не замечани€ ее собакой происходили в одно и то же врем€.

ѕ–ќѕќ«»÷»ќЌЌџ≈ —≈“».

¬ пропозиционных сет€х узлы представл€ют целые предложени€. Ёти узлы €вл€ютс€ точками соприкосновени€ дл€ отношений между отдельными предложени€ми св€занного текста. — другой стороны они определ€ют врем€ и модальность дл€ всего контекста. ѕредставленные ниже примеры иллюстрируют отношени€, дл€ записи которых необходимы пропозиционные узлы:

Sue thinks that Bob believes that a dog is eating a bone.

If a dog is eating a bone, it is unwise to try to take it away from him.

¬ первом предложении дл€ глаголов УthinkФ и УbelieveФ целое предложение €вл€етс€ дополнением: Ѕоб считает, что Уј dog is eating a boneФ, то, что думает —ью представл€ет собой более сложное предложение-УBob believes that a dog is eating a boneФ. “акое гнездование предложений внутри других предложений может повтор€тс€ сколь угодно большое количество раз. „тобы изобразить такое предложение, необходимо использовать пропозиционные узлы, которые содержат гнезд€щиес€ графы. Ќа рисунке 4 изображена пропозиционна€ сеть дл€ этого предложени€. ќтметим, что (EXP) - experiencer, то есть тот кто испытывает, соедин€ет THINK с —ью, а BELIEVE с Ѕобом, однако EAT и DOG соединены между собой агентивным отношением (AGNT). ѕричиной разного типа отношений €вл€етс€ тот факт, что думать и считать-это состо€ни€, испытываемые людьми, а поедание-это действие осуществл€емое агентом.

¬о втором примере представлены два предложени€, наход€щиес€ в отношении услови€. јнтецедентом €вл€етс€ предложение Уј dog is eating a boneФ, а консеквентом предложение УIt is unwise to try to take it away from himФ. »нфинитивы Уto tryФ и Уto takeФ указывают на другие, гнезд€щиес€ предложени€. Ќа гнезд€щиес€ предложени€ также указывает оборот Уit is unwiseФ. ƒл€ этого предложени€ также необходимо указать соответствие между УitФ, УhimФ и УboneФ и УdogФ. —в€зи соответстви€ обозначены пунктиром. ƒл€ формальной записи этого предложени€ также используютс€ кванторы общности и существовани€ и некоторые элементы логики.

¬се рел€ционные графы и графы с центром в глаголе имеют много общего. ќднако среди них существуют также и отличи€:

1. ¬ключение контекста или всего лишь его условное обозначение с отсылкой на схеме.

2. —трогое гнездование: один и тот же концепт может или не может встречатьс€ в двух разных контекстах, ни один из которых не гнездитьс€ в другом.

3. ”казание св€зей соответстви€. ѕри перекрещивающемс€ контексте, то есть когда они один и тот же концепт встречаетс€ в двух разных контекстах, эти св€зи не указываютс€.

ќднако это всего лишь стилистические расхождени€, которые не вли€ют существенно на логику построени€.

»≈–ј–’»я “»ѕќ¬.

»ерархи€ типов и подтипов €вл€етс€ стандартной характеристикой семантических сетей. »ерархи€ может включать сущности: “ј —ј<—ќЅј ј<ѕЋќ“ќяƒЌќ≈<∆»¬ќ“Ќќ≈<∆»¬ќ≈ —”ў≈—“¬ќ<‘»«»„≈— »… ќЅЏ≈ “<—”ўЌќ—“№. ќни также могут включать в себ€ событи€: ∆≈–“¬ќ¬ј“№<ƒј¬ј“№<ƒ≈…—“¬»≈<—ќЅџ“»≈ или состо€ни€: Ё —“ј«<—„ј—“№≈<Ёћќ÷»ќЌјЋ№Ќќ≈ —ќ“ќяЌ»≈<—ќ—“ќяЌ»≈. »ерархи€ јристотел€ включала в себ€ 10 основных категорий: субстанци€, количество, качество, отношение, место, врем€, состо€ние, активность и пассивность. Ќекоторые учение дополнили его своими категори€ми.

—имвол < между более общим и более частным символом читаетс€ как: У’-тип/подтип ”Ф.

“ермин Уиерархи€Ф обычно обозначает частичное упор€дочение, где одни типы €вл€ютс€ более общими, чем другие. ”пор€дочение €вл€етс€ частичным, потому, что многие типы просто не подлежат сравнению между собой. —равним HOUSE<DOG и DOG<HOUSE бессмысленны, если их сравнивать, однако слово DOGHOUSE €вл€етс€ подтипом HOUSE, но не DOG. –ассмотрим некоторые виды графов:

јцикличный граф. Ћюбое частичное упор€дочение может быть изображено, как граф без циклов. “акой граф имеет ветви, которые расход€тс€ и сход€тс€ вместе оп€ть, что позвол€ет некоторым узлам иметь несколько узлов-родителей. »ногда такой тип графа называют путанным.

ƒеревь€. —амым распространенным видом иерархии €вл€етс€ граф с одной вершиной. ¬ такого рода графах налагаютс€ ограничени€ на ацикличные графы: вершина графа представл€ет собой один общий тип, и каждый другой тип ’ имеет лишь одного родител€ ”.

–ешетка. ¬ отличие от деревьев узлы в решетке могут иметь несколько узлов родителей. ќднако здесь налагаютс€ другие ограничени€: люба€ пара типов ’ и ” как минимум должна иметь общий гипертип ’и” и подтип ’или”. ¬следствие этого ограничени€ решетка выгл€дит, как дерево, имеющее по главной вершине с каждого конца. ¬место всего одной вершины решетка имеет одну вершину, котора€ €вл€етс€ гипертипом всех категорий, и другую вершину, котора€ €вл€етс€ подтипом всех типов.

Ќј—Ћ≈ƒќ¬јЌ»≈.

ќсновным свойством иерархии €вл€етс€ возможность наследовани€ подтипами качеств гипертипов: все характеристики, которые присущи ∆»¬ќ“Ќќћ”, также присущи ћЋ≈ ќѕ»“јёў≈ћ”—я, –џЅ≈ и ѕ“»÷≈. ¬ основе теории наследовани€ лежит теори€ силлогизмов јристотел€: ≈сли ј - характеристика ¬, а ¬ - х-ка —, то ј хар-ка всех —.

ѕреимущества иерархии и наследовани€:

»ерархи€ типов €вл€етс€ отличной структурой дл€ индексировани€ базы знаний и ее эффективной организации.

—ледование по какой-либо ветви с помощью иерархии осуществл€етс€ гораздо быстрее.

—»Ќ“ј —»„≈— »… јЌјЋ»« я«џ ј » ≈√ќ ѕќ–ќ∆ƒ≈Ќ»≈.

—емантические сети могут помочь парсеру разрешить семантическую неоднозначность. Ѕез такого рода представлени€ вс€ т€жесть анализ €зыка падает на синтаксические правила и семантические тесты. —труктура же семантической сети €сно показывает, как отдельные концепты соединены между собой.  огда парсер встречает какую-либо неоднозначность, он может использовать семантическую сеть дл€ того, чтобы выбрать тот или иной вариант. ѕри работе с семантическими сет€ми используетс€ несколько техник парсинга.

ѕарсинг, в основе которого лежит синтаксис. –абота парсера контролируетс€ грамматикой непосредственных составл€ющих и операторами построени€ структур и их тестировани€. ¬ то врем€, как данные на входе анализируютс€, операторы построени€ структур создают семантическую сеть, а операторы тестировани€ провер€ют ограничени€ на частично построенной сети. ≈сли никакие ограничени€ не найдены, то используемое при этом грамматическое правило отвергаетс€ и парсер провер€ет другую возможность. Ёто самый распространенный подход.

—интаксический анализатор с использованием семантики. —интаксический анализатор с использованием семантики оперирует также как и парсер, в основе которого лежит синтаксис. ќднако он оперирует не с синтаксическими категори€ми типа группа подлежащего и группа сказуемого, а с концептами высокого уровн€ типа  ќ–јЅЋ№ и ѕ≈–≈¬ќ«»“№.

 онцептуальный парсинг. —емантическа€ сеть предсказывает возможные ограничени€, которые могут встретитс€ в отношени€х между словами, а также прогнозировать слова, которые позже могут встретитьс€ в предложении. Ќапример, глагол давать требует одушевленного агента и а также прогнозирует возможность реципиента и объекта, который будет дан. Ўенк был одним из самых активных сторонников концептуального парсинга.

ѕарсинг, основанный на экспертизе слов. ¬следствие существовани€ большого количества неправильных образований в естественном €зыке, многие люди вместо того, чтобы обращатьс€ к каким-либо универсальным обобщени€м, используют специальные словари, представл€ющих собой совокупность некоторых независимых процедур, которые называютс€ экспертами слов. јнализ предложени€ рассматриваетс€ как процесс, осуществл€емый совместно различными словарными экспертами. √лавным сторонником этого подхода был —мол.

јргументы за и против различных техник парсинга часто основывалс€ не на конкретные данные, а больше на уже усто€вшемс€ мнении. » лишь один проект на практике сравнил несколько видов парсинга - это язык —емантических –епрезентаций, проект разработанный в ”ниверситете Ѕерлина. ¬ течение нескольких лет они создали четыре разных вида парсеров дл€ анализа немецкого €зыка и его записи на язык —емантических –епрезентаций, который представл€ет собой сеть.

ѕервым парсером был парсер, созданный по подобию концептуального парсера Ўенка. Ѕыло отмечено, что хот€ добавление в его лексикон новых слов было довольно легко, анализ однако мог проводитьс€ только на простых предложени€х и только относительных придаточных. –асширить область синтаксической обработки этого парсера оказалось сложной задачей.

¬торой парсер был семантически ориентированные расширенные сети перехода. ¬ нем было легче обобщить синтаксис, однако аппарат синтаксиса работал медленнее, чем у первого рассмотренного парсера.

«атем работа велась с парсером словарных экспертов. «десь легко велась обработка особых случаев, однако разбросанность грамматики между отдельными составл€ющими делала практически невозможным ее общее понимание, поддержку и модифицирование.

ѕарсер, который был создан относительно недавно, - это синтаксически ориентированный парсер, основанный на общей грамматике фразовой структуры. ќн наиболее систематичен и обобщен и относительно быстр.

Ёти результаты в принципе соответствуют мнению других лингвистов: синтаксически ориентированные парсеры наиболее целостны, однако дл€ них необходим определенный набор сетевых операторов дл€ плавного взаимодействи€ между грамматикой и семантическими сет€ми.

ѕорождение €зыка по семантической сети представл€ет собой обратный парсинг. ¬место синтаксического анализа некоторй цепочки с целью порождени€ сети генератор €зыка производит парсинг сети дл€ получени€ некоторой цепочки. —уществует два варианта порождени€ €зыка из семантической сети.

1. √енератор €зыка просто следует по сети, превраща€ концепты в слова, а отношени€, указанные р€дом с дугами, в отношени€ естественного €зыка. Ётот метод имеет много ограничений.

2. ѕодходы, ориентированные на синтаксис контролируют порождение €зыка с помощью грамматических правил, которые используют сеть дл€ того, чтобы определить, какое следующее правило нужно применить.

ќднако на практике оба метода имеют много сходств: например, первый способ представл€ет собой последовательность узлов, которые обрабатываютс€ генератором €зыка, ориентированным на синтаксис.

ќЅ”„≈Ќ»≈ ћјЎ»Ќ.

√рафы и сети представл€ют собой простые пон€ти€ дл€ программ, которые изучают новые структуры. »х преимущество при обучении заключаетс€ в легкости добавлени€ и удалени€, а также сравнени€ дуг и узлов. Ќиже представлены программы, которые дл€ обучени€ использовали семантические сети.

¬инстон использовал рел€ционные графы дл€ описани€ таких структур, как арки и башни. ћашине предлагались примеры верного и неверного описани€ этих структур, а программа создавала графы, которые указывали все необходимые услови€ дл€ того, чтобы эта структура была именно аркой или башней.

—алветер использовал графы с центром в глаголе дл€ представлени€ падежных отношений, которые требуют различные глаголы. ≈го программа MORAN дл€ каждого глагола выведет падежный фрейм, сравнива€ одни и те же ситуации до и после их описани€ с использованием этого глагола.

Ўенк разработал теорию Memory-Organization Packets дл€ объ€снени€ того, как люди узнают новую информацию из конкретных жизненных ситуаций. ѕри этом MOP-это это обобщенна€ абстрактна€ структура, котора€ не имеют отношени€ ни к одной конкретной ситуации в отдельности.

ѕ–»ћ≈Ќ»≈ Ќј ѕ–ј “» ≈.

—емантические сети могут быть записаны практически на любом €зыке программировани€ на любой машине. —амые попул€рные в этом отношении €зыки LISP и PROLOG. ќднако многие версии были созданы и на FORTRANе, PASCALе, C и других €зыках программировани€. ƒл€ хранени€ всех узлов и дуг необходима больша€ пам€ть, хот€ первые системы были выполнены в 60-х годах на машинах, которые были гораздо меньше и медленнее современных компьютеров.

ќдин из самых распространенных €зыков, разработанных дл€ записи естественного €зыка в виде сетей, - это PLNLP (Programming Language for Natural Language Processing) язык ѕрограммировани€ дл€ ќбработки ≈стественного языка, созданный ’айдерном. Ётот €зык используетс€ дл€ работы с большими грамматиками с обширным покрытием. PLNLP работает с двум€ видами правил:

1. с помощью правил декодировани€ производитс€ синтаксический анализ линейной €зыковой цепочки и строитс€ сеть.

2. с помощью правил кодировани€ сканируетс€ сеть порождаетс€ €зыкова€ цепочка или друга€ трансформированна€ сеть.

ѕомимо специальных €зыков дл€ семантических сетей было также разработано специальное аппаратное обеспечение. Ќа обычных компьютерах могут быть успешно выполнены операции с €зыками синтаксического анализа и операции сканировани€ сетей. ќднако дл€ больших баз знаний нахождение нужных правил или доступ к предзнани€м может потребоватьс€ очень много времени. „тобы позволить различным процессам поисках проходить одновременно ‘альман разработал систему NETL, котора€ представл€ет собой семантическую сеть, котора€ может использоватьс€ с параллельным аппаратным обеспечением. “аким образом он хотел создать модель человеческого мозга, в котором сигналы могут двигатьс€ по различным каналам одновременно. ƒругие ученые разработали параллельное программное обеспечение дл€ поиска наиболее веро€тной интерпретации двусмысленных фраз естественного €зыка.

—интез речи.

1 ќграничени€ на синтез речи.

Cуществуют различные методы синтеза речи. ¬ыбор того или иного метода определ€етс€ различными ограничени€ми. –ассмотрим те 4 вида ограничений, которые вли€ют на выбор метода синтеза.

«адача.

¬озможности синтезированной речи завис€т от того, в какой области она будет примен€тс€.  огда необходимо произносить ограниченное число фраз ( и их произнесение линейно не мен€етс€ ), необходимый речевой материал просто записываетс€ на пленку. — другой стороны, если задача состоит в стимулировании познавательного процесса при чтении вслух, используетс€ совершенно другой р€д методик.

√олосовой аппарат человека.

¬се системы синтеза речи должны производить на выходе какую-то речевую волну, но это не произвольный сигнал. „тобы получить речевую волну определенного качества, сигнал должен пройти путь от источника в речевом тракте, который возбуждает действие артикул€торных органов, которые действуют как измен€ющиес€ во времени фильтры. јртикул€торные органы также накладывают ограничени€ на скорость изменени€ сигнала. ќни также имеют функцию сглаживани€: гладкого сцеплени€ отдельных базовых фонетических единиц в сложный речевой поток.

—труктура €зыка.

–€д возможных звуковых сочетаний опредл€етс€ природой той или иной €зыковой структуры. Ѕыло обнаружено, что еденицы и структуры, используемые лингвистами дл€ описани€ и объ€снени€ €зыка, могут также использоватьс€ дл€ характеристики и построени€ речевой волны. “аким образом, при построении выходной речевой волны используютс€ основные фонологические законы, правила ударени€, морфологические и синтаксические структуры, фонотактические ограничени€.

“ехнологи€.

¬озможности успешно моделировать и создавать устройства дл€ синтеза речи в сильной степени завис€т от состо€ни€ технико-технологической стороны дела. –ечева€ наука сделала большой шаг вперед благодар€ по€влению различных технолоний, в том числе: рентгенографи€, кинематографи€, теори€ фильтров и спектров, а главным образом - цифровые компьютеры. — приходом интегральных сетевых технологий с посто€нно возрастающими возможност€ми стало возсожно построение мощных, компактных, недорогих устройств, действующих в реальном времени. Ётот факт, вместе с основательными знани€ми алгоритмов синтеза речи, стимулировал дальнейшее развитие систем синтеза речи и переход их в практическую жизнь, где они наход€т широкое применение.

2 ћетоды синтеза.

–азличные подходы могут быть сгруппированы по област€м их применени€, по сложности их воплощени€.

—интезаторы дел€т на два типа: с ограниченным и неограниченным словарем. ¬ устройствах с ограниченным словарем речь хранитс€ в виде слов и предложений, которые вывод€тс€ в определенной последовательности при синтезе речевого сообщени€. –ечевые единицы, используемые в синтезаторах подобного типа, произнос€тс€ диктором заранее, а затем преобразуютс€ в цифровую форму, что достигаетс€ с помощью различных методов кодировани€, позвол€ющих компрессировать речевую информацию и хранить ее в пам€ти синтезирующего устройства. —уществует несколько методов записи и компоновки речи.

¬олновой метод кодировани€.

—амый легкий путь - просто записать материал на пленку и по необходимости проигрывать. Ётот способ обеспечивает высокое качество синтезируемой речи, т.к. позвол€ет воспроизводить форму естественного речевого сигнала. ќднако этот путь синтеза не позвол€ет реализовать построение новой фразы, т.к. не предусматривает обращение к различным €чейкам пам€ти и вызов из пам€ти нужных слов. ¬ зависимости от используемой технологии этот способ может представл€ть задержки в доступе и иметь ограничени€, св€занные с возможност€ми записи. Ќикаких знаний об устройстве речевого тракта и структуре €зыка не требуетс€. ≈динственно серьезное ограничение в данном случае имеет объем пам€ти. —уществуют способы кодировани€ речевого сигнала в цифровой форме, позвол€ющие в несколько раз уплотн€ть информацию: проста€ модул€ци€ данных, импульсно-кодова€ модул€ци€, адаптивна€ дельтова€ модул€ци€, адаптивное предиктивное кодирование. ƒанные способы могут уменьшить скорость передачи данных от 50кбит/сек (нормальный вариант) до 10кбит/сек, в то врем€ как качество речи сохран€етс€. ≈стественно, сложность операций кодировани€ и декодировани€ увеличиваетс€ со снижением числа бит в секунду. “акие системы хороши, когда словарь сообщений небольшой и фиксированный. ¬ случае же, когда требуетс€ соединить сообщени€ в более длинное, сгенерировть высококачественную речь трудно, т.к. значени€ параметров речевой волны нельз€ изменить, а они могут не подойти в новом контексте. ¬о всех системах синтеза речи устанавливаетс€ некоторый компромисс между качеством речи и гибкостью системы. ”величение гибкости неизбежно ведет к усложнению вычислений.

ѕараметрическое представление.

— целью дальнейшего уменьшени€ требуемой пам€ти дл€ хранени€ и обеспечени€ необходимой гибкости было разработано несколько способов, которые абстрагируютс€ от речевой волны как таковой, а представл€ют ее в виде набора параметров. Ёти параметры отражают наиболее характерную информацию либо во временной, либо в частотной области. Ќапример, речева€ волна может быть сформирована сложением отдельных гармоник заданной высоты и заданными спектральными выступами на данной частоте. јльтернативный путь состоит в том, чтобы форму речевого тракта описать в терминах акустики и искусственным путем создать набор резонансов. Ётот метод синтеза экономичнее волнового, т.к. требует значительно меньшего объема пам€ти, но при этом он требует больше вычислений, чтобы воспроизвести исходный речевой сигнал. ƒанный способ дает возможность манипулировать теми параметрами, которые отвечают за качество речи (значение формант, ширина полос, частота основного тона, амплитуда сигнала). Ёто дает возможность склеивать сигналы, так что переходы на границах совершенно не заметны. »зменени€ таких параметров как частота основного тона на прот€жении всего сообщени€ дают возможность существенно измен€ть интонацию и временные характеристики сообщени€. Ќаиболее попул€рным в наст.вр. методами кодировани€ в устройствах, использующих параметрическое представление сигналов, €вл€етс€ метод, основанный на формантных резонансах и метод линейного предсказани€ (LPC - linear predictive coding). ƒл€ синтеза используютс€ единицы речи различной длины: параграфы, предложени€, фразы, слова, слоги, полуслоги, дифоны. „ем меньше единица синтеза, тем меньшее их количество требуетс€ дл€ синтеза. ѕри этом, требуетс€ больше вычислений, и возникают трудности коартикул€ции на стыках. ѕреимущества этого метода: гибкость, немного пам€ти дл€ хранени€ исходного материала, сохранение индивидуальных характеристик диктора. “ребуетс€ соответствующа€ цифрова€ техника и знание моделей речеобразовани€, при этом, лингвистическа€ структура €зыка не используетс€.

—интез по правилам.

ќписанные выше методы синтеза ориентированы на такие речевые единицы, как слова, предварительно введенные в устройство с голоса диктора. ƒанный принцип лежит в основе функционировани€ синтезаторов с ограниченным словарем. ¬ синтезаторах с неограниченным словарем элементами речи €вл€ютс€ фонемы или слоги , поэтому в них примен€етс€ метод синтеза по правилам, а не проста€ компоновка. ƒанный метод весьма перспективен, т.к. обеспечивает работу с любым необходимым словарем, однако качество речи значительно ниже, чем при использовании метода компоновки.

ѕри синтезе речи по правилам также используютс€ волновой и параметрический методы кодировани€, но уже на уровне слогов.

ћетод параметрического представлени€ требует компромисса между качеством речи и возможностью измен€ть параметры. »сследователи обнаружили, что дл€ синтеза речи высокого качества необходимо иметь несколько различных произношений единицы синтеза (например, слога), что ведет к увеличению словар€ исходных единиц без каких бы то ни было сведений о контекстной ситуации, оправдывающей тот или иной выбор. ѕо этой причине процесс синтеза получает еще более абстрактный характер и переходит от параметрического представлени€ к разработке набора правил, по которым вычисл€ютс€ необходимые параметры на основе вводного фонетического описани€.Ёто вводное представление содержит само по себе мало информации. Ёто обычно имена фонетических сегментов ( напр, гласные и согласные) со знаками ударени€, обозначени€ми тона и временных характеристик. “аким образом, метод синтеза по правилам использует малоинформационное описание на входе ( менее 100 бит/сек). Ётот метод дает полную свободу моделировани€ параметров, но необходимо подчеркнуть, что правила моделировани€ несовеншенны. —интезированна€ речь хуже натуральной, тем не менее, она удовлетвор€ет тестам по разборчивости и пон€тности. Ќа уровне предложени€ и параграфа правила предоставл€ют необходимую степень свободы дл€ создани€ плавного речевого потока.

3  онвертаци€ текста в речь.

—интез по правилам требует детального фонетического транскрибировани€ на входе. ’от€ дл€ запоминани€ этой информации требуетс€ мало пам€ти, чтобы извлечь из нее необходимые параметры, необходимы знани€ эксперта. ƒл€ конвертации неограниченного английского текста в речь необходимо сначала проанализировать его с целью получени€ транскрипции, котора€ затем синтезируетс€ в выходную речевую волну. јнализ текста по своей природе задача лингвистическа€ и включает в себ€ определение базовых фонетических, слоговых, морфемных и синтакисическмих форм, плюс - вычленение семантической и прагматической информации. —истемы конвертации текста в речь €вл€ютс€ наиболее комплексными системами синтеза речи, включающие в себ€ знани€ об устройстве речевого аппарата человека, лингвистической структуре €зыка, а также которые должны учитывать ограничени€, накладываемые областью применени€ системы, технико-технологической базой. Ќеобходимо заметить, что и текст и речь €вл€ютс€ поверхностными представлени€ми базовых лингвистических форм, поэтому задача преобразовани€ текста в речь состоит в вы€влении этих базовых форм, а затем в воплощении их в речи.

4 —истема преобразовани€ текста в речь MITalk.

Ќа примере этой системы проиллюстрируем сильные и слабые стороны коммерческих версий. –азработка системы началась в конце 60-х гг. »значально предполагалось разработать читающую машину дл€ слепых, но система MITalk может примен€тьс€ в любых ситуаци€х, где необходимо преобразовать текст в речь. —истема имеет блок морфологического анализа, правила преобразовани€ буква-звук, правила лексического ударени€, просодический и фонематический синтез.

5 јнализ текста

ѕреобразование символов в стандартную форму.

¬ самых различных текстах можно обнаружить символы и аббревиатуры, которые не принадлежат к категории " правильно образованных слов". “акие символы как "%" и "&", аббревиатуры типа "Mr" и "Nov" должны быть преобразованы в нормальную форму. Ѕыли разработаны подробные руководства по транскрибированию чисел, дат, сум денег. »ногда возникают двусмысленные ситуации, такие как, например, использование знака дефиса в конце строки. „еловек в таких случа€х, чтобы определить подход€щее произношение, обращаетс€ к контексту и к практическим знани€м, которые не поддаютс€ алгоритмизации.

ћорфологический анализ

¬ вводном тексте границы слов легко определ€ютс€. ћожно хранить произношение всех английских слов. –азмер словар€ будет большим, но в таком подходе есть несколько привлекательных сторон. ¬о-первых, в любом случае необходим словарь слов, произношение которых €вл€етс€ исключением из общих правил. “акими €вл€ютс€, например, заимствованные слова ( parfait, tortilla). Ѕолее того, все механизмы преобразовани€ цепочки букв в фонетические значки допускают ошибки. »нтересный класс исключений составл€ют часто употребительные слова. Ќапример, звук /th/ в начале слова произноситс€ как глухой фрикативный в большинстве слов (thin, thesis, thimble). Ќо в наиболее частотных, таких как короткие функциональные слова the, this, there, these, those, etc. начальный звук произноситс€ как звонкий. “акже /f/ всегда произноситс€ глухо, за исключением слова "of". ƒругой пример. ¬ словах типа "shave", "behave" конечный /e/ удлин€ет предшествующий гласный, но в таком частом слове как "have" это правило не действует. Ќаконец, конечный /s/ в "atlas", "canvas" глухой, но в функциональных словах is, was, has он произноситс€ звонко. “аким образом, приходим к выводу, что все системы должны иметь такой словарь исключений. „то касаетс€ нормальных слов, то здесь имеетс€ два варианта. ѕервый крайний случай состоит в том, чтобы составить полный словарь. ’от€ число слов ограничено, составить абсолютно полный словарь невозможно, т.к. посто€нно по€вл€ютс€ новые слова.  роме того, в словарь необходимо будет внести все измен€емые формы слова. ƒругой крайний подход состоит в установлении р€да правил, которые бы преобразовывали цепочки букв в фонетические значки. ’от€ эти правила очень продуктивны, нельз€ избежать ошибок, что ведет к созданию словар€ исключений. „тобы правильно определить фонетическую транскрипцию слова, нужно правильно разбить слово на структурные составл€ющие. Ѕыло обнаружено, что важную роль в определении произношени€ играет морфема, минимальна€ синтаксическа€ единица €зыка. —истема MITalk использует морфемный лексикон, что может рассматриватьс€ как некоторый компромиссный подход между двум€ крайними, упом€нутыми выше. ћногие английские слова можно расчленить на последовательность морфов, таких как префиксы, корни, суффиксы. “ак слово "snowplows" имеет два корн€ и окончание, "relearn" имеет приставку и корень. “акие морфы €вл€ютс€ атомными составл€ющими слова и они относительно стабильны в €зыке, новые морфы формируютс€ в €зыке очень редко. Ёффективный лексикон может иметь не более 10,000 морфов. ћорфемный словарь действует вместе с процедурами анализа. Ётот подход эффективен и экономичен, т.к. хранение морфемного словар€ не занимает много места, а хранить все измен€емые формы слова не нужно. “ак как морфы €вл€ютс€ основными составл€ющими слова, проиллюстрируем их полезность при определении произношени€. ѕри соединении морфов они часто мен€ют свое произношение. Ќапример, при образовании множественного числа существительных "dog" и "cat" конечный /s/ будет звонким в первом случае и глухим во втором. Ёто пример морфофонемного правила, касающегос€ реализации морфемы множественного числа в различных окружени€х. —тановитс€ очевидным, что дл€ эффективного и легкого определени€ произношени€ нужно распознать составл€ющие морфемы слова и обозначить их границы. ≈ще один плюс морфемного анализа - обеспечение подход€щей базы дл€ использовани€ правил преобразовани€ буква-звук. Ѕольшинство таких правил рассматривают слово как неструктурированную последовательность букв, использу€ окно сканировани€ дл€ нахождени€ согласных и гласных кластеров, которые преобразуютс€ в фонетические значки. Ѕуквы "t" и "h" в большинстве случаев выступают как единый согласный кластер, но в слове "hothouse" кластер /th/ разрываетс€ границей двух разных морфем. √ласный кластер /ea/ представл€ет много трудностей дл€ алгоритмов буква-звук, но в слове changeable он €вно разрываетс€. ¬ системе MITalk морфемный анализ всегда проводитс€ перед правилами преобразовани€ букв в звуки. Ћежащие в основе слова морфы не всегда очевидны. Ќапример, некоторые морфы множественного числа не всегда легко определить: mice, fish. ѕодобные формы занос€тс€ в словарь. ѕри помощи морфемного лексикона и соответствующего алгоритма анализа 95-98% слов анализируетс€ удовлетворительно. ¬ результате им приписываетс€ фонетическа€ транскрипци€ и часть речи.

ѕравила "буква-звук" и лексическое ударение

¬ системе MITalk нормализованный вводный текст подвергаетс€ морфологическому анализу. ћожет быть, что целое слово есть в словаре морфов, как, например, слово "snow". — другой стороны, слово может быть проанализировано как последовательность соединенных морфов. ¬ английском €зыке среднее число морфов в слове, примерно два. ¬ случае, если ни целое слово не может быть найдено в словаре морфов, ни проанализировано как последовательность морфов, в этом случае примен€ютс€ правила преобразовани€ "буква-звук". ¬ажно подчеркнуть, что этот метод никогда не примен€етс€, если морфемный анализ удалс€.  онвертаци€ последовательности букв в последовательность звуков при помощи этих правил проходит в три этапа. ѕервый этап - отделение префиксов и суффиксов. ¬озможность отделени€ аффиксов не така€ сильна€, как в морфемном анализе, но действует удовлетворительно. ѕредполагаетс€, что после отделени€ префиксов и суффиксов остаетс€ одна центральна€ часть слова, котора€ состоит из одного морфа, подвергаемого затем правилам преобразовани€.

¬торой этап состоит в преобразовании согласных в фонетические значки, начина€ с наиболее длинного согласного кластера до тех пор, пока все отдельные согласные не будут преобразованы. ѕоследний этап - оставшиес€ гласные преобразуютс€ при помощи контекстов. √ласные преобразуютс€ последними, потому что это наиболее трудна€ задача, завис€ща€ от контекста. Ќапример, гласный кластер /ea/ имеет 14 разных произносительных контекстов и несколько произношений (reach, tear, steak, leather).

¬ системе MITalk правила преобразовани€ букв в звуки действуют в паре с широким набором правил расстановки лексического ударени€. ≈ще 25 лет назад лингвистам не удавалось обнаружить никакой системы расстановки ударений в английских словах. ¬ Ќасто€щее врем€ разработан р€д правил, эффективно справл€ющихс€ с этой задачей. ”дарени€ завис€т от синтаксической роли слова, например, прилагательное "invalid" отличаетс€ от существительного. “аких слов немного, но учитывать их необходимо.  роме того, на некоторые суффиксы автоматически падают ударени€ в словах, как, например, в "engineer". Ќо бывают более сложные случаи, которые разрешаютс€ применением циклических правил.

¬ системе MITalk разработаны несколько наборов таких правил, некоторые из которых включают в себ€ до 600 правил.  онечно, большинство из них употребл€ютс€ довольно редко. ѕодразумеваютс€, что все сильные и неправильные формы преобразуютс€ на стадии морфологического анализа. ѕравила же "буква-звук" используютс€ дл€ преобразовани€ новых и неправильно написанных слов. Ќапример, слово "recieved" получает правильную транскрипцию, благодар€ этим правилам преобразовани€.

ѕарсинг.

 ажда€ схема преобразовани€ неограниченного текста в речь должна включать синтаксический анализ. Ќеобходимо определить синтаксическую роль слова, т.к. она часто вли€ет на произношение и ударение.  роме того синтаксический анализ важен дл€ определени€ правильного тонального контура и временных характеристик. ѕросодические характеристики важны дл€ синтеза речи, чтобы она звучала живо и естественно.   сожалению, полный синтаксический анализ на уровне сложного предложени€ (clause-level parsing) осуществить нельз€. “ем не менее, возможно провести синтаксический анализ на уровне фразы (phrase-level parsing), в результате которого определ€етс€ больша€ часть необходимой дл€ синтеза речи структуры, хот€ в некоторых ситуаци€х неизбежны ошибки из-за отсутсви€ анализа целого предложени€. ¬стречаетс€ множество синтаксически двусмысленных предложений, таких как "he saw the man in the park with a telescope", дл€ которых фразовый анализ достаточен.

¬ английском €зыке существует р€д синтагматических маркеров, по которым можно формально разграничить фразы: это вспомогательные глаголы, детерминативы в номинативных фразах. —истема MITalk широко использует это и проводит высокоточный грамматический анализ (augmented-transition-network grammas). ‘разовый анализ показал удовлетворительные результаты, хот€ эффективный анализатор предложений несомненно улучшил бы работу системы. ѕока анализаторы предложений сталкиваютс€ со значительными трудност€ми, когда встречают неполное или синтаксически омонимичное предложение. ѕо завершении де€тельности блока синтаксического анализа система приписывает словам маркеры функциональных частей речи, отмечает синтаксические паузы как основу дл€ дальнейшего уточнени€ произношени€, временных харатеристик, частоты основного тона.

ћодификаци€ ударени€ и фонологические уточнени€.

ѕоследн€€ фаза анализа состоит в некоторых незначительных поправках к имеющейс€ уже фонетической транскрипции на основе анализа контекстного окружени€. ѕростой пример определени€ произношени€ артикл€ "the", которое зависит от начального звука последующего слова.  роме того, на этом этапе используютс€ некоторые эвристические методы проверки правильного соотношени€ общего контура предложени€ с контурами отдельных слов. Ќа этом этапе заканчиваетс€ подготовка исходного текста собственно к самому процессу синтеза.

6 —интез.

¬ажно осознать, что в системе MITalk не используютс€ готовые речевые волны даже в параметрическом представлении. —истема не хранит параметрические представлени€ множества морфов или слов. ¬место этого были разработаны правила контрол€ параметров, так что можно реализовать любую желаемую речевую волну на выходе.

ѕросодическа€ рамка.

ѕервый шаг в создании выходной речевой волны - создание временного контура и частоты основного тона ( основные коррел€ты интонации ), на основе которых строитс€ детальна€ артикул€ци€ отдельных фонетических элементов. –аспределение ударени€, которое было вычислено на стадии анализа, во многом ответственно за контур временного распределени€ и тональный контур. „асто интенсивность принимают за коррел€т ударени€, тогда как главными ключами €вл€ютс€ длительность и изменени€ в тональном контуре. —огласные мало мен€ютс€ по длительности, в то врем€ как гласные более пластичны и могут легко сжиматьс€ или раст€гиватьс€. —уществует также тенденци€ раст€гивать слова на границе основных абзацев предложени€, и наоборот, сжимать интервалы на относительно невыделенных участках.  роме того, на основе временной рамки задаетс€ частота основного тона (или тональный контур). ¬ утвердительных предложени€х обычно высота тона резко поднимаетс€ на первом ударном слоге, затем плавно снижаетс€ до последнего ударного слога, где она резко падает. ¬опросительные и повелительные предложени€ имеют различные тональные контуры.  роме целостного контура предложени€ существуют еще локальные ударени€. Ѕольшее ударение получают слова, выражающие отрицание или сомнение ( например, слово might ), значение частоты основного тона на них возрастает; нова€ информаци€ в предложении также больше выдел€етс€ ударением. — другой стороны, высота тона используетс€ в семантических и эмоциональных цел€х, что не может быть выведено из письменного текста. Ќеобходимо лишний раз подчеркнуть важность составлени€ правильного просодического контура, т.к. неправильный просодический контур может привести к трудност€м в воспри€тии.

—интез фонетических сегментов.

 огда завершено создание просодической рамки, создаютс€ параметры, соответствующие модели речевого тракта. ќбычно таких параметров 25, которые измен€ютс€ с интервалом 5 - 10 мсек. ¬ насто€щее врем€ используютс€ около 100 контекстных правил описани€ траектории изменени€ параметров.  огда значени€ параметров вычислены, они должны быть перенесены на соответствующую модель речевого тракта (обычно это формантна€ модель или LPC-модель). ¬ыходна€ дискретна€ модель создаетс€ обычно на частоте 10  гц.

7 ќценка синтетической речи.

— точки зрени€ пон€тности, разборчивости качество синтезированной речи достаточно хорошее. Ѕыл проведен тест, где одна группа испытуемых прослушивала синтезированную речь с письменным вариантом перед глазами, а друга€ - без. ¬ы€снилось, что результаты прослушивани€ мало отличаютс€ друг от друга. “ем не менее, синтезированной речи не хватает живости и естественности, поэтому воспринимать ее на прот€жении длительного времени трудно. »сследовани€ показали, что фрикативные и назальные звуки требуют дальнейшего улучшени€ качества.

“еори€ фреймов

- это парадигма дл€ представлени€ знаний с целью использовани€ этих знаний компьютером . ¬первые была представлена ћинским как попытка построить фреймовую сеть , или парадигму с целью достижени€ большего эффекта понимани€ . — одной стороны ћинский пыталс€ сконструировать базу данных , содержащую энциклопедические знани€ , но с другой стороны , он хотел создать наиболее описывающую базу , содержащую информацию в структурированной и упор€доченной форме . Ёта структура позволила бы компьютеру вводить информацию в более гибкой форме , име€ доступ к тому разделу , который требуетс€ в данный момент . ћинский разработал такую схему , в которой информаци€ содержитс€ в специальных €чейках , называемых фреймами , объединенными в сеть , называемую системой фреймов . Ќовый фрейм активизируетс€ с наступлением новой ситуации . ќтличительной его чертой €вл€етс€ то , что он одновременно содержит большой объем знаний и в то же врем€ €вл€етс€ достаточно гибким дл€ того , чтобы быть использованным как отдельный элемент Ѕƒ . “ермин "фрейм" был наиболее попул€рен в середине семидес€тых годов , когда существовало много его толкований , отличных от интерпретации ћинского .

„тобы лучше пон€ть эту теорию , рассмотрим один из примеров ћинского , основанный на св€зи между ожиданием , ощущением и чувством человека , когда он открывает дверь и входит в комнату . ѕредположим , что вы собираетесь открыть дверь и зайти в комнату незнакомого вам дома . Ќаход€сь в доме , перед тем как открыть дверь , у вас имеютс€ определенные представлени€ о том , что вы увидите , войд€ в комнату . Ќапример , если вы увидите к-л пейзаж или морской берег , поначалу вы с трудом узнаете их . «атем вы будете удивлены , и в конце концов дезориентированы , так как вы не сможете объ€снить поступившую информацию и св€зать ее с теми представлени€ми , которые у вас имелись до того . “акже у вас возникнут затруднени€ с тем , чтобы предсказать дальнейший ход событий. — аналитической точки зрени€ это можно объ€снить как активизацию фрейма комнаты в момент открывани€ двери и его ведущую роль в интерпретации поступающей информации . ≈сли бы вы увидели за дверью кровать , то фрейм комнаты приобрел бы более узкую форму и превратилс€ бы во фрей кровати . ƒругими словами , вы бы имели доступ к наиболее специфичному фрейму из всех доступных .¬озможно ,б что вы используете информацию , содержащуюс€ в вашем фрейме комнаты дл€ того чтобы распознать мебель , что называетс€ процессом сверху-вниз , или в контексте теории фреймов фреймодвижущим распознаванием . ≈сли бы вы увидели пожарный гидрант , то ваши ощущени€ были бы аналогичны первому случаю. ѕсихологи подметили , что распознавание объектов легче проходит в обычном контексте, чем в нестандартной обстановке . »з этого примера мы видим , что фрейм - это модель знаний , котора€ активизируетс€ в определенной ситуации и служит дл€ ее объ€снени€ и предсказани€ . ” ћинского имелись достаточно расплывчатые идеи о самой структуре такой Ѕƒ , котора€ могла бы выполн€ть подобные вещи . ќн предложил систему , состо€щую из св€занных между собой фреймов , многие из которых состо€т из одинаковых подкомпонентов , объединенных в сеть . “аким образом , в случае , когда к-л входит в дом , его ожидани€ контролируютс€ операци€ми , вход€щими в сеть системы фреймов . ¬ рассмотренном выше случае мы имеем дело с фреймовой системой дл€ дома , и с подсистемами дл€ двери и комнаты . јктивизированные фреймы с дополнительной информацией в Ѕƒ о том , что вы открываете дверь , будут служить переходом от активизированного фрейма двери к фрейму комнаты . ѕри этом фреймы двери и комнаты будут иметь одинаковую подструктуру . ћинский назвал это €вление разделом терминалов и считал его важной частью теории фреймов .

ћинский также ввел терминологию , котора€ могла бы использоватьс€ при изучении этой теории ( фреймы , слоты , терминалы и т. д.) . ’от€ примеры этой теории были разделены на €зыковые и перцептуальные , и ћинский рассматривал их как имеющих общую природу , в €зыке имеетс€ более широка€ сфера ее применени€ . ¬ основном большинство исследований было сделано в контексте общеупотребительной лексики и литературного €зыка .

 ак наиболее доступную иллюстрацию распознаванию , интерпретации и предположению можно рассмотреть две последовательности предложений , вз€тых из Ўранка и јбельсона . Ќа глобальном уровне последовательность ј €вно отличаетс€ от ¬ .

A John went to a restaurant

He asked the waitress for a hamburger

He paid the tip & left

B John went to a park

He asked the midget for a mouse

He picked up the box & left

’от€ все эти предложени€ имеют одинаковую синтаксическую структуру и тип семантической информации , понимание их кардинально различаетс€ . ѕоследовательность ј имеет доступ к некоторому виду структуры знаний высшего уровн€ , а ¬ не имеет . ≈сли бы ј не имело такой доступ , то ее понимание сводилось бы к уровню ¬ и характеризовалось бы как дезориентированное . Ётот контраст €вл€етс€ нагл€дным примером мгновенной работы высшего уровн€ структуры знаний .

Ѕыла предложена программа под названием SAM , котора€ отвечает на вопросы и выдает содержание таких рассказов . Ќапример , SAM может ответить на следующие вопросы , ответы на которые не даны в тексте , с помощью доступа к записи предполагаемых событий , предшествующих обеду в ресторане .

Did John sit down in the restaurant ?

Did John eat the hamburger ?

“аким образом , SAM может распознать описанную ситуацию как обед в ресторане и затем предсказать оптимальное развитие событий . ¬ нашем случае распознавание не представл€ло трудностей , но в большинстве случаев оно довольно непростое и €вл€етс€ самой важной частью теории .

–ассмотрим другой пример :

C He plunked down $5 at the window .

She tried to give him $ 2.50 , but he wouldn't take it .

So when they got inside , she bought him a large bag of popcorn .

ќн интересен тем , что у большинства людей он вызывает цикл повтор€ющихс€ неправильных или незаконченных распознаваний и реинтерпретаций .

¬ случа€х с многозначными словами многозначность разрешаетс€ с помощью активизированного ранее фрейма . ƒл€ этих целей необходимо создать лексикон к каждому фрейму .  огда фрейм активизируетс€ , соответствующему лексикону отдаетс€ предпочтение при поиске соответствующего значени€ слова . ¬ контексте “‘ это распознавание процессов , контролируемых фреймами , которые , в свою очередь , контролируют распознавание вход€щей информации . »ногда это называетс€ процессом сверху - вниз фреймодвижущего распознавани€ .

ѕрименение этих процессов нашло свое отражение в программе FRAMP , котора€ может суммировать газетные сводки и классифицировать их в соответствие с классом событий , например терроризм или землетр€сени€ . Ёта программа хранит набор объектов , которые должны быть описаны в каждой разновидности текстов , и этот набор помогает процессу распознавани€ описываемых событий .

ћанипул€ци€ фреймами

ƒетали спецификации ‘ и их репрезентации могут быть опущены , так же как и алгоритмы их манипул€ции , потому что они не играют большой роли в “‘ .

“акие вопросы , как размер ‘ или доступ к нему , св€заны с организацией пам€ти и не требуют специального рассмотрени€ .

–аспознавание

¬ литературе имеетс€ много рассуждений по поводу процессов , касающихс€ распознавани€ фреймов и доступа к структуре знаний высшего уровн€ . Ќесмотр€ на то , что люди могут распознать фрейм без особых усилий , дл€ компьютера в большинстве случаев это довольно сложна€ задача . ѕоэтому вопросы распознавани€ фреймов остаютс€ открытыми и трудными дл€ решени€ с помощью »» .

–азмер фрейма

–азмер фрейма гораздо более тесно св€зан с организацией пам€ти , чем это кажетс€ на первый взгл€д . Ёто происходит потому , что в понимании человека размер фрейма определ€етс€ не столько семантическим контекстом , но и многими другими факторами . –ассмотрим фрейм визита к доктору , который складываетс€ из подфреймов , одним из которых €вл€етс€ комната ожидани€ . “аким образом мы можем сказать , что размер фрейма не зависит от семантического содержани€ представленного фрейма / такого , как , например , визит к врачу / , но зависит от того , какие компоненты описывающей информации во фрейме / таком , как комната ожидани€ / используютс€ в пам€ти . Ёто означает , что когда определенный набор знаний используетс€ пам€тью более чем в одной ситуации , система пам€ти определ€ет это , затем модифицирует эту информацию во фрейм , и реструктурирует исходный фрейм так , чтобы новый фрей использовалс€ как его подкомпонент .

¬ышеперечисленные операции также остаютс€ открытыми вопросами в “‘ .

»нициализационные категории

–ош предложил три уровн€ категорий представлени€ знаний : базовую , субординатную и суперординационную . Ќапример в сфере меблировки концепци€ кресла €вл€етс€ примером категории основного уровн€ , а концепци€ мебели - это пример суперординационной категории . язык представлени€ знаний подвержен вли€нию этой таксономии и включает их как различные типы данных . ¬ сфере человеческого общени€ категории основного уровн€ €вл€ютс€ первейшими категори€ми , которые узнают человек , другие же категории вытекают из них . “о есть суперординационна€ категори€ - это обобщение базовой , а субординатна€ - это подраздел базовой категории .

пример

суперординатна€ идеи событи€

базова€ событи€ действи€

субординатна€ действи€ прогулка

 аждый фрейм имеет свой определенный так называемый слот . “ак , дл€ фрейма действие слот может быть заполнен только к-л исполнителем этого действи€ , а соседние фреймы могут наследовать этот слот .

Ќекоторые исследователи предположили , что случаи грамматики падежей совпадают со слотами в “‘ , и эта теори€ была названа теорией идентичности слота и падежа . Ѕыло предложено число таких падежей , от 8 до 20 , но точное число не определено . Ќо если агентив полностью совпадает со своим слотом , то остальные падежи вызвали споры . » до сих пор точно не установлено , сколько всего существует падежей .

“акже вызвал трудность тот факт , что слоты не всегда могут быть переходными . Ќапример , в соответствие с “‘ можно сказать , что фрейм одушевленный предмет может иметь слот живой , фрейм человек может иметь слот честный , а фрейм блоха не может иметь такой слот , и он к нему никогда не перейдет .

ƒругими словами , св€зи между слотами в “‘ не €вл€ютс€ исследованными до конца . —лоты могут передаватьс€ , могут быть многофункциональны , но в то же врем€ не рассматриваютс€ как функции . √ибридные системы

—‘ иногда адаптируютс€ дл€ построени€ описаний или определений . Ѕыл создан смешанный €зык , названный KRYPTON , состо€щий из фреймовых компонентов и компонентов предикатных исчислений , помогающих делать к-л выводы с помощью терминов и предикатов .  огда активизируетс€ фрейм , факты станов€тс€ доступными пользователю . “акже существует €зык Loops , который объедин€ет объекты , логическое программирование и процедуры .

—уществуют также фреймоподобные €зыки , которые за исходную позицию принимают один тип данных в пам€ти , к-л концепцию , а не две / напр фрейм и слот / , и представление этой концепции в пам€ти должно быть цельным .

ќбъектно - ориентированные €зыки

ѕараллельно с €зыками фреймов существуют объектно - ориентированные программные €зыки , которые используютс€ дл€ составлени€ программ , но имеют некоторые св-ва €зыков фреймов , такие , как использование слотов дл€ детальной , доскональной классификации объектов . ќтличие их от €зыков фреймов в том , что фреймовые €зыки направлены на более обобщенное представление информации об объекте .

ќдной из трудностей представлени€ знаний и €зыка фреймов €вл€етс€ отсутствие формальной семантики . Ёто затрудн€ет сравнение свойств представлени€ знаний различных €зыков фреймов , а также полное логическое объ€снение €зыка фреймов .

“рансформационна€ грамматика

“рансформационна€ грамматика - это одна из теорий описани€ естественного €зыка, основанна€ на предположении, что весь диапазон предложений любого €зыка может быть описан путем осуществлени€ определенных изменений, или трансформаций, над неким набором базовых предложений. –азработанна€ Ќаумом ’омским (Noam Chomsky) в начале 50-х гг. и получивша€ свое развитие в ранних работах «елига ’арриса (Zellig Harris), теори€ трансформационной грамматики в насто€щее врем€ €вл€етс€ чуть ли не единственной широко изучаемой и примен€емой лингвистической моделью в —Ўј. ¬ то же врем€ необходимо отметить, что, в св€зи с возможностью по-разному трактовать большинство центральных идей данной теории, внутри нее в насто€щий момент существует несколько соперничающих версий, претендующих на УправильнуюФ интерпретацию трансформационной грамматики. »ногда трансформационную грамматику также называют генеративной грамматикой.

—интаксические и семантические правила

÷ентральна€ иде€ трансформационной теории состоит в том, что поверхностные формы любого €зыка - его предложени€ - €вл€ютс€ результатом взаимодействи€ между несколькими модульными подсистемами. Ѕольшинство версий трансформационной грамматики предполагают, что две базовые подсистемы из их общего числа - это набор синтаксических правил (ограничений) и набор семантических правил. —интаксические правила определ€ют правильное расположение слов в предложени€х (например, предложение УJohn will eat the ice creamФ правильно, поскольку состоит из именной группы УJohnФ и следующей за ним глагольной группы, или предиката, Уwill eat the ice creamФ). —емантические правила отвечают за то, чтобы правильно интерпретировать конкретное расположение слов в предложении (например, УWill John eat the ice creamФ €вл€етс€ вопросом).

—интаксические правила можно далее разделить на базовую грамматику, котора€ генерирует набор базовых предложений, и трансформационные правила, которые позвол€ют на основе базовых предложений создать производные предложени€, или поверхностные структуры. “акже существует дополнительный набор правил, которые на основе поверхностных структур создают произносимые выходные предложени€.

“рансформационные правила

“рансформационные правила предназначены дл€ описани€ систематических отношений в предложении, как то:

отличи€ между активным и пассивным предложением

глобальные отношени€ в предложении (например, св€зь между what и eat в предложении УWhat will John eatФ)

неоднозначности, причиной которых €вл€етс€ одна и та же форма предложени€, выведенна€ из двух различных базовых предложений (например, в предложении УThey are flying planesФ flying можно рассматривать и как прилагательное и как основной глагол)

Ѕазовое предложение УJohn will eat the ice-creamФ может быть сгенерировано простым набором синтаксических правил, а затем, применив к нему трансформационные правила, можно построить производный вопрос УWill John eat the ice-creamФ. — помощью другой последовательности трансформационных правил можно построить пассивное предложение: УWill the ice-cream be eaten by JohnФ. ¬ последнем случае мы видим, что в предложение добавились новые элементы be и by, а также изменились местоположение и форма старых элементов предложени€.

Ѕазова€ грамматика

Ѕазовые синтаксические признаки описываютс€ грамматикой непосредственных составл€ющих, в простейшем случае контекстно-независимой грамматикой. ƒанна€ грамматика имеет следующий набор правил:

1) S Ѓ NP Aux VP 2) VP Ѓ Verb NP

3) NP Ѓ Name 4) NP Ѓ Determiner Noun

Auxiliary Ѓ will 6) Verb Ѓ eat

7) Determiner Ѓ the 8) Noun Ѓ ice cream

9) Name Ѓ John

ѕервое правило гласит, что предложение (S) - это именна€ группа (NP), за которой следует вспомогательный глагол (Aux) и затем глагольна€ группа (VP). —трелку можно интерпретировать, как выражение У€вл€етс€Ф либо как команду Узаменить символ S последовательностью NP Aux VPФ. ѕодобным образом, второе правило гласит, что глагольна€ группа состоит из глагола, за которым следует именна€ группа. “ретье и четвертое правило рассматривают именную группу, как им€ собственное либо как существительное с детерминантом (определ€емым словом). ѕоследние п€ть правил €вл€ютс€ лексическими; они ввод€т реальные слова, например, УФ.

—имволы типа Уice creamФ называютс€ терминальными элементами, так как они никогда не присутствуют в левой части правил.   ним нельз€ далее примен€ть никакие правила; на них как бы заканчиваютс€ все действи€ правил. ¬се остальные символы, такие как S, NP, VP, Name и другие, считаютс€ нетерминальными.

¬се правила этой грамматики называютс€ контекстно-независимыми, поскольку они позвол€ют свободно замещать любой символ слева от стрелки любой последовательностью символов справа от стрелки. — формальной точки зрени€, контекстно-независимые правила имеют только один неразложимый символ, как то S, NP или VP, слева от стрелки.

ƒл€ того, чтобы сгенерировать базовый синтаксический признак, необходимо применить правила грамматики, начина€ с символа S и до тех пор, пока никакие правила уже нельз€ применить. Ётот процесс называетс€ деривацией, поскольку из символа S выводитс€ нова€ цепочка символов. –езультатом деривационного процесса может служить следующа€ запись:

 ак правило, системы правил, подобные вышеописанной, подвергаютс€ расширению с целью исключить возможность генерации бессмыслицы, типа УThe ice cream ateФ или УJohn tookФ. ƒл€ этого ввод€тс€ так называемые контекстно-зависимые правила, которые определ€ют контекст, дающий право замен€ть нетерминальные символы на терминальные. Ќапример, символ V может быть заменен глаголом УtookФ только в том случае, если справа от него находитс€ объект NP. ≈ще один пример: глагол УeatФ может употребл€тьс€ только после одушевленного существительного, что и должны подчеркивать контекстно-зависимые правила. Ќеобходимо отметить, что в стандартной трансформационной теории 1965 года контекстно-зависимые лексические правила €вл€лись частью словар€, а не базовой грамматики. ¬ дополнение к лексическим контекстно-зависимым правилам, словарь содержит набор импликаций типа: У≈сли слово €вл€етс€ именем человека, то оно также €вл€етс€ одушевленным существительным.Ф

—ловарь, состо€щий из лексических ограничений и правил импликации, в сочетании с правилами базовой грамматики позвол€ет генерировать определенный набор базовых предложений. –анее они назывались глубинными структурами, однако потом така€ терминологи€ была признана неудачной: данные формы не €вл€ютс€ глубинными ни в том смысле, что они €вл€ютс€ наиболее простыми и неразложимыми, ни в том смысле, что их значение €вл€етс€ более глубоким; вследствие этого было решено отказатьс€ от данной терминологии.

“рансформационный компонент

¬ соответствии с блок-схемой, базовые структуры далее поступают в трансформационный компонент, где дл€ генерации дополнительных предложений могут примен€тьс€ от нул€ до нескольких трансформаций; на выходе этой процедуры получаетс€ поверхностна€ структура, которую уже можно произносить, как обычное предложение. ≈сли не примен€етс€ ни одно из трансформационных правил, то поверхностна€ структура получаетс€ такой же, как и базовое предложение. “акое обычно происходит с простыми повествовательными предложени€ми, например:. ≈сли же трансформационные правила все же примен€ютс€, то они производ€т новые синтаксические признаки, например: УWill John eat the ice-creamФ.

ѕримером трансформационного правила может служить преобразование, создающее вопросительное предложение из синтаксического признака, который можно записать как X wh Y, где X и Y - любые цепочки символов в синтаксических признаках, а wh - - люба€ фраза, начинающа€с€ с wh, например, УwhoФ, УwhatФ или Уwhat ice creamФ. ÷ель этого трансформационного правила - переместить элемент wh в начало предложени€. ≈сли вз€ть синтаксический признак, соответствующий предложению УJohn will eat whatФ, то его часть, соответствующа€ УJohn will eatФ будет равна X, УwhatФ - wh, а пуста€ последовательность - Y. ћожно сделать вывод, что данна€ трансформаци€ может иметь место. ѕереместив фразу с wh в начало, мы получим УWhat John will eatФ. ѕрименив к получившемус€ синтаксическому признаку дополнительную трансформацию, а именно инверсию подлежащее - вспомогательный глагол, можно получить вопрос УWhat will John eatФ. Ќеобходимо отметить, что трансформационные правила применимы только к целым предложени€м.

“радиционно, структурные описани€ и структурные изменени€ записываютс€ путем присвоени€ элементам правила пор€дковых номеров и соответствующей записи. ¬ нашем случае правило wh будет записано следующим образом:

—труктурное описание: (X,wh,Y)

(1,2,3)

—труктурное изменение: (2,3,1)

ѕонимание речи

ѕонимание речи обычно трактуют как преобразование акустического представлени€ речи в смысловое. ѕри создании практических систем смысл можно определить, как представление, из которого извлекаютс€ действи€, совершенные системой. ѕонимание речи следует отличать от распозновани€ речи, где целью €вл€етс€ сопоставить речевое высказывание с соответствующими словами в словаре. ƒо начала 70-ых большинство исследований было направлено на распознование речи. 5 лет потребовалось на создание системы ARPA, первоначальна€ исследовательска€ цель которой заключалась в распознавании речи, а конечные результаты в понимании.  азалось, что способность системы давать разумный ответ на речь была более значимым критерием дл€ развити€ речевых систем.   тому же считалось, что речевой сигнал €вл€етс€ недостаточным источником информации, и знание контекста речевого высказывани€ важно только дл€ успешного распонавани€ и интерпретации. —истемы по распознованию речи, основанные на динамическом программировании и соответствии с образцами, развивали дл€ речевых высказываний, которые состо€ли почти полностью из изолированных слов, выбираемых из небольшого вокабул€ра. ќднако такой подход, при котором ищетс€ наиболее точное соответствие между определенными произнесенными словами и вокабул€ром акустическох образцов слов, меньше всего подходил к св€занной речи, так как входной акустической сигнал в этом случае не может быть эффективно смоделирован, как простое сочетание произнесенных частей лексических единиц. ¬ св€занной речи изменчивость, вы€вл€ема€ при соответствии с образцами, передает полезную информацию и дл€ распозновани€, и дл€ интерпретации. ќднако, необходимо начинать с основных лингвистических единиц, таких как фонемы, и сохран€ть информацию о ритме и длительности речевого высказывани€. ≈сли следуют таким путем, то подход к обработке речи, основанный скорее на знании, чем на соответстви€х с образцами, становитс€ неизбежным, так как, чтобы извлекать преимущества из распознавани€ конкретных лингвистических единиц в сигнале, необходимо знать, как данна€ единица св€зана с остальной частью €зыка.

—истемы понимани€ речи (—ѕ–) имеют дело со св€занными единицами речи, такими как, фразы, предложени€ и даже параграфы, так как "понимание" изолированных слов может означать только тривиальный процесс сопоставлени€ некоторого значени€ к каждому слову словар€ системы. ѕонимание св€занной речи - очень сложна€ задача, и на проект —ѕ– повли€ли исследовани€ в таких разных област€х, как акустическа€ обработка сигнала, нейро-физиологи€, психолингвистика, психологи€. —ѕ– была создана, чтобы понимать всего нескольких дикторов одного диалекта, производ€ грамматически ограниченное подмножество €зыка со словарем около тыс€чи слов. —ейчас хот€ и имеютс€ много потенциальных прикладных программ дл€ —ѕ– их эффективность и надежность все еще недостаточна, чтобы широко использоватьс€. —истемы, зависимые от диктора, распознающие изолированные слова с небольшим словарем, использующие в качестве образцов-соответствий целые слова уже нашли свое применение, типа обработки багажа на авиалини€х. “ем не менее признано, что усовершенствование такого типа систем (большие словари, независимость от диктора) требует подхода, основанного на более глубоких знани€х.

“еоретические предпосылки

ѕосредником при преобразовании речи в ее значение должны служить определенные компоненты, которые используют разнообразные источники знани€ (»«), т.к. речевой сигнал кодирует много различной информации, необходимой дл€ восстановлени€ значени€. Ќапример, вариативность в произношении слов в св€занной речи больше не €вл€етс€ помехой при подборе образца соответстви€, но это довольно важный источник информации, например, относительно расположени€ границ слова или контекстуально важной (выделенной ударением) информации в произнесении. ≈динственной возможной организацией —ѕ– и основных »« €вл€етс€ следующа€: –≈„№ - ќЅ–јЅќ–“ ј ј ”—“»„≈— ќ√ќ —»√ЌјЋј - ‘ќЌ≈“»„≈— »… јЌјЋ»« - ‘ќЌќЋќ√»„≈— »… јЌјЋ»« - ћќ–‘ќЋќ√»„≈— »… јЌјЋ»« - Ћ≈ —»„≈— »… ƒќ—“”ѕ   —Ћќ¬ј–ё - —»Ќ“ј —»„≈— »… јЌјЋ»« - —≈ћјЌ“»„≈— »… јЌјЋ»« - «Ќј„≈Ќ»≈. ѕри такой организации —ѕ– информаци€ течет вверх по мере того, как каждый элемент создает промежуточные представлени€, кодиру€ (частичные) гипотезы относительно ввода на основе ему доступного знани€.

јкустическа€ обработка отцифровывает сигнал с входной частотой, котора€ сохран€ет сигнал дл€ понимани€. јкустическа€ обработка также трансформирует отцифрованный сигнал различными способами, чтобы представить его в той форме, котора€ поддаетс€ фонетическому декодированию. Ќапример, спектральный анализ будет выполнен дл€ каждого проанализированного фрейма, и дополнительные параметры, такие как частота основного тона, подсчитаны. ѕараметрический сигнал может затем быть помечен как дискретна€ последовательность фонем. Ќапример, если сигнал с низкой амплитудой равномерно распростран€етс€ поперек спектра, то этот звук веро€тно фрикативный, типа [f] или [v].  роме того, дл€ каждой фонемы характерны такие особенности, как высота тона, длительность и амплитуда. јкустическо - фонетическое преобразование €вл€етс€ решающим дл€ эффективной работы —ѕ–, но все еще одно из наиболее слабых сторон речевой обработки. » это €вл€лось главным недостатком —ѕ–, разработанной на основе ARPA в 1970-ых.

‘онологический анализ выполн€етс€ на фонетическом представлении, которое определ€ет лингвистически важные различи€, имеющиес€ в фонетическом представлении произнесени€, например, уровни и расположение ударени€, интонационный контур, структуры слога, последовательности фонем, лежащих в основе произнесени€. ‘онологический анализ необходим дл€ лексического доступа, т.е. процесса, который сопоставл€ет фонетическую форму произнесени€ с каноническими фонемными представлени€ми слов в словаре, чтобы восстановить информацию, хран€щуюс€ там относительно их морфологических, синтаксических, и семантических свойств. Ёто отмен€ет такие эффекты быстрой речи, как ассимил€ци€ или сокращени€. Ќапример, слова УdidФ и "you" могли бы иметь в словаре следующие последовательности фонем: /dld/ и /ju:/. ќднако, акустическо - фонетическое преобразование могло бы восстанавливать фактические звуки или фонемы, типа [dIje]; св€зывать эту фонетическую последовательность c каноническими фонемными представлени€ми УdidФ и "you". Ёто необходимо, если нужно узнать, что палатализаци€ произошла на границе слова, заменив [dj] на [j], и что неударный гласный "you" был редуцирован до нейтрального безударного. јналогично, фонологическое знание относительно допустимых последовательностей фонем в слогах может использоватьс€, чтобы распознать слог, и следовательно, границы слова. Ќапример, в /houmhelp/ должна быть граница между /m/ и вторым /h/, потому что никакой слог в английском не может содержать /mh/.

 ак только фонологический анализ завершен, дальнейша€ обработка ввода будет подобна пониманию текста. ƒальнейшие морфологический, синтаксический, семантический и прагматический анализы способствуют распознаванию, эксплуатиру€ избыточность речи, в информационно - теоретическом смысле. ¬ некоторых из проектов APRA задача синтаксического анализа заключалась в том, чтобы исключить гипотезы слова на основе синтаксически недопустимых последовательностей.

ѕрежде, чем слова, выделенные в речевом сигнале будут сопоставлены с лексическими входам в словаре системы, необходимо провести морфологический анализ, который приведет слова к их основной форме, например, устранит окончание множественного числа /s/ или /z/, которые сильно бы расширили число входов в словарь.

ѕосле морфологического анализа возникшее морфофонологическое представление речевого ввода может быть найдено в словаре системы, чтобы получить синтаксическую и семантическую информацию относительно гипотезы последовательности слов. —интаксический, семантический, и прагматический анализ - в основном тот же самый дл€ речевого и текстового понимани€. ќднако, должно быть взаимодействие между этими и более низкими уровн€ми анализа не только, потому что они будут дополн€ть правильное распознавание произнесени€, но также потому что некоторые аспекты фонологического анализа, особенно касающиес€ ударени€ и интонации, будут способствовать интерпретации. ”дарение, например, необходимо дл€ определени€ контекстуально новой информации и дл€ нахождению зависимых слов дл€ местоимений.

Ёто краткое описание вклада различных »« в понимание речи только раскрывает основные процессы. »«, использованные в понимании речи, €вл€ютс€ прежде всего лингвистическими. ќднако, эффективность —ѕ– зависит во много как от эффективного использовани€ этих »« так и от разработки их содержани€.

јкустическо - фонетический јнализ

Ќесомненно наиболее важна€ область в обработке речи, нуждающа€с€ в исследовани€х, - это акустическо - фонетический анализ. ≈сли акустическо - фонетический анализ слабый, то ошибочные гипотезы выдадут в итоге неправильный анализ. —егментаци€ и идентификаци€ акустического сигнала в последовательности лингвистических единиц чрезвычайно трудна. —начала, речь - это код, а не шифр; то есть, акустическое сигналы, ассоциирующиес€ с сегментами, непосредственно с ними не св€занны; на эти сигналы сильно вли€ют соседние сегменты. Ќапример, спектрограммы /d/ в /di/ и /du/ очень различны, т.к. на них вли€ют последующий гласный.  роме того, не возможно разделить акустической сигнал на /d/ и следующий гласный. Ёти наблюдени€ создали следующую теорию: конечное количество этих сегментов не всегда можно достичь из-за непрерывного движени€ вокального трактата. “акой синтезирующий анализ был бы, однако, очень в вычислительном отношении дорогой, так как он требовал бы, чтобы —ѕ– умел генерировать всех возможные произнесени€ и сопоставл€ть их с акустическом вводом. ќднако во-первых, акустическое сигналы, в противоположность фонемам или алафонам, содержат инвариантные сигналы. ¬о-вторых, акустическое сигналы часто сильно редуцируютс€ в безударном положении. Ёто часто вызывает много неправильных гипотез в системах, где акустическо - фонетический компонент будет принимать за гипотезу сегмент из фиксированного инвентар€. ¬-третьих, акустическое сигналы варьируют от диктора диктору из-за физиологических особенностей вокального тракта, различи€ в характеристиках речи и т.д.. Ћюди способны компенсировать эти различи€ быстро и плавно, но все еще мало пон€тно, как сделать этот процесс автоматическим. Ѕольшинство коммерческих систем распознавани€ речи требует длинного обучени€, повтор€€ за пользователем каждое слово в словаре системы несколько раз и - следовательно очень зависимо диктора. ¬ ARPA несколько из разработанных —ѕ– достигли определенной степени независимости от диктора, пыта€сь ввести параметр в акустическо - фонетический анализ дл€ нового диктора на основе обучающегос€ предложени€, которое знала система, пользователю же следовало его проговорить.

¬о всех ARPA проектируют —ѕ–, где акустическо - фонетический анализ фактически не существовал и сегментный анализ не был точным.  онечное представление каждой системы было главным образом определено эффективностью более высоких уровней анализа при исправлении ошибок на фонетическом уровне. Ѕолее современные системы используют более сложный акустическо - фонетический анализ, интегриру€ информацию из р€да преобразований акустического сигнала и создава€ несколько типов фонетических представлений, но эффективность все еще ограничиваетс€ в среднем 70% успешным распознаванием фонем из речевого высказывани€, произнесенных небольшим количеством дикторов.

‘онологический јнализ

‘онологический компонент необходим дл€ любой, обрабатывающей речь, системы, основанной на знани€х, потому что система требует знани€ относительно фонологических процессов, активных в €зыке и в прикладных программах, чтобы восстанавливать канонические произношение слов, которые могут быть сопоставлены с соответствующими входами словар€, и получать дальнейшие сигналы к синтаксической и семантической/прагматической интерпретации речевого высказывани€. ‘онологические компоненты были разработаны дл€ —ѕ– и других систем ARPA. ќднако, они были в значительной степени ограничены лексическими, сегментными процессами и обычно имели дело с фонологически управл€емыми изменени€ми, генериру€ альтернативное произношение дл€ индивидуальных лексических единиц и сохран€€ их в дополнительном словаре. Ётот подход не может иметь дело адекватно с фонологическими процессами, которые соедин€ют границы слова, типа палатализации. —ама€ больша€ область прикладной программы дл€ фонологического правила - интонационна€ фраза; следовательно, фонологию нельз€ рассматривать в терминах различного произношени€ дл€ лексических единиц. ‘онологический анализ обеспечивает много важной информации дл€ —ѕ–; например, различные виды фонологического правила блокированы различными лингвистическими границами между сегментами. ѕолезно разложить на слоги и слова речь, сегментаци€ может также обеспечить сведени€ дл€ синтаксического анализа; палатализаци€ соедин€ет границы слова, но блокирована на границах главных синтаксических составл€ющих, так что ее отсутствие может использоватьс€, чтобы решить неоднозначность относительно присутстви€ такой границы в данном месте речевого сигнала. ‘онологические правила также измен€ютс€ среди диалектов. —ледовательно, —ѕ–, способные к пониманию дикторов с различными диалектами, требовали бы знани€ относительно этих различий и способности реконфигурировать себ€ дл€ их речи. ѕалатализаци€, например, происходит чаще в американских диалектах, чем в британских или английских.

¬ конце семидес€тых стали развиватьс€ новые подходы к фонологии, такие как автосегментна€, метрическа€ зависимости, фонологи€ зависимости, дл€ которых центральным €вл€етс€ сверхсегментальный аспект. Ќекоторые из этих достижений были включены в —ѕ–.

»нтерпретаци€, основанна€ на источнике знаний

»« бесполезны в —ѕ–, если знание, которое они кодируют, не может быть представлено таким образом, который позвол€ет интерпретацию с помощью машины. Ќапример, специалисты по фонетики обычно используют ћеждународный ‘онетический јлфавит дл€ фонетической записи. ќднако, так как выбор представлени€ воздействует на прикладную программу знани€, системы представлени€ »« в —ѕ– часто €вл€лись компромиссом между описательной адекватностью и вычислительной эффективностью. Ќапример, в ARPA проектируют каждый —ѕ–, использу€ идею синтаксического представлени€, чтобы не выражать все грамматические возможности английского €зыка. ‘ормальный €зык и теори€ автоматов предлагают эффективные алгоритмы дл€ прикладной программы »«, выраженные в наборах правил с соответствующими формальными свойствами. Ќапример, минимально увеличенные контекстно - свободные записи дл€ адекватного описани€ английского синтаксиса и фонологии. ќднако, успехи этого вида не ведут автоматически в вычислительном отношении к »«, так как наборы правил, требуемые, чтобы выразить знание в этой форме могут быть чрезвычайно большие.  роме того, кажетс€ маловеро€тно, что все »«, используемые в —ѕ– могут быть выражены внутри таких ограниченных записей. “ем не менее, более специализированные и мощные методы также были разработаны, типа интерпретаторов дл€ промышленных систем или увеличенные сети переходов. ѕо€вл€ютс€ некоторые экспертные оболочки системы, €вл€ющеес€ многообещающими прикладными программами дл€ акустическо - фонетического преобразовани€. „ем лучше понимание специфической области, тем больше возможность представлени€ знани€ адекватно и эффективно.  роме того, веро€тно, что различные схемы представлени€ будут наиболее эффективны дл€ различных »«; следовательно, структура —ѕ–, котора€ нав€зывает, одинаковую схему дл€ всех »«, типа HAERSAY-11 или HARPY, не идеальна.

Ќа выбор представлени€ воздействуют факторы, другие чем доступность методики интерпретации дл€ специфической схемы; например, несколько —ѕ– не пытаютс€ отображать непосредственно между акустическом сигналом и фонетическим алфавитом, но создавать промежуточные представлени€, отмеча€ акустическо €ркие особенности типа назальности, помогать процессу распознавани€ фонем. Ќа представлени€ также воздействует пор€док, в котором расположены различные »«, относ€щиес€ к речевому сигналу и полной структуре —ѕ–. Ќедавно было предложено, чтобы начальный фонетический анализ отмечал согласные, гласные, а также ударные и безударные слоги и что это простое представление должно использоватьс€, чтобы получить набор слов-кандидатов из соответственно организованного словар€. ƒетализированный фонетический анализ затем примен€лс€ бы к безударному слогу(слогам), чтобы распознать его между кандидатами.

—труктура —истемы

Ѕольша€ часть литературы по —ѕ– касаетс€ межкомпонентной св€зи во врем€ обработки. Ёта проблема €вл€етс€ основной, т.к. неоднозначности должны быть решены быстро, чтобы избежать ненужного вычислени€, и также потому, что избыточность между »« может использоватьс€, чтобы разложить на множители неправильные гипотезы, вызванные или ошибками системы или подлинной неоднозначностью в речевом сигнале. Ќапример, акустическо - фонетический компонент мог бы предложить аспирированный /p/ или /b/, за которым следует гласные и /t/, результатом этого предположени€ могут стать такие слова-кандидаты, как УputФ и "but". ќднако, веро€тно, одно из них будет отклонено на основе синтаксического анализа, так как глаголы и союзы не играют одинаковую роль в предложении. јналогично, подлинна€ синтаксическа€ неоднозначность имеетс€ в высказывании, типа " He gave her dog biscuits ", где сочетание "herФ может функционировать и как прилагательное и как существительное. Ќо в этом случае неоднозначность может быть решена с помощью ударени€ и интонации, которые будут сопровождать обе интерпретации.

ѕредложенные структуры - иерархические, с последовательным потоком информации через цепочку компонентов »«, и неиерархические, без ограничени€ на поток информации между компонентами.

ѕреимущество иерархического подхода в том, что имеетс€ естественный пор€док дл€ прикладной программы »«, чтобы вводить речь; синтаксический анализ может осуществл€тьс€ только на основе лексической информации и т.д.  роме того, в целом управление системы просто. ќднако, имеютс€ много случаев, когда непоследовательные взаимодействи€ между цепочкой компонентов полезны; например, аспекты просодической, сверхсегментальной структуры высказывани€ будут релевантны по отношению к фонологической, синтаксической, семантической, и прагматической интерпретации. Ќепоследовательное взаимодействие может быть достигнуто внутри иерархической модели, передава€ все возможные анализы, совместимые с данным компонентом следующему, который затем выбирает подмножество анализов. Ќо это только тогда сработает, если промежуточные представлени€, переданные через —ѕ– настолько обогащены, что можно было бы использовать всю проанализированную информацию в следующих компонентах. “аким образом, ввод синтаксического компонента в дополнение к синтаксической информации относительно слов должен включить всю доступную информацию дл€ синтаксического анализа, типа просодической информации, и вс€ информаци€, относ€ща€с€ семантическому/прагматическому анализу должна быть также включена. Ёто усложн€ет схему представлени€, и дорого в вычислительном отношении, т.к. создает много неправильных гипотез. Ќеправильных гипотез можно избежать, т.к. информаци€, в которой отсутствует неоднозначность временно доступна, она закодирована в той части речевого сигнала, который уже проанализирован на более низких уровн€х, но в иерархической модели этот способ не примен€етс€, пока ввод не достигает соответствующего компонента в последовательной цепочке.

Ќеиерархические системы избегают неэффективности, позвол€€ компонентам примен€ть в наиболее эффективном пор€дке сложные межкомпонентные св€зи.  аждый компонент нужно обеспечить средствами, чтобы запрашивать и получить информацию из других компонентов или начинать определенную обработку в другом компоненте. Ёто требует специальных каналов св€зи между компонентами в системе. –азработка адекватной системы управлени€ дл€ такой модели невозможна, т.к. должна предусматривать все возможные потоки управлени€ в стадии проекта. ѕрактически, реальные неиерархические модели дл€ —ѕ– были ограничены однородными представлени€ми из »« и одиночной глобальной структурой данных, как в (blackboard systems) рабочих системах.

—тратегии ќбработки

–азличные стратегии обработки использовались в разных структурах —ѕ–, чтобы сократить вычисление, требуемое дл€ успешного анализа. » иерархические и неиерархические системы могут работать со способами управлени€ данными как снизу-вверх, так и сверху-вниз при использовании знани€, чтобы создать гипотезы относительно ввода. ќднако, самые современные —ѕ– используют способ снизу-вверх из-за довольно слабого предсказани€ речи на основе »«. јналогично, —ѕ– может исследовать пространство, определ€€ его глубину и ширину. Ѕольшинство систем оперирует с шириной пространства из-за сомнительного или ошибочного характера многих гипотез, но использует подсчитывающие методы, чтобы сохранить размер активного исследуемого пространства. ќдна из таких методик, подсчитывающа€ неудачи, котора€ включает измерение совокупности множества индивидуальных слов-кандидатов в соотношении с теоретической верхней границей и обработку гипотезы, гарантирует, что —ѕ– найдет наиболее полную подсчитывающую гипотезу дл€ первого высказывани€. ќднако это не гарантирует, что наиболее привлекательна€ гипотеза €вл€етс€ правильной; эффективность компонентов, которые способствуют порождению гипотез слова, все еще €вл€етс€ определ€ющим фактором в полном представлении системы. Ётим оценкам должны отвечать все компоненты, и они должны отражать различные добавлени€ каждого »«. ќднако, значение, которое должно быть присоединено к любому »«, должно изменитьс€ в соответствии с контекстом. Ќапример, при распознавании безударного и фонетически редуцированного предлога, синтаксический анализ должен чаще обращатьс€ к акустическому анализу, чем при распознавании ударного слога.  роме того, исследовани€ должны быть оценены с помощью времени. ’от€ некоторые схемы оценки, которые использовались в готовых —ѕ–, улучшают эффективность, это св€зано или по теоретическим причинам, с подсчитывающей методикой, например, подсчитывающей неудачи, или, потому что они были разработаны на основе испытаний и ошибок и оценивались исключительно по эффективности, св€занной со временем выполнени€, например механизм фокуса внимани€ в рабочей системе HEARSAY-11.

јнализ речевого сигнала может проходить слева направо через линейный сигнал или из середины островов большей акустической надежности в обоих направлени€х. ѕодход, использующий острова надежности, имеет преимущество в прин€тии свободных от ошибок фонетических данных за начальную отметку за счет более сложной структуры управлени€ и организации системы, как в HWIM. ѕо-видимому слушатели обращают большее внимание на ударные слоги, которые вообще более €сно произнос€тс€, и следовательно более легко анализируютс€ фонетически.  роме того, фонологическа€ структура английского словар€ вынуждена быть составленной таким способом, при котором каждое слово может быть получено даже при грубом фонетическом анализе структуры слога вместе с детальным анализом ударного слога. —ледовательно, подход, использующий острова надежности по существу правилен, хот€ и был бы более эффективен, если обработка началась в ударных слогах.

“екущие “енденции

Ќачина€ с проекта ARPA в 70-ых имел место период в исследовании речевого понимани€, скорее ориентированный на проблемы, чем на построение систем. ћногие из этих исследований сосредоточились на акустическо-фонетическом преобразование в результате новых доказательств, показывающих информационное богатство акустического сигнала. —ейчас же возобновлен интерес к построению полных систем, включающий исследовани€, касающиес€ структуры системы. ќднако, большинство развивающихс€ систем, основанных на знани€х, ограничено скорее распознаванием непрерывной речи, чем пониманием. ”совершенствовани€ в акустическо-фонетическом анализе предполагают, чтобы верхние уровни анализа не были определ€ющими дл€ распознавани€ непрерывной речи, вопреки преобладающему мнению во времена проекта ARPA. Ќо проблемы понимани€, такие как способы представление знаний, остаютс€ нерешенным.

—истемы

√лавные —ѕ–, разработанные в проекте ARPA, были HARPY, HWIM, HTEARSAY-11, и SRI/SDC. HARPY оказалс€ наиболее близким по критерию эффективности, определенном дл€ проекта. ќднако, структура HARPY требовала составлени€ всего »« в одну конечную сеть, так что €зык, воспринимаемый системой был более ограничен, чем в других системах. —истема HEARSAY-11 была создана как промышленна€ система. Ќесколько —ѕ– были разработаны дл€ ≈вропейских €зыков, таких как KEAL и MYRTILLE-11 дл€ ‘ранцузского €зыка и EVAR дл€ немецкого. ќднако, эти системы не превзошли системы ARPA по эффективности или проекту. “ак же была создана автоматическа€ система бронировани€ места на авиалинии, котора€ включает непрерывное понимание речи. Ёта система, разработанна€ в Ћаборатори€х Bell, отвечает на телефон, чтобы установить соответствующую бронь. ќна использует метод сопоставлени€ целового слова с шаблоном, чтобы распознать слова из словар€, насчитывающего 127 слов.



ѕринцип аналогии в морфологии ¬ работе Ѕелоногова √. √. и «еленкова ё. √. описываетс€ принцип построени€ алгоритма морфологического анализа текстов на основе принципа аналогии. ƒанный принцип используетс€ в системах орфографического контрол€ русск

 

 

 

¬нимание! ѕредставленна€ ƒипломна€ работа находитс€ в открытом доступе в сети »нтернет, и уже неоднократно сдавалась, возможно, даже в твоем учебном заведении.
—оветуем не рисковать. ”знай, сколько стоит абсолютно уникальна€ ƒипломна€ работа по твоей теме:

Ќовости образовани€ и науки

«аказать уникальную работу

—вои сданные студенческие работы

присылайте нам на e-mail

Client@Stud-Baza.ru