Analizatzaile sintaktiko

Analizatzaile sintaktiko bat gramatika formalaren arauei jarraituz karaktere-kate bat analizatzeko erabiltzen den programa informatikoa da. Adibidez, esaldi batek egitura sintaktiko egokia jarraitzen duen aztertzen du, hau da, hitzak edo esaldi zatiak ordena egokian idatzita dauden edo ez begiratzea da bere eginkizuntako bat. Karaktere-kate hauek lengoaia naturalekoak, lengoaia informatiko batekoak edo datu-egitura batekoak izan daitezke.

Analizatzaile sintaktikoak sarrerako testua beste egitura mota batean bilakatzen du (zuhaitz sintaktiko batean kasu gehienetan), hau erabilgarriagoa izango baita ondorengo analisia egiteko eta sarrerako hierarkia inplizitua atzematen du. Analizatzaile lexiko batek sarrerako karaktere-kate baten tokenak sortzen ditu eta token hauek dira analizatzaile sintaktikoak aztertzen dituenak zuhaitz sintaktiko moduko datu-egitura bat sortzeko.

Analisi sintaktikoa flexio gramatikala erabiltzen duten hizkuntzen hizkuntza-diagramak sortzeko ere erabiltzen da, hizkuntza erromanikoan edo Latinean esaterako. Analizatzaile sintaktikoek ohiko kasuetan ezagutzen dituzten hizkuntzak testuingururik gabeko hizkuntzak dira. Aipatu behar da testuingururik gabeko lengoaia batez ari garenean pila-automata batek ezagut dezakeen lengoaia batez ari garela, eta, era berean, testuingururik gabeko lengoaia bat atzematen duen analizatzaile sintaktiko batek pila-automata batek duen konputazio-ahalmen bera duela.

Analizatzaile sintaktikoak zabalki ikertu ziren 70. hamarkadan eta hainbat funtzionamendu-patroi antzeman ziren, horrela, yacc, GNU bison edo javaCC bezalako analizatzaile sintaktikoak sortzeko programak sortu ziren.

Lengoaia naturala

Itzulpen edo lengoaia naturalaren prozesamenduko sistema batzuk programa informatikoen bidez analizatzen dira lexikoki . Baina, esaldiak ez dira errazak analizatzeko, izan ere, anbiguotasun karga handia baitago gizakion hizkuntza-egituran. Adibidez, "metroa hartu eta lanera noa" esaldian ez dago argi "metroa" laneko erreminta bat den edo garraiobide bat den. Gizakion hizkuntza prozesatzeko, ikertzaileek ados jarri behar dute lehendabizi erabili beharreko gramatikan eta erabaki honek irizpide linguistiko eta konputazionalarekin du zerikusia.

«Head-driven phrase structure grammar» ezaguna egin den beste formalismo bat da, baina, ikerkuntzan ahaleginak Penn Treebank-en moduko konplexutasun gutxiago duten algoritmoetan zentratu dira. «Shallow parsing» analisi azkarra esaldiko osagai nagusiak bilatzeaz soilik arduratzen da, hala nola, izenak edo aditzak. Gatazka linguistiko hau argitzeko beste bide bat dependentzien-gramatika da.

Analizatzaile moderno gehienak estatistikoak dira zatiren batean gutxienez, honek esan nahi du eskuz analizatuak izan diren entrenamendu datu batzuetan oinarritzen direla.

Sistema arrakastatsuenek estatistika lexikoa erabiltzen dute, hau da, hitzen kategoria gramatikala lortzen dute. Sistema hauek zaurgarriak dira, azkenerako gehiegizko parametro kantitatea hartzen baitute eta azkenean sinplifikazioa behar baitute.

Lengoaia naturalak analizatzeko algoritmoek ezin dituzte oinarritzat hartu ezaugarri onak dituzten gramatikak, programazio-lengoaia moduko diseinatutako lengoaiak dituztenak esaterako. Formalismo gramatikal batzuk konputazionalki analizatzeko oso zailak dira, eta, beraz, testuingururik gabeko hurbilketa bat erabiltzen da, nahiz eta egitura bera testuingururik gabekoa ez izan, hasierako sinplifikazio bat lortzeko.

Testuingururik gabeko gramatikak erabiltzen dituzten algoritmoak Cocke-Younger-Kasami algoritmoaren (CYK) aldaera batean eta heuristiko batean oinarritzen dira analisi txarrak ekiditeko. Edozein kasutan ikuspegi batzuk abiadurari uko egiten diote zehaztasunaren alde, horrela, honen adibide dira «shift-reduce» algoritmoaren bertsio linealak.

Programazio-lengoaiak

Analizatzaile sintaktikoen erabilera ohikoena konpilatzaileen analisiaren zati bat da. Modu honetan lengoaiaren iturburu-kodea analizatu behar dute. Programazio-lengoaiak normalean testuingururik gabeko gramatikak izaten dituzte oinarrian, horrela, analizatzaile azkarrak eta eraginkorrak idatz daitezke hauentzat.

Testuingururik gabeko gramatikek adierazpen mugatua dute eta lengoaia multzo mugatu bat soilik adieraz dezakete. Informalki, honen arrazoia era honetako lengoaia baten memoria mugatua dela da, gramatikak ezin du gogoratu ausazko sarrera luze baten eratze baten agerpena eta hau beharrezko da adibidez aipatu aurretik deklaratu egin behar den aldagaiak erabiltzen dituzten lengoaietan. Gramatika konplexuenak ezin dira analizatu modu eraginkor batean. Arrazoi hauengatik ohikoa da analizatzaile tolerante bat sortzea testuingururik gabeko gramatikentzat, honek eratze oker batzuk ere onartuko lituzke eta hasierako analisiaren ondoren eratze okerrak kenduko lirateke.

Normalean erraza da lengoaia batek sortutako eratze guztiak onartzen dituen testuingururik gabeko gramatika bat zehaztea, baina, bestalde, ia ezinezkoa da soilik nahi ditugun eratzeak onartzen dituen testuingururik gabeko gramatika bat sortzea. Edozein kasutan analizatzaile gehienak ez dira eskuz eraikiak, baizik eta, sorgailu automatikoak erabiliz dira sortuak.

Prozesuaren ikuspegi orokorra

Ondoren datorren kasu honek erakusten du programazio-lengoaia baten analisia gramatikako bi mailatan, lexikoan eta sintaktikoan.

Lehen egoera tokenen eratze edo analisi lexikoa da, prozesu honetan sarrerako katea adierazpen erregularretan definitutako esanahia duten sinboloetan banatzen da, adibidez programa kalkulagailu bat sarrera honekin: "12*(3+4)^2", token hauetan banatuko luke: 12, *, (, 3, +, 4, ), ^ eta 2, hauetako sinbolo bakoitzak adierazpen aritmetikoetan bere esanahia izango luke. Analizatzaileak *, +, ^, ( eta ) sinboloek token berri baten hasiera adierazten dutela argituko duen erregelak edukiko ditu, era horretan, zentzurik ez luketen 12 edo 13 bezalako tokenak ez lirateke sortuko.

Hurrengo pausoa analisi sintaktikoa da, hau da, tokenek baliozko adierazpen bat eratzen dutela egiaztatzea. Hau testuingururik gabeko gramatika bat erabilita egiten da normalean, non errekurtsiboki zehazten dituen adierazpen batean ager daitezkeen osagaiak eta baita osagai hauek zein ordenetan agertu behar duten ere. Programazio-lengoaia bat definitzen duten erregelak ezin dira beti testuingururik gabeko gramatika bat erabilita adierazi, adibidez moten baieztatzea edo identifikatzaleen deklarazio egokia. Erregela hauek atributuen gramatika erabiliz adierazi daitezke formalki.

Azken fasea analisi semantikoa da, fase honek jadanik balioztatuta dagoen adierazpenaren inplikazioak lantzen ditu eta egokitzen diren jarduerak egiten ditu. Kalkulagailuaren kasuan, jarduera adierazpena ebaluatzea da. Konpiladore batek, aldiz, kodea sortuko luke. Gramatika atributuak ere erabil daitezke ekintza hauek zehazteko.

Mendekotasunen analisia

Analisi sintaktikoa egiteko beste modu bat mendekotasunezko gramatikak erabiltzea da, zeinak esaldi egituren alternatiba moduan agertzen diren. Labur esanda, gramatika hauek dependentzia-erlazio bat definitzen dute eratze bakoitzaren (perpausak dira orokorrean, baina, esaldi bakunak ere izan litezke) eta bere "buruaren" (head ingelesez) artean. Elementu hauek hitzak, tokenak, lemak edo puntuazio ikurrak ere izan daitezke. Osagarri moduan, eratzaile nagusiari 0 elementua edo erroa (root) deitzen zaio, normalean perpausako aditz nagusia izaten dena. Garrantzitsua da mendekotasunak eratzaileekin ez nahastea, izan ere, mendekotasun-erlazioek bikote bakar eta ordenatuak sortzen baitituzte. C eratze batean D menpeko baten H burua zein den erabakitzeko irizpideak ondorengoak dira:

  1. H-k C-ren kategoria sintaktikoa zehazten du eta H-k C ordezka dezake.
  2. H-k C-ren kategoria semantikoa zehazten du; D-k H zehazten du.
  3. H nahitaezkoa da; D hautazkoa izan daiteke.
  4. H-k D aukeratzen du eta D nahitaezkoa den erabakitzen du.
  5. D-ren forma H-ren esku dago (agreement or government).
  6. D-ren lerro-posizioa H-ren arabera definitua dago.

Irizpide hauek, ordea, irizpide morfologiko edo semantikoekin kontraesanak sor ditzakete eta ez da beti garbi egoten mendekoak hautazkoak diren edo ez.

Mendekotasunen analizatzaileen eginkizuna da, perpausa bat emanda, burua zein den eta elementu bakoitzaren mendekotasun mota zein den erabakitzea. Analisi mota hauek erabiltzearen abantaila hitzen ordena zorrotza erabiltzen ez duten lengoaietan hainbat arazo saihestu daitezkeela da. Mendekotasun motak sailkatzeko hainbat modu daude, baina, CoNLL-k (Conference on Computational Natural Language Learning) mendekotasunen analisi sintaktiko guztietan erabiltzeko formatu bat sortu du: CoNLL-U.

Analisi sintaktikoaren proba ezberdinen azken sistemen emaitzak ataza partekatuen (shared task) lekuan konpilatuak izan dira, 2017an eginkizuna hizkuntza ezberdinak analizatzeko gai den analizatzaile bat sortzea izan zen.

Analizatzaile sintaktikoak

Analisi sintaktikorako hainbat tresna daude. Hauek dira adibide batzuk:

Freeling

Freeling[1] kode irekiko analizatzaile sintaktikorako tresna multzoa da. C++ liburutegi bat da eta hizkuntza analisirako hainbat funtzionalitate eskaintzen ditu hizkuntza ezberdinetarako: ingeleserako, katalanerako, gaztelaniarako, alemanerako edo errusierarako, besteak beste.

Stanford

Stanford[2] hizkuntza naturalaren prozesmenduko erramienta multzoa da eta eredu estatikoetan dago oinarritua. Probabilitate analisia erabiltzen du eta nahiz eta arazo batzuk dituen oraindik, normalean ondo lan egiten du.

Analisi sintaktikoa euskaraz

Euskarazko analisi sintaktikorako hainbat tresna sortu dira azken urteetan, eta tresna horien sortzaile nagusia Ixa Taldea[3] izan da. Ixa Taldea hizkuntzaren prozesamenduan ikertzen duen Euskal Herriko Unibertsitateko ikerkuntza-taldea da. Hainbat hizkuntzatako ikerkuntza lan eta produktu egin badituzte ere, beraien ikerkuntza-adar nagusienetako bat euskararen gaineko ikerketa aplikatua da. Talde honek hainbat produktu sortu ditu, eta horietako hainbat analisi sintaktikoaren ingurukoak dira:

IXA pipes

IXA pipes[4] testuak automatikoki lantzeko sortutako tresna multzo bat da eta hauek dira tresna horien funtzionalitateak: Tokenizatzaile, POS tagger, Lematizatzaile, entitate izendunak saikatzaile, iritzien gaiak erauzteko tresna, zatiak, parserra. ixa-pipe-chunk tresna multzo horietako bat da eta zati sintaktiko bakoitza bereiztea da bere zeregina. Euskara eta ingeleserako sortua dago eta estatistikoki detektatzen ditu sintagma mailako osagai sintaktiko sinpleak. Ixa-pipes programarekin hainbat hizkuntza landu daitezke (euskara, herbeherera, ingelesa, frantzesa, galiziera, alemana, italiera)

IxaKat

IxaKat programa informatikoa testuak automatikoki lantzeko hainbat tresna informatikoz osatutako multzo bat da, euskarazko testuak analizatzeko erabil daitekeena. Ixa Taldeak sortu zuen 2014an eta software librea da. IxaKat multzoko tresna nagusiek sekuentzian lan egiten dute. Lehenengoak kategoria morfologikoak etiketatzen ditu, horiek erabilita bigarrenak dependentzia sintaktikoak etiketatzen ditu, horiek erabilita hirugarrenak rol semantikoak etiketatzen ditu eta gero azkenak korreferentziak.

IxaKat eta IXA-pipes kateak modularrak direnez, eta biek NAF formatua erabiltzen dutenez sarrera/irteera formatu moduan, bi multzotako tresnak konbinatu daitezke prozesamendu-kate berean. IxaKat programarekin euskarazko testuak bakarrik landu daitezke. Euskarazko testuak prozesatzerakoan zehaztasun handixeago lortzen du IxaKatek Ixa-pipes baino.

Eustagger

Eustagger euskararako etiketatzaile/desanbiguatzaile morfosintaktikoa da. Hauek dira bere funtzionalitateak: tokenizazioa, analisi morfologikoa, lematizazioa and euskararako etiketatzailea. Web zerbitzu bat ere badauka.

Ixati

Ixati euskararako azaleko analizatzaile sintaktikoa da. Programa honek sarrerako testu bat hartu eta textuko zatiak identifikatzen ditu, ondoren, izen sintagma edo aditz sintagma den adieraziz markatzen du. Euskararako soilik balio du eta web zerbitzu bat ere badauka.

Maltixa

Maltixa analizatzaile sintaktiko-estatistikoa da. Euskarazko testu bat emanda, esaldi bakoitza lerro batean, esaldi horien analisiak lortuko ditu. Hau da, mendekotasun-zuhaitza lortuko da. Hau da produktuaren demorako esteka.

Aztertzaile sintaktiko motak

  • Top-Down-Parser
  • Bottom-Up-Parser
  • Recursive-Descent-Parser
  • Chart-Parser
  • Left-Corner-Parser
  • LR-Parser

Erreferentziak

  1. «Welcome | FreeLing Home Page» nlp.lsi.upc.edu (Noiz kontsultatua: 2019-05-09).
  2. «The Stanford Natural Language Processing Group» nlp.stanford.edu (Noiz kontsultatua: 2019-05-09).
  3. «Sarrera | Ixa taldea» ixa.si.ehu.es (Noiz kontsultatua: 2019-05-02).
  4. ixa2.si.ehu.es (Noiz kontsultatua: 2019-05-02).

Ikus, gainera

Kanpo estekak

Read other articles:

Artikel ini tidak memiliki referensi atau sumber tepercaya sehingga isinya tidak bisa dipastikan. Tolong bantu perbaiki artikel ini dengan menambahkan referensi yang layak. Tulisan tanpa sumber dapat dipertanyakan dan dihapus sewaktu-waktu.Cari sumber: Candisari, Gladagsari, Boyolali – berita · surat kabar · buku · cendekiawan · JSTOR CandisariDesaNegara IndonesiaProvinsiJawa TengahKabupatenBoyolaliKecamatanGladagsariKode pos57352Kode Kemendagri33...

 

Ginikoefficient är en ekonomisk måttenhet på ojämlikheten, till exempel i inkomstfördelning, hos en befolkning som utvecklades av Corrado Gini. Ginikoefficienter används för att jämföra inkomstspridningen mellan olika länder. Måttet bygger på Lorenzkurvan och visar hur inkomsterna är fördelade i en viss population. Låt A vara ytan under Lorenzkurvan för det teoretiska fallet att alla har samma inkomst och B ytan under den faktiska Lorenzkurvan. Då är ginikoefficienten lika m...

 

Currency of Italian SomalilandThe Italian Somaliland Lira was a special version of the Italian 5 Lire coin of 1927 (shown above), with the same image of king Vittorio Em. III The Italian Somaliland lira also called the Somali lira (Italian: lira somala), was a special version of the Italian lira minted in Italian Somaliland between 1925 and 1926.[1] Data The Italian government decided to introduce the Italian lira into the colony. Decree No.1143 of 18 June 1925 authorized the introduc...

MeletiKomuneComune di Meleti Lambang kebesaranNegaraItaliaWilayahLombardyProvinsiLodi (LO)Pemerintahan • Wali kotaEmanuele StefanoniLuas • Total7,4 km2 (29 sq mi)Ketinggian40 m (130 ft)Populasi (1 January 2009 [1]) • Total468 • Kepadatan6,3/km2 (16/sq mi)DemonimMeletesiZona waktuUTC+1 (CET) • Musim panas (DST)UTC+2 (CEST)Kode pos26843Kode area telepon0377Situs webSitus web resmi Meleti adala...

 

Европейская сардина Научная классификация Домен:ЭукариотыЦарство:ЖивотныеПодцарство:ЭуметазоиБез ранга:Двусторонне-симметричныеБез ранга:ВторичноротыеТип:ХордовыеПодтип:ПозвоночныеИнфратип:ЧелюстноротыеГруппа:Костные рыбыКласс:Лучепёрые рыбыПодкласс:Новопёры...

 

University of New CaledoniaFrench: Université de la Nouvelle-CalédonieTypePublic Non-sectarian Research higher education institutionEstablished1987 (UFP) – 1999 (UNC)PresidentCatherine Ris (Gaël Lagadec, 2013–2021)AddressUniversité de la Nouvelle-Calédonie BP R4 – 98851 Nouméa, Nouméa, New Caledonia22°16′8″S 166°25′10″E / 22.26889°S 166.41944°E / -22.26889; 166.41944Websiteunc.nc/en/ Not to be confused with College of New Caledonia. The Univers...

Migettuwatte Gunananda Thera GelarWaadibhasinha (Singa dalam seni pidato)Informasi pribadiLahir(1823-02-09)9 Februari 1823Mohottiwatta (Migettuwatta), Balapitiya, Ceylon BritaniaMeninggal21 September 1890(1890-09-21) (umur 67)Kolombo, Britania CeylonAgamaBuddha TheravadaMazhabTheravadaKedudukan seniorGuruThelikada Sonutthara TheraLokasiDeepaduttaaramaya, Kotahena, Kolombo Migettuwatte Gunananda Thera atau Mohottiwatte Gunananda Thera (Sinhala: පූජ්‍ය මිගෙට්ටු�...

 

Heide Simonis, ministre-présidente du Schleswig-Holstein de 1993 à 2005 Le terme de ministre-président[Note 1] est un titre porté par certains chefs de gouvernement. Utilisation nationale Ministre-président (minister-president) est le titre officiel du Premier ministre des Pays-Bas depuis 1983. Un autre titre est ministre des Affaires générales. Dans les textes non officiels, on fait souvent l'usage du gallicisme premier. Le ministre-président est le primus inter pares du conseil des ...

 

Державний комітет телебачення і радіомовлення України (Держкомтелерадіо) Приміщення комітетуЗагальна інформаціяКраїна  УкраїнаДата створення 2003Керівне відомство Кабінет Міністрів УкраїниРічний бюджет 1 964 898 500 ₴[1]Голова Олег НаливайкоПідвідомчі ор...

此條目可参照英語維基百科相應條目来扩充。 (2022年1月1日)若您熟悉来源语言和主题,请协助参考外语维基百科扩充条目。请勿直接提交机械翻译,也不要翻译不可靠、低品质内容。依版权协议,译文需在编辑摘要注明来源,或于讨论页顶部标记{{Translated page}}标签。 奥斯卡尔·托尔普出生1893年6月8日 逝世1958年5月1日  (64歲)奥斯陆 職業政治人物 政党工党...

 

Військово-музичне управління Збройних сил України Тип військове формуванняЗасновано 1992Країна  Україна Емблема управління Військово-музичне управління Збройних сил України — структурний підрозділ Генерального штабу Збройних сил України призначений для планува...

 

1878 conquest of Ottoman-controlled Bosnia and Herzegovina by Austria-Hungary This article is about the military campaign by which Austria-Hungary occupied Bosnia and Herzegovina. For the period of civil administration corresponding to the military occupation from 1878 to 1908, see Austro-Hungarian rule in Bosnia and Herzegovina. Austro-Hungarian invasion of Bosnia and HerzegovinaPart of the Great Eastern CrisisNorthern Austro-Hungarian camp near Mostar, painted by Alexander Ritter von Bensa ...

La homeostasis (del griego ὅμοιος hómoios, ‘igual’, ‘similar’,[1]​ y στάσις stásis, ‘estado’, ‘estabilidad’[2]​) es una propiedad de los organismos que consiste en su capacidad de mantener una condición interna estable compensando los cambios en su entorno mediante el intercambio regulado de materia y energía con el exterior (metabolismo). Se trata de una forma de equilibrio dinámico que se hace posible gracias a una red de sistemas de control rea...

 

I'm Not the Only OneSingel oleh Sam Smithdari album In the Lonely HourDirilis31 Agustus 2014GenreSoulDurasi3:59 (versi album)3:21 (radio edit)LabelCapitolPenciptaSam SmithJames NapierProduserJimmy NapesSteve FitzmauriceKronologi singel Sam Smith Stay with Me (2014) I'm Not the Only One (2014) Like I Can (2014) I'm Not the Only One adalah lagu yang direkam oleh penyanyi asal Inggris Sam Smith dari album studio debutnya, In the Lonely Hour (2014). Lagu ini ditulis oleh Smith bersama Jimmy Napes...

 

ДеревняРубленый Колодец 52°31′45″ с. ш. 37°09′55″ в. д.HGЯO Страна  Россия Субъект Федерации Орловская область Муниципальный район Покровский Сельское поселение Верхнежёрновское История и география Высота центра 211 м Часовой пояс UTC+3:00 Население Население 22[1 ...

Pour les articles homonymes, voir Donald et Tusk. Donald Tusk Donald Tusk en 2023. Fonctions Président du Conseil des ministres de Pologne En fonction depuis le 13 décembre 2023(8 mois et 19 jours) Élection 11 décembre 2023 Président Andrzej Duda Gouvernement Tusk III Législature Xe Coalition KO-TD-Lewica Prédécesseur Mateusz Morawiecki 16 novembre 2007 – 22 septembre 2014(6 ans, 10 mois et 6 jours) Président Lech KaczyńskiBronisław Komorowski (intérim)...

 

Mima JaušovecNazionalità Jugoslavia Altezza160 cm Peso50 kg Tennis Termine carriera1988 Carriera Singolare1 Vittorie/sconfitte 351 - 248 (58,60%) Titoli vinti 5 Miglior ranking 6º (22 marzo 1982) Risultati nei tornei del Grande Slam  Australian Open SF (1980)  Roland Garros V (1977)  Wimbledon QF (1978, 1981)  US Open SF (1976) Doppio1 Vittorie/sconfitte 254 - 190 (57,21%) Titoli vinti 11 Miglior ranking 211º (12 dicembre 1986) Risultati nei tornei del Grande Slam...

 

Presidential election in the Republic of Ireland, won by Mary Robinson 1990 Irish presidential election ← 1983 7 November 1990 1997 → Turnout64.1%   Nominee Mary Robinson Brian Lenihan Austin Currie Party Labour Fianna Fáil Fine Gael Alliance Workers' Party[a]Green Party[b] 1st round 612,26538.9% 694,48444.1% 267,90217.0% 2nd round 817,83051.9% 731,27346.5% Eliminated Results of the 1st round by constituency Results of the 2nd round by constituency ...

Iraqi nationalist ideology based on the thoughts and policies of Abd al-Karim Qasim Qasimism[1][2] (Arabic: التيار القاسمي, romanized: at-Tayyār al-Qāsimī) is an Iraqi nationalist ideology based on the thoughts and policies of Abd al-Karim Qasim, who ruled Iraq from 1958 until 1963. Portrait of Abd al-Karim Qasim Ideology Qasimism opposes Pan-Arabism, Pan-Iranism, Pan-Turkism, Turanism, Kurdish nationalism, and any ideology which affects the unity of Iraqi...

 

This template does not require a rating on Wikipedia's content assessment scale.It is of interest to the following WikiProjects:Japan Japan portalThis template is within the scope of WikiProject Japan, a collaborative effort to improve the coverage of Japan-related articles on Wikipedia. If you would like to participate, please visit the project page, where you can join the project, participate in relevant discussions, and see lists of open tasks. Current time in Japan: 17:00, October 2, 202...