Iñaki Alegria 
  
Xabier Artola 
  
Arantza Diaz De Ilarraza 
  
Kepa Sarasola 
  
Itziar Aduriz 
email: itziar.aduriz@ub.edu
  
Ixa Taldeak Izan 
  
  
  
Teknologia garatzeko estrategiak baliabide urriko hizkuntzetarako: euskararen eta Ixa taldearen adibidea

Keywords: 

Resumen

El artículo comienza presentando varios datos que muestran la situación de la lengua vasca, y a continuación proponiendo una clasificación para las lenguas del mundo según sea su presencia en Internet y en la tecnología de la lengua. El cuerpo del artículo presenta el trabajo hecho por el grupo Ixa en el campo del procesamiento automático del euskara, identificando sus siete hitos principales y describiendo la estrategia que ha guiado este desarrollo. Se plantea que esta estrategia puede servir como referencia para 190 lenguas que según la clasificación propuesta no poseen recursos de tecnología de la lengua pero si poseen una mínima presencia significativa en Internet.

Laburpena

Sarrera

1988an Ixa taldea 1 sortu zenean Hizkuntzaren Prozesaketa eta Hizkuntz Ingeniaritza mundu akademikotik kanpo kontzeptu erabat ezezagunak ziren. Hala ere jakintza-arlo horretan oinarritutako hainbat produktu baziren merkatuan, hizkuntza gutxi batzuetarako. Adibidez, ortografiazuzentzaileak ibiltzen ziren garaiko MS-Word eta WordPerfect testu-prozesadore ezagunetan, eta lehenengo itzultzaile automatikoak martxan zeuden erakunde handi batzuetan. Informatikaren sorreraren garaitik ametsa izan zena errealitate bihurtzen hasia zen. Edozein kasutan ere, argi zegoen bide luzea geratzen zela egiteko, are luzeago hedadura urriko hizkuntzetarako. Geroago etorriko zen Interneteko zabalkundeak areagotu egin zuen hizkuntza-teknologiaren beharra. UPV/EHUko Informatika Fakultateko irakasle batzuek egoera horretan aukera ezin hobea ikusi 1 http://ixa.si.ehu.es genuen arnas luzeko ikerketa-lerro bat zabaltzeko. Idatzi gabe bazeuden ere, buruan argi izan genituen hainbat funts metodologiko hasiera-hasieratik:

• Euskara izango zen gure ikerkuntzaren zutabeetako bat. Guk heltzen ez bagenion, seguruen urte luzeetan beste inork ez zion helduko. Gainera euskararen ezaugarri linguistiko eta soziolinguistikoek aztergai berezia eta interesgarria eskaintzen zuten zientziaren ikuspuntutik.

• Anbizioa eta nazioarteko erreferentzia. Euskara erreferentzia izateak ez zuen ekarri beharko isolamendurik edo txokokeriarik. Nazioarteko aldizkari eta kongresuak izan behar ziren gure lanerako inspirazioa eta bertan argitaratu nahi genituen gure emaitzak.

• Berrerabilpena. Ikerketa eta aplikazioa uztartu nahi genuen, eta uztarketa horretan arrakasta izateko berrerabilpena funtsezkoa izango zen eman beharreko urrats bakoitzean.

1. irudia. Euskararako dauden zenbait baliabide linguistiko, tresna eta aplikazioak.

• Lankidetza-giroa eta diziplinarteko ekinbidea.

Aurrekoarekin lotuz, ezin genuen aparte utzi Euskal Herrian gure lankide izan zitezkeen ikerlariak eta erakundeak: UZEI, Elhuyar, Euskaltzaindia, EHUko Euskal Filologia saila, eta abar luze batekin saiatu behar ginen koordinatzen. Horrez gain informazio eta Komunikazioetako Teknologien (IKT) arloko hainbat enpresa ere bidelagun gisa hartu nahi genituen. Hau guztia azaleratu zen gure lehen proiektuan. Itzulpen automatikoaz egindako azterketa bat izan zen lan hura, eta bere ondorioa hau izan zen: egunen batean heldu beharreko eginkizuna izango zen itzulpen automatikoa, baina hori baino lehen oinarri sendoak behar ziren, artean euskararako oinarrizko baliabiderik gabe itzulpen automatikoaren proiektua ariketa akademiko hutsean geratuko baitzen asmoa. Eta hortik irten zen gure estrategia, 1. irudian azaltzen den piramideko produktuak urratsez-urrats eraikitzeko bidea markatu diguna [START_REF] Aduriz | A framework for the automatic processing of Basque[END_REF]. Produktu bakoitza, produktu berrien garapenean ahalik eta modu zabalenean berrerabiltzea izan da helburua.Artikulu honetan 23 urtetan zehar Ixa taldean egin den lanaren laburpena egiten da, antzeko egoera soziolinguistikoan dauden hainbat hizkuntzatarako baliagarria izango delakoan.

2. atalean euskararen egoeraren inguruan hainbat datu emango dira labur-labur, eta horrekin batera Internet eta hizkuntz teknologien arloan hizkuntzek duten egoera desberdinak tipifikatzen saio bat egingo dugu. 3. atalean sarrera honetan perfilatutako estrategiaz eztabaidatuko dugu, gure ideiez eta bideaz gain azken urteetan arlo honetan nazioartekoan egin diren ekarpenak hona ekarriz. 4. kapituluan taldearen bilakaeraren nondik norakoak zehazten dira, hainbat mugarri azpimarratuz. Bukatzeko, baliabide urriko hizkuntza baten ikuspuntutik teknologia garatzeko estrategiari buruz hainbat ondorio azpimarratu nahi izan ditugu.

2

Euskararen egoera soziolinguistikoa eta bere posizioa teknologia linguistikoan

Euskararen egoera

Mendeetako erregresio-prozesu batean sartuta ibili da euskara. Amorrorturen (2002) arabera horren arrazoi nagusiak hauek izan dira: batetik hizkuntza ofiziala ez izatea, eta bestetik hezkuntza sistematik kanpo, komunikabideetatik kanpo, eta industri guneetatik kanpo egotea. Gainera hainbat euskalki diferente izateak ez zuen laguntzen euskara idatziaren zabalkuntzan.

Azken hamarkadetan, baina, urrats kualitatibo oso esanguratsuak egin ditugu egoera horri buelta emateko. Berpizkunde moduko hori honako urratsetan nabaritzen da:

• Euskara hizkuntza koofiziala da Hegoaldean (Nafarroa osoan ez baina).

• Hizkuntza-sisteman txertatua izan da Hegoaldean eta Nafarroako lurralde mistoan. • Egun 700.000 hiztun ditu euskarak, biztanleagoaren %25 gutxi gora-behera. Baina ahalegin guzti horiek eginda ere euskararen etorkizuna oraindik ez dago ziurtatuta. Aipatu urrats horiek guztiz orokorrak ez izateaz gain, euskarak industri guneetatik kanpo jarraitzen du hein handi batean, baita Informazioa eta Komunikazioaren Teknologia (IKT) berriekin lotuta dauden industri guneetatik ere. Ixa taldea hasieratik saiatu da Hizkuntzaren Teknologiaren arloa ikertzen eta produktuak gizarteratzen, beti ere IKT arloko euskararen erabileran normalizazioa sustatzeko. Adibidez, testuak errazago eta txukunago sortu ahal izateko, edo sarean edukiak zabaldu edo bilatu nahi dituenak tresna egokiak izan ditzan. Helburu horretan ere euskaldunak bere hizkuntzarekin errazago lan egin dezan eta norberaren hizkuntzarekin ere gozatu ahal izateko. Bide horretan gogoeta ugari egin ditugu taldean, gure indar mugatuei ahalik eta probetxu handiena atera ahal izateko. Gogoeta horrek ekarri zuen estrategia bat definitzea eta gero hainbat urtetan horri jarraitzea.

Hizkuntzen sailkapena tresnak eta baliabideen arabera

Hizkuntza automatikoki lantzeko tresnak errealitatea dira gaur egun, hizkuntz teknologia edo HLT (Human Language Technology) izenarekin ezagutzen den arloaren barruak sortu dira. Gaur egun badira testua edo hizketa lantzeko zenbait aplikazio eskuragarri arlo honetan, hala nola, ortografia-zuzentzaileak, estilo-zuzentzaileak, hiztegi-kontsultak on-line, itzulpen automatikoa eta itzulpen-laguntzak, hizketa testua bihurtzen duten sistemak, testuak irakurtzen dutenak, bigarren hizkuntza ikasteko sistemak, aplikazio informatikoak, gure hizkuntzan erabiltzeko interfazeak, galderetarako erantzunak bilatzeko sistemak (Question Answering), dokumentubilatzaileak (IR, Information Retrieval), informazioerauzketa dokumentuetatik (IE, Information Extraction). Baliabide urriko hizkuntzen artean ikusten dugu guk euskara (less-resourced language termino egokiena iruditzen zaigu2 ). Baina hori erlatiboa da, askoz baliabide urriagoak dituzten beste hizkuntza batzuekin konparatuta baten batek zalantzan jar dezake hori.

irudia. Interneteko erabileran hamar hizkuntza nagusiak (Internet World Stats, 2010)

Datu estatistikoak eskuratu nahi izan ditugu hizkuntzen arteko sailkapen bat zirriborratze aldera. Honakoak aurkitu ditugu IKT baliabideei buruz:

• Internet World Stats 3 webgunean Interneteko erabiltzaileen datuak jasotzen dira. 2010an bertan azaltzen ziren lehen 10 hizkuntzak hauek dira: ingelesa, txinera, espainiera, japoniera, portugesa, alemana, arabiera, frantsesa, errusiera eta koreera. Zoritxarrez ezin da datu zehatz gehiago jaso beste hizkuntzei buruz, baina webgune horrek ziurtatzen du gainontzeko hizkuntza guztien artean Interneteko %17,8a baino ez dutela osatzen.

• Dokumentu kopuruari dagokionez datu fidagarriak ez dira lortzen errazak. Hizkuntza erromantzeek Interneten duten hedadurari buruzko 2007ko azterketa batean4 hauek dira lortutako datuak: dokumentuen %45 ingelesez dago, %5,9 alemanez, %3,80 espainieraz, %4,41 frantsesez, %2,66 italieraz, %1,39 portugesez, %0,28 errumanieraz eta %0,14 katalanez.

• Wikipediaren datuak5 zehatzagoak dira. 2011ko ekaineko datuak hartuta, 281 hizkuntzetan daude artikuluak. Artikulu kopuruaren arabera lehen hamar hizkuntzak hauek dira: ingelesa, alemana, frantsesa, poloniera, japoniera, italiera, holandesa, espainiera, portugesa eta errusiera. Aurreko zerrendarekin konparatuta txinera, arabiera eta koreera desagertu dira. Beste hizkuntza iberikoei dagokienez, katalana 13. postuan agertzen da, euskara 37.ean eta galegoa 41.ean.

Hiru datu-iturri horien artean azkena da esangurasuena baina tamalez Interneten jokaera aktiboa duten hiztunen emaitza baino ez du eskaintzen. Bestalde, IKT orokorreko datuetatik hizkuntz teknologia arloko datuetara salto eginez, hainbat webgune interesgarri kontsulta daitezke hizkuntzen egoera aztertzeko:

• ELRA:European Language Resources Association6 . Batez ere Europakoak diren hizkuntzabaliabideak biltzen ditu (corpus eta lexikoiak). 60 hizkuntza baino gehiagoko baliabideak biltzen ditu, horien artean sei dira euskararako.

• LDC: Linguistic Data Consortium7 . Aurrekoaren parekoa da, baina Amerikako Estatu Batuetako produktuetan espezializatua. 68 hizkuntzatako 450 bat baliabide katalogatu dira bertan, baina euskararakorik ez da agertzen.

• ACLWiki8 : Hizkuntzalaritza konputazionalerako elkarteko wikia da (ACL, Association for Computational Linguistics). 58 hizkuntzatan dauden baliabideen berri jasotzeko gunea da. Euskararako 15 produkturen berri jaso du.

• NLSR: Natural Language Soft Registry9 . DFKIk kudeatzen duen datu-base honetan 30 hizkuntza agertzen dira, euskararako hiru baliabide daude zerrendan, eta edozein hizkuntzatarako 59.

• yourdictionary.com: 10 Hiztegi-kontsultak on-line eta itzulpen automatikoko doako zerbitzuak eskaintzen dira bertan. 307 hizkuntzarako zerbitzuak daude hor. Argi dago, baina, munduko hiztegi-zerbitzu guztiak ez daudela bertan, euskararako dagoena aztertzea aski da hori egiaztatzeko: daudenak ez dira hamarrera ailegatzen eta www.hiztegia.net gunean 50 baino gehiago bildu baitituzte. Dena dela webgune hori erreferentzia egokia izan daiteke hizkuntzen artean baliabide lexikalen azterketa konparatiboak egiteko.

• Itzulpen automatikoko sistemak eta sareko hainbat zerbitzuren berri biltzen dira gune hauetan: Translation Directory11 eta Traduzione e computer 12Corpus linguistics around the world (Wilson et al., 2006) liburua ere erreferentzia interesgarria da teknologian hizkuntzek duten presentzia erlatiboa neurtzeko. Beste adierazle interesgarri bat programen lokalizazioa da eta are gehiago oinarrizko plug-in linguistikoena.

• Testu-prozesadorerik hedatuena 85 hizkuntzadialektotan dago lokalizatuta13 . OpenOffice, berriz, 159tan14 gutxienez. Euskara bietan dago.

• Bilatzaile ezagunenaren15 interfazea 145 hizkuntzatan dago baina bilaketa aurreratuan 46 hizkuntza baino ez du bereizten du. Euskara ez da agertzen azken aukerarako.

• Itzulpen automatikoko tresna erabilienetan, BabelFish16 eta Google17 , mugak dira hizkuntzen aldetik. Google-k ia 60 hizkuntza eskaintzen du, eta euskara alfa moduan agertzen da.

3. irudia. Hizkuntzen sailkapena hizkuntza-teknologian eta Interneten duten presentziaren arabera.

Aurreko datuak eta webguneak aztertuta ondoko sailkapena egitera ausartzen gara, beti ere hizkuntz teknologiari begira:

• Lehen maila: Ingelesa. Aipatutako zerrenda gehienetan %50a edo gehiago hartzen du. Berarekin alderatuta gainontzeko hizkuntza guztiak baliabide urrikoak dira.

• Bigarren maila: 10-20 bat hizkuntza, aipatutako zerrendetan goialdean daudenak. Streiter et al. (2006) "central languages" deritze.

• Hirugarren maila: 60 bat hizkuntza gehiago, HLT baliabideak dituztenak. Kopuru horien bueltan dabiltza ELRA, LDC eta ACLWiki.

• Laugarren maila: 250 hizkuntza inguru, on-line baliabideren bat dutenak. Wikipedia ingurua horretan dabil. Sailkapen hau ikusita, atera dezakegun ondorio begi-bistakoena hau da: hizkuntza asko geratzen direla sailkapen honetatik kanpo Interneten presentziarik ez dutelako. Aipatu izaten da munduan 7.000 inguru hizkuntza daudela, eta horietatik 250 bat baino ez direla "elektronikoki alfabetatuta" daudenak. Ikus 3. irudia. Kontuan hartu behar da, bestetik, sailkapena ez dela guztiz zehatza. Adibidez, katalana hirugarren mailan koka genezake baina aipatu adierazleren baten arabera (Wikipediako artikulu kopuruaren arabera) bigarren mailako hizkuntza nagusi moduan ere ikus daiteke. Euskara berriz, hirugarren mailan dago sailkapen honen arabera, hiztun kopuruaren arabera dagokiona baino gorago; hori horrela da, Ixa taldeak eta beste eragile batzuek alor honetan egindako lanari esker. Dena den bi hizkuntza horietan egindako lanak aurkezten dira SALTMIL workshop-era 18 (HLT for minority languages). Oso baliagarria litzateke honen inguruan behatoki bat egitea.

3

Hizkuntza-Teknologiak lantzeko estrategiak

Estrategia taldearen esperientzian oinarrituta

Aurreko atalean ikusi dugunez argi dago ingelesa dela nagusia teknologia berri hauetan. Ingelesa batez ere, baina beste hizkuntza nagusiek ere, bigarren maila batean, hainbat produktu eta baliabide garatu dituzte. Argi dago beste hizkuntzek ahalegin handia egin behar dutela atzean ez gelditzeko, are gehiago euskara bezalako hizkuntza txikiek (Petek, 2000;Williams et al., 2001). Zer egin daiteke atzean ez geratzeko? Nola ekin erronka honi? Ixa taldean urteetan jarraitu izan dugu estrategia bat, urrats-kate bat hizkuntzaren teknologiari metodologia batekin ekiteko. Sarreran esan dugun bezala orain dela 23 urte euskara lantzeko gure lehenengo proiektua itzulpensistema bat sortzearen ingurukoa izan zen, bere bideragarritasuna aztertzekoa. Orduan lau irakasle baino ez ginen eta konturatu ginen gure orduko indarrekin askoz zentzuzkoagoa zela eta ez itzulpen-sistema oso mugatu bat egitea, jostailuzko lexikoia eta gramatikak izango zituena. Euskararen morfologia lantzen hasi ginen konturatu ginen zein diferentea zen euskara inguru erdaretatik, baita konturatu ere, beste hizkuntzetarako produktuak gurera egokitzerakoan arazo larriak aurkituko genituela beti. Gauzak horrela, ondorioztatu genuen hoberena zela lehenbailehen sakonki ekitea morfologiaren azterketari.

Beraz, itzulpen

18 http://ixa2.si.ehu.es/saltmil/ automatikoaren inguruko kontuak gerorako utzi eta lexikoa eta morfologiari ekin genien modu sakonean, eta tresna horiek geroago itzulpen automatikorako erabili ahal izango ziren, baita beste hainbat aplikaziotarako ere. Geroago etorri ziren morfologiaren gaineko aplikazio informatikoak, gorago aipatu ditugunak, geroago etorri ziren ere beste tresna eta aplikazio konplexuagoak.

Taldearen 23 urteko ibilbidea estrategia horren arabera egin dugu. Nazioarteko forotan ere aurkeztu eta kontrastatu dugu beste ikerlari batzuekin [START_REF] Alegria | Transfer-based MT from Spanish into Basque: reusability, standardization and open source[END_REF]. Ideia nagusiak ondokoak dira:

• Hasieran oinarrizko baliabide eta tresna sendoak sortu behar dira, eta geroago sortu merkatu-aplikazioak. Alderantziz ez dela egin behar. Produktuen artean bereizi izan dugu zein diren hizkuntza-baliabideak, zein tresna, eta zein aplikazioa. Tresna eta aplikazioak bereizten ditugu, biak produktu informatikoak izan arren, tresnak ez baitira erabiltzaile arruntarentzat eta aplikazioak bai; tresnak hizkuntza-teknologiako teknikariek erabil ditzaten definitu dira. Baliabide, tresna edo aplikazio bakoitza noiz egin behar den aurreikusi izan dugu, ekoizpen prozesu hori optimizatu nahian. • Horrez gain 1. irudian islatzen den lexikomorfologia-sintaxia-semantika progresioa aplikatu behar da, hein handi batean behintzat.

• Formatu estandarrak erabili behar dira.

Produktu bakoitza geroagoko produktu berrien garapenean ahalik eta modu zabalenean berrerabilia izatea da gure helburua. Sortzen diren produktuak formatu estandarren arabera19 definitu behar ditugu, bai hartuko dituzten datuetan, bai itzuliko dituzten emaitzetan. Horrela berrerabilgarriak izango dira beste hainbat produktutan eta haien garapena modu inkrementalean egin ahal izango da.

• Ahal den guztietan saiatu behar da software librea erabiltzen eta sortzen. Berrerabili ahal izateko, noski, oso bide interesgarria da produktuak software libre moduan plazaratzea. Badakigu puntu horiek "oso sinpleak" diruditela, informatikako edozein aplikazio garatzeko erabili behar direnak direla, baina gure eskarmentuak dio hainbat hizkuntzatarako proiektutan ez dela horrela jokatu. 4. irudia. Baliabideen garapenari eta ebaluazioari begirako errepide-mapa [START_REF] Busemann | Predicting the Future: Technology Roadmapping[END_REF].

Egun euskarak hizkuntza-teknologiako lehenengo 60-80 hizkuntzen artean baldin badago, neurri handi batean estrategia horri jarraitu izan zaiolako dela uste dugu. Estrategiaren erabileraren adibide gisa esan dezakegu itzulpen automatikoan denbora laburrean garatu ahal izan bada lehenengo prototipoa, hainbat tresna berrerabili direlako izan dela, bai taldean aurretik sortutakoak (baliabide lexikalak eta morfologia), baita software libreko beste batzuk ere (erdaretarako analizatzaileak), modulu berri bakar batzuk soilik sortu behar izan ditugu eta horiek beste talde batzuekin garatu ditugu elkarlanean.

Nazioarteko erreferentziak

Atal honetan hizkuntz teknologien garapenaren inguruan argitaratu diren hainbat hausnarketaren berri eman nahi dugu. Kasu batzuetan baliabide urriko hizkuntzekin ere lotuta daude.

Hizkuntza bat gaurko behar teknologikoetan egokikuta egoteko estrategia edo jarraibide bat baino gehiago proposatu izan da nazioartean. Gure taldean hasierako proposamen bat egin zen hizkuntza teknologiarako oinarrizko tresneria defintzeko [START_REF] Agirre | Towards the definition of a basic toolkit for HLT[END_REF], Basic toolkit for HLT deitu genuena. Krauwer-ek (2003) proiekturen berri ematen da. Testuinguru horretan, hainbat gomendio ematen dira erakundeek hizkuntza teknologia garatzeko banatzen dituzten laguntzak bideratzeko. Non-central terminoaren erabilerarekin batera azpimarratzekoa da software librearen alde egiten duen hautua. Forcada-k (2006) ere azpimarratzen du kode irekia erabiltzearen egokitasuna hizkuntza hauetarako itzulpen-sistemak garatzean.

ELSNET sareak, 2004an, baliabideen garapenari eta ebaluazioari begirako errepide-mapa20 bat ere eskaini zuen [START_REF] Busemann | Predicting the Future: Technology Roadmapping[END_REF] Bere erabilera orokortuz doala erakusteko esan daiteke gune horretatik 20.000 erabiltzailek jaso duela honezkero. Gainera azken urteetan atera diren egokitzapen berriei esker XUXEN eskuragarriago dago. Lehen Word editorearekin bakarrik erabil zitekeen, orain erraz jar dezakegu martxan Mozilla Thunderbird-ekin, nabigatzailearekin Interneten bidez edozein mezu edo inprimaki betetzen ari garenean, edo Openoffice-ekin. Posible da beste edozein aplikaziorekin ere testua zuzentzeko www.xuxen.com zerbitzarira jotzen badugu. Espainiera, frantsesa edo ingeleserako zuzentzaileak baino dezente konplexuagoa da XUXEN, hitz posibleak askoz gehiago direlako, eta ondorioz, hitzen analisi morfologikoa egin behar delako. Xuxen-en inplementazioa hasieran programa propio bat izan zen. Geroago exekuzio azkarragoa lortzearren Xeroxeko tresnetara egokitu zen 25 , eta zken urteetan software librera jauzi ahal izateko hunspell eta foma tresnak erabili izan dira [START_REF] Alegria | Porting Basque Morphological Grammars to foma, an Open-Source Tool[END_REF]. Oraindik lexiko eta morfologiako erroreak baino ez ditu harrapatzen, baina hitz maila horretan oso praktikoa da. Sintaxiko edo estiloko zenbait errore harrapatzeko ikerketak egiten ari gara orain, eta lehen bertsio bat integratu da XuxenIV bertsioan. Xuxen programaren erabilera guztiz hedatuta dago gaur egun, datu hauetan ikus daitekeenez: Hizkuntzaren lexikoaren biltegi orokorra da datubase lexikala. Hiztegi elektroniko moduko bat da, hizkuntzaren tratamendu automatikoari begira eraikia, eta, beraz, hizkuntzaren tratamendua automatizatu nahiak dituen eskakizunak kontuan harturik antolatua. Horrek lexiko-deskribapenaren sistematizazio bat eskatzen du: sarreren kategoriasistema bateratu eta homogeneoa, kategoria bakoitzeko elementuak behar den bezala deskribatzeko beharrezko diren ezaugarriak zehaztea, etab. EDBLk (euskararen datu-base lexikala) lehen bertsioan 60.000 sarrera zituen eta 147.700 inguru biltzen ditu egun 120.000 hiztegisarrera, 20.000 adizki eta 700 morfema ez-independente, eta Ixa taldea arduratzen da egunean mantentzeaz [START_REF] Aldezabal | EDBL: a General Lexical Basis for the Automatic Processing of Basque[END_REF] 

1996-1999: Lematizatzailea

Lematizatzaile/etiketatzailea analizatzaile morfologikotik eratortzen da, eta hitz-forma baten lema eta kategoria ematen ditu, anbiguotasuna saihestu edo gutxitzearren testuingurua aintzat hartuz [START_REF] Ezeiza | Combining Stochastic and Rule-Based Methods for Disambiguation in Agglutinative Languages[END_REF]. Garaian berritasun handia izan zen desabiguaziorako teknika estatistikoekin batera murriztapen-gramatikaren formalismoa erabiltzea (Constraint Grammar ingelesez), sistema konbinatua garatuz. Zeregin nagusia desanbiguazioa bada ere, beste egitekorik ere badu halako tresna batek, esate baterako, hitz anitzeko unitate lexikalen identifikazioa (lokuzioak, hitz-elkarketak, pertsonaizenak, etab.). Oso aplikazio interesgarriak dituzte lematizatzaileek, esate baterako, dokumentubilatzaileak, informazio-eskurapena, terminologia, lexikografia, etab. (2006)(2007)(2008)(2009) proiektu koordinatuan ere antzeko helburuak landu ziren, baita honen jarraipena den KNOW2 (2009-2012) proiektuan, non eleaniztasunaren ikuspuntua ere lantzen den. Bestalde, MICINN ministerioko IMLT proiektuaren barruan sortutako tresna eta baliabide linguistiko horiek guztiak batera 41 UKB algoritmoa deskargatu: http://ixa2.si.ehu.es/ukb/ integratzeko eredu orokor bat eskaintzeko izan da. XML estandarrean oinarritutako proposamen sendo bat lortu da eta berau inplementatzeko balio duen LibXml programa-liburutegia sortu da. Proiektu hauen arteko elkarlana ikus daiteke puntu honetan: IMLT proiektuko XML eredu horren sinplifikazio bat onartua izan da Kyoto proiektuan ezagutza adierazpide gisa, KAF eredu deritzoguna. Proiektu horietan alde batetik itzulpen automatikoan eta bestetik informazio-bilaketan lortutako sistemak prototipo batean erabili ahal izan ziren etapa honen bukaeran. ETORTEK deialdiko AnHitz proiektuan euskaraz hitz egiten duen 3D avatar bat sortu zen prototipo mailan. Zientzia eta teknologian aditua denez gai horien inguruko galderak erantzun ditzake, edo gai horietako termino bilaketa eleanitza egin eta emaitzak automatikoki euskarara itzuli. Ixa taldearen ekarpena batez ere galderak erantzuteko sisteman eta itzulpen automatikoan egon da. Baina prototipoan beste modulu batzuk integratu dira: 3D avatarra (VICOMTech), testu-ahots bihurgailu eleanitza (Aholab), euskarazko ahots-ezagutza (Robotiker, Aholab) termino-bilaketa eleanitza (Elhuyar), zientzia eta teknologiazko corpus eleanitzak (Elhuyar), eta azkenik modulu guztiak integratzeko sistema (Elhuyar).

2009tik gaurdaino: Aplikazio aurretatuak:

Ihardetsi, galderak erantzuteko sistema Anhitz proiektuan euskarazko galderak erantzuteko erabili zen modulua Ihardetsi sistema bihurtu da azken garai honetan, alegia, euskaraz egindako galderen erantzun zehatzak testu-bildumatan aurkitzen dituena. Aplikazio konplexu honek ohiko "Question Answering" (QA) sistemen ezaugarriak ditu [START_REF] Ansa | An XML Framework for a Basque Question Answering System[END_REF] Bere helburu nagusia Europaren aniztasun kultural eta zientifikoaren zabalkundea erraztea da. Liburutegiak 15 milioi ale biltzen ditu hainbat formatutan (irudia, testua, audioa eta bideoa). Interneteko liburutegi digitalei esker kultur-ondare diren material ugari daude eskuragarri gaur egun. Hala ere, kopuru erraldoi horiek nahasgarriak ere izan daitezke erabiltzaile arruntarentzat, zailtasunak izan baititzake aurkitutako informazio guztia interpretatzen.

PATHS proiektuak pertsonalizatutako bisita gidatu interaktiboak eskaini nahi ditu, eta horri esker erabiltzaile arruntak ere eroso mugituko dira liburutegi digital horien barruan. Erabiltzaileari maiz proposatuko zaizkio berarentzat interesgarri izan daitezkeen antzeko edukiak eta, gainera, aurkitutako informazioa erraz interpretatzeko laguntza emango zaio. PATHSek proposatzen duen nabigazio gidatu berri honek kontuan hartuko ditu bilduma digitalean zehar egin daitezkeen hainbat ibilbide ("path", ingelesez). Edozein gairi buruzkoa izan daiteke ibilbidea, adibidez, artista eta bere medioei buruz ("Picassoren margolanak"), garai historikoei buruz ("Gerra hotza"), lekuei buruz ("Venezia"), edota pertsonaia ezagunei buruzkoa ("Muhammad Ali"). Ibilbideak sortzeko eta jarraitzeko moduak hainbat izango dira, hala nola, aldez aurretik adituek definitutakoak, PATHS sistemak berak automatikoki proposatuak, edo, nahi izanez gero, erabiltzaileak sortutakoak ere. Beraz, eduki digitaletara iristeko era berritzailea eskainiko dio PATHSek erabiltzaileari, eta gainera erabiltzaileekin izandako esperientzia baliagarri izango zaio sistemari liburutegi digitala bera ere aberasteko. Beste aplikazio bat hiztegiak editatzeko leXkit tresna 42 da [START_REF] Alegria | A Dictionary Content Management System[END_REF] 

Aurrerapausoak alorrez-alor

Ikus ditzagun orain zein izan diren euskararen prozesamenduan egin diren aurrerapausoak alorrez alor (morfologia, lexiko, sintaxia, semantika eta pragmatika). Hizkuntzaren prozesaketaren bidean geratzen diren hutsuneak eta eginkizunak ere markatuko ditugu ildo horretan. Euskararen morfologiaren azterketa ia osorik dago eginda eta inplementatuta. Morfologiaren alorrean gaur egun gure erronka inplementazio horien bertsio eraginkorragoak eta libreak eraikitzea da. Sintaxi konputazionalaren tratamendua oraindik ikergai irekia da. Egun ezinezkoa da euskarazko edozein esaldi luze sintaktikoki ondo analizatzea. Ingelesarentzat gehiago landu da eta analizatzaile sintaktiko aurreratuagoak dituzte, baina beste hizkuntz nagusietan ere oraindik arazoak agertzen dira "esaldi errealak" osorik analizatu nahi izaterakoan. Egoera horretan, sintaxiari buruzko alorrean, hiru ikerlerro jorratzen ditugu: azaleko sintaxia (Ixati tresnak eramaten du aurrera eta testua zati sintaktikoetan banatzea du helburu), hitzen arteko dependentzia-erlazioak atzematea (EDGK), eta parser estatistikoa (Maltixa). Bitartean sintaktikoki etiketatuta dagoen EPEC corpusaren tamaina 10 edo 100 aldiz handiagoa egitea da helburua, prozedura semiautomatikoak erabiliz.

Semantikaren bidean askoz ere lan gehiago gelditzen da egiteko. EuskalWornet taxonomia oinarri ikaragarria da, baina segitu behar da osatzen eta hobetzen. Halaber, Wikipedia iturburu oparoa da ezagutza semantikoa aberasteko. Ildo horretan, metodo automatikoak definitu behar ditugu hortik informazioa erauzteko. Hala ere, hitzen adieretatik harantzago joanda, perpausen interpretazio semantikoa lortu ahal izateko oraindik urrats asko eman behar dira, hasieraren hasieran baikaude oraindik.

Jarraitu behar da aditzen azpikategorizazioa eta rol tematikoak aztertzen, batez ere informazio giltzarria eskaintzen dutelako gainontzeko arloen erresoluzio egokian, hala nola, desanbiguazio sintaktikoan, erreferentziakidetasunaren azterketan, etab. Corpus semantikoki etiketatuak behar dira gero ikasketa automatikoa erabili ahal izateko. Horrekin batera, hitz mailan adierak etiketatu behar dira, eta esaldi mailan aditzen azpikategoriak eta rol tematikoak. Semantika konputazionalaren egoera oso hasierakoa bada ere, pragmatikarena askoz gordinagoa da, ohian basati landugabea dela esan daiteke. Diskurtsoaren egituraren azterketarekin hasi gara lanean berriki eta horretan bi bide nagusi definitu ditugu. Alde batetik, hizkuntzalaritzaren ikuspegitik aztertzen ari gara. Eta bestetik, saioak egiten ari gara hori bera lantzen ikasketa automatikoko sistemak erabiliz. Azkenik, bidean dagoen beste ikerlerro batek diskurtsoaren erlaziozko egitura zehazten dihardu. Elipsia, erreferentzia, hizketaekintzak (speech acts), hizketaren planifikazioa, hizlari-ereduak erabiltzea... Gai horiek guztiak zain daude. Hizkuntzaren erabateko ulerkuntza automatikoa oraindik urruti dago. Oraingo ezagutza mugatua da, baina azken urteetan argi frogatu da teknologia ezoso (ala partzial) hori gauza dela aplikazio praktikoak sortzen. Eta helburu horrekin jarduten dugu Ixa taldean. Hasieran lau partaide ginenak, orain 33 informatikari, 10 hizkuntzalari eta 3 teknikari gara. Euskal Herriko zazpi enpresekin lankidetzan gabiltza eta atzerriko beste bostekin. Spin-off erako bi enpresen sorkuntzan parte hartu dugu. 2002. urtetik Eusko Jaurlaritzak definitu zuen Ingeniaritza linguistikoa ikerlerro estrategikoa parte hartu dugu (Hizking21 eta Anhitz proiektuak) beste ikerketa-zentrorekin batera (Aholab, Elhuyar, Vicomtech eta Robotiker).

Oraingo ikerlerroak

Oinarrizko baliabide orokorrak sortzeko lerroaz gain, hauek dira gure azken proiektu estrategikoan (BerbaTek) ezarri ditugun ikerketa-lerro garrantzitsuenak:

• Oinarrizko baliabideak: hizkuntzen industriaren zenbait esparrutan erabil daitezkeen baliabideak eta teknologiak dira, edo gainerako alorren batean baliagarriak izan daitezkeen tresnetarako lehengai izan daitezkeenak. Esate baterako, testuedo ahots-corpusa, lexikoiak, hiztegiak, ontologiak, gramatika konputazionalak, analizatzaile morfosintaktikoa, ahots-ezagutzea, ahots-sintesia, elkarrizketa-sistemak... • Itzulpengintza: itzulpengintzaren sektorean erabil daitezkeen sistemak, itzulpen automatikoa, itzulpen-memoriak, ahots-ahots itzulpen-sistemak eta bikoizketa automatikoa kasu. • Edukiak: edukien sektorea hobetzen lagundu dezaketen sistemak, hala nola, informaziobilaketa (elebakarra, eleaniztuna, semantikoa, multimedia...), informazio-erauzketa, idazketan laguntzeko sistemak (zuzentzaileak, adibidez), ezagutzaren kudeaketa, galderei erantzuteko sistemak... • Irakaskuntza: irakaskuntzaren eremuan erabiltzeko sistemak dira; adibidez, tutore pertsonalak, e-learning sistemak, ahoskera zuzentzeko sistemak, ariketen eta adibideen eraikitze automatikoa...

Giza talde baten ilusioa

Euskararen erronka honi aurre egiteko pertsona trebatuak behar zirela jakinda, hasieratik ere saiatu gara heziketa egokia zabaltzen eta teknologia honen protagonistak izango diren teknikari eta ikerlariak trebatzen, beti ere alde informatikaria eta alde linguistikoa uztartuz. 1989an doktorego-ikastaroak ematen hasi ginen, 2002an Hiztek titulu propioa sortu zen UEUren lankidetzarekin, 2005ean doktorego-programa bat (Hizkuntzaren azterketa eta prozesamendua) eta 2008tik abiatu zen izen bereko Europako master ofiziala. Unibertsitate mailako euskarazko master ofizial bakanetakoa da. Hauek guztiak hamaika ahalegin eta ilusioren fruituak dira. Zenbat irakasle eta ikasle ibili garen, hor, lanean elkarrekin, heziketa-aukera hau euskaraz egin ahal izateko! 75 baino gehiago dira bide horietatik titulua eta heziketa berezitua jaso duten teknikari/ikerlari berriak. 24 doktorego-tesi 50 sortu dira iturri horretatik. Ingeniaritza linguistikoan I+G horretan (Ikerketan eta Garapenean) arituko den komunitate zabal bat sortu dugu, baina aurrera egingo badugu, zabaldu egin behar dugu komunitate zientifiko hau. Hala biz! 6 Erreferentziak

  BLARK kontzeptua (Basic LAnguage Resource Kit) proposatu zuen, arrakasta lortuz, aurretik ELSNET (European Network of Excellence in Language and Speech) eta ELRA (European Language Resources Association) elkarteek proposatutakoari helduz. Ildo honetatik Maegaard-en taldeak (2004) BLARK bat proposatzen dute arabierarako eta Simov-ek eta lankideek (2004) beste bat bulgarierarako. Geroztik BLARK terminoa maiz erabili izan da literatura zientifikoan. Streiter-ek beste batzuen lankidetzarekin 2006an argitaratutako lan batean (Streiter et al., 2006) hizkuntza ez-zentraletarako hainbat HLT

  

  

  

  .

	Aplikazio orokorra	BASYQUE EUSMT	
	Produktuak Semantika	Eusemcor UKB	
	Produktuak Sintaxia	Maltixa EDGK	
	Produktuak Lexikoa	Lexkit Dicc. Escolar	
	Produktuak Morfologia	BertsolariXa LibiXaml	
	9. taula: Proiektu eta produktuak,	
	2009. urteaz geroztik.	
	Paraleloan beste aplikazio aurreratu baten	
	eraikuntzan parte hartuko du taldeak Europa	
	mailako PATHS proiektu berrian, Meaning eta	
	Kyoto proiektuen ondorioa dena. Aurreko	
	proiektuetan sortutako hizkuntza prozesatzaileak	
	erabiliko dira gero domeinu espezifikoetako	
	dokumentuetan kontzeptuak eta gertakizunak	
	automatikoki erauzteko. Eta horrela lortutako	
	ezagutza-baseetan informazioa eta dokumentuak	
	bilatzeko teknikak garatuko dira, Europeana	
	liburutegiaren esparruan.		
	Europeana Europako eduki digitalen liburutegi	
	erraldoia da. Hainbat museo, liburutegi, agiri eta	
	ikus-entzunezko bildumatarako sarbide irekia da.	
				2009...
		Proiektuak Europan	Paths
		Proiektuak (MEC, MICINN Cicyt, Madrilen Prontic...)	Know2, OpenMT2, Hybridosint, RTTH, TIMM, Ancora-corpus
		Proiektuak	Eusko	Ixa taldea
		Jaurlaritzan		Berbatek-ETORTEK
		Proiektuak Gipuzkoan	Langune
		Produktuak		Ihardetsi

14-LinguamáticaIñaki Alegria et al.

Honetaz eztabaidatzen da artikulu honetan[START_REF] Forcada | Open source machine translation: an opportunity for minor languages. 5th SALTMIL Workshop on Minority Languages: Strategies for developing machine translation for minority languages[END_REF] 

http://www.internetworldstats.com/stats7.htmTeknologia garatzeko estrategiak baliabide urriko hizkuntzetarakoLinguamática -15

http://dtil.unilat.org/LI/2007/ro/resultados_ro.htm

http://meta.wikimedia.org/wiki/List_of_Wikipedias

http://www.elra.info/

http://www.ldc.upenn.edu/Catalog/catalogSearch.jsp

http://aclweb.org/aclwiki/index.php? title=List_of_resources_by_language

http://registry.dfki.de/

http://www.yourdictionary.com/languages.html

http://www.translation-directory.com/machine.html

http://www.federicozanettin.net/sslmit/cattools.htm#p ublications

http://www.microsoft.com/unlimitedpotential/progra ms/llp.mspx

http://blogs.sun.com/GullFOSS/entry/locale_data_for _159_locales

http://www.google.com

http://babelfish.yahoo.com

http://translate.google.com 16-Linguamática Iñaki Alegria et al.

XML and TEI dira estandar egokienak.18-LinguamáticaIñaki Alegria et al.

http://elsnet.dfki.de/roadmap.php

http://elsnet.dfki.de/roadmap.phpversion=LREC_2004

http://www.clarin.eu/

http://www.flarenet.eu

http://ixa2.si.ehu.es/saltmil/eu/activities/workshops/w orkshops.html

20-LinguamáticaIñaki Alegria et al.

22-LinguamáticaIñaki Alegria et al.

http://www.ztcorpusa.net/aurkezpena.htm24-LinguamáticaIñaki Alegria et al.

26-LinguamáticaIñaki Alegria et al.

28-LinguamáticaIñaki Alegria et al.

30-LinguamáticaIñaki Alegria et al.

Xabier Arregi Iparragirre. 2010. La segunda y tercera ediciones del Diccionario Básico Escolar. Euralex2010. Leeuwarden (Herbehereak) B. Petek. 2000. Funding for research into human language technologies for less prevalent languages, Second International Conference on Language Resources and Evaluation (LREC 2000). Athens, Greece. Sarasola K. 2007. Technology is an effective tool to promote use of Basque. ICML Colloquium on Language Revitalisation through Multimedia Technology, Pecs, Hungary. Simov K., Osenova P., Kolkovska S., Balabanova E. and Doikoff D. A language resources infrastructure for Bulgarian. Proceedings of the Fourth International Conference on Language Resources and Evaluation, LREC. 1685--1688. 2004. O. Streiter, K.P. Scannell, M. Stuflesser (2006) Implementing NLP projects for noncentral languages: instructions for funding bodies, strategies for developers. Machine Translation Journal. Volume 20, Number 4, pp. 267-289. B. Williams, K. Sarasola, D. Ó´Cróinin, B. Petek. 2001. Speech and Language Technology for Minority Languages. Proceedings of Eurospeech 2001. Wilson A., Archer D., and Rayson P. Corpus linguistics around the world. Rodopi. 2006.