Jasone Salaberria Fuldain 
  
Hennie Brugman 
  
Albert Russel 
  
  
  
  
  
ELAN analisi multimodalerako lanabesa

Keywords: analisi multimodal, corpus, etiketatze. Resumen análisis multimodal, corpus, etiquetado

ikus-entzunezko baliabideetatik etiketatze konplexuak egiteko. Eduki idatzia Unicode moldean dago eta transkripzioa XML formatuan atxikitzen

Analisi multimodala

Solasaldi-analisi multimodala Charles Goodwin-en 1. inspiraziopean garatu da 1979 eta 2000 urteen artean. Ahozko hizkuntzalaritza, hala nola elkarrekintzazko edo interakziozko hizkuntzalaritza, teknologien garapenarekin batera garatu dira. Zeinei esker, lehenik audioen grabaketa eta ondotik irudiena, ahal izan den hizkuntzaren eta ekintza sozialen erabilera testuinguruan grabatzea. Halere, eskeintza teknologiko hori bera ez da izan aski elkarrekintzazko ahozko hizkuntzalaritza sortzeko.

Gaur egun gero eta hizkuntza ikertzaile gehiagok -baita sozial eta giza zientziakoek ereerabiltzen du bideo grabaketa hizkuntza komunikazioa testuinguru arruntean analizatzeko. Baina grabatutako datuak, sarritan, inplizitu eta guti kontzeptualizatuak gelditzen dira, eta helburu desberdinetarako erabiliak izaten dira:

deiktikoen erreferentziez edo egoeraren inplizituez jabetzeko; objektu bat tratatzeko, adibidez, jestu ko-berbalak analizatzeko; hizkuntzaren ikusmolde desberdin batean oinarrituriko analisi linguistikoak egiteko, non hizkuntza, linguistikoa baino zabalagoa kontsideratzen den, non hizkuntza eta jestualitatea ezin diren bereizi, artifizialki ez bada, eta non antolaketa funtsez multimodala den.

ELAN hirugarren ikusmolderako asmatua izan da. Non kontsideratzen diren lengoaia eta jestuak bereizezinak. Baliabide multimodal desberdinen adierazgarritasuna 70etako Kendon eta Goodwinen lanen ondotik hasi zen sistematikoki aztertzen. Baliabide multimodalak hauexek izanik:

baliabide linguistikoak; aho eta soinu baliabideak (irri, aho-zaratak…); jestu baliabideak (eskuaren mugimenduari lotuak); baliabide bisualak (begirada mugimenduari lotuak); gorputz baliabideak (gorputzaren posturei lotuak); aurpegi baliabideak (mimikari lotuak); gauzen manipulazioa (objektu, dokumentu, lanabesak…).

Eta baliabide horien ezaugarriak dira, alde batetik, partehartzailearen arabera definituak direla, bere orientazioa elkarrekintzan (hurbilketa emikoa) emanak; bestalde, interakzioan hartzen dutela bere adierazgarritasuna eta zentzua. Gainera, ekintzaren denboran eta hizketaren interakzioan estuki ainguratuak dira. Eta testuinguruari lotuak dira.

Beraz, ez bakarrik hizketa, baizik eta eskuragarri eta ikusgarria den informazioak ere interesa du, multimodalitatea baita elkarrekintzan, sinergian diren kanalak, formak, adierazpen-funtzioak elkartzea, zentzuaren eraikuntzara ongi heltzeko 2 . 1. Ondoko artikuluen izenburuek ongi erakusten dute Goodwin-en multimodalerako griña: -Sententziaren eraikuntza interaktiboa solasaldi naturalean‖ (1979); -Elkarrizketaren antolaketa. Hiztunen eta entzuleen arteko elkarrekintza‖ (1981); -Jestua eta ko-partaidetza hitzen bilaketa jardueran (1986); edo Jarduera eta irudia giza interakzioan‖ (2000). 2 Dominique Boutet In Atelier DEGELS 2012: Défi Geste Langue des Signes, 36 or.

ELANen ezaugarri teknikoak

Erabiltzaileak nahi beste iruzkin gehi ditzaieke irudia eta soinu baliabideei. Iruzkina : perpaus, hitz, glosa, itzulpen edo edonolako deskribaketa bat.

Lerroetako eduki idatzia Unicode3 moldea erabiltzen du, eta transkripzioa XML4. formatuan atxikitzen du. Izatez, XML funtzionalitate aurreratuenetatik arindua izan den SGML5. lengoaiaren ekoizpena da. Hura, ikasteko eta egunero erabiltzeko konplexua izanik, HTML bertsio arinago bat garatu zen, baina azken hau, hainbat egokitzapen eginagatik ere, ezin izan zen hedatu mugarik gabe garatzaileen premiak emendatu arau. Orduan zen XML sortu.

XML, bereziki, datuen eta dokumentuen trukaketarako egokitua da, aplikazio eremu guztietan erabilgarria baita. Informazio trukaketarako formatu amankomun bat edukitzea abantaila handia da, eta praktikan, XML ardurako etiketatze hizkuntza bezala inposatzen ari da.

Programa honek audio eta bideo formatu barietate zabala jasan dezake : .wav audio fitxategiak, .mpg1, .mpg2, .mov, .avi, .wmv bideo fitxategiak. Horrela, adibidez, .mts luzapena duten bideo fitxategiak MTS bihurgailuz .wav fitxategiak sortu eta bideoa fitxategia mpeg codec batez trinkotzen ahal da .mpg1 edo .mpg2 luzapeneko fitxategian bilakatuz.

Lau bideo-artxibo arte batera dakizkioke iruzkin dokumentu bakarrari. Eta erabiltzaileak nahi adina iruzkin gehi ditzaieke ikus-entzunezko baliabideei.

Bestalde, ELANek hainbat formatutara inportazio eta esportazioa egiteko aukera ematen du. Beste programa batzuk sorturiko formatuak ELANera inporta daitezke. Halere, inportazio motaren arabera parametro desberdinak berrikusi behar dira. Batzuetan emaitzak ez dira guztiz fidelak jatorrizko fitxategiarekin. Beraz, transkripzioaren lerrokatzea ELANen pean dagoelarik berrikustea komeni da.

Eta beste programa batzuekin baliatzeko, ELANekin lerrokaturiko transkripzioak hainbat formatutara esporta daitezke.

Programaren instalatzea

http://www.lat-mpi.eu/tools/elan/download helbide elektronikoan deskarga daiteke ELAN programa. Bertan atzematen da eskuliburua ere linean edo PDF formatuan.

Windows pean instalatzea, erraza da, aski da exekutagailua abiaraztea eta aginduak betetzea.

Mac pean, aldiz, arazo batzuk eman ditzake, ordenagailuan aitzinetik instalatua den Javaren bertsioaren arabera. Ordenagailuaren Java bertsio berdina duen ELAN bertsioa instalatzea aholkatzen da.

Dokumentuen kudeaketa

Ikus-entzunezko fitxategiak ELANekin erabiltzeko, lehenik, audio edo/ta bideo fitxategiak gordeak izan behar dira dosier batean, hau da, .wav luzepenezko audio artxiboak eta .pmg1 edo .mpg2 edo .mov edo .avi edo .wmv luzepena duten bideo fitxategiak.

ELANen abiaraztea

ELAN ikonoan klik eginez, hastapeneko leihoa agertzen da. Non fitxategi menuan hainbat eskaintza aurkezten duen, besteak beste dokumentu berria sortzea.

ELAN fitxategi berri baten sortzea

Lanerako baliatuko diren audio/bideo fitxategiak dosier berdinean sailkatuak izatea komeni da. Horrela, ireki edo berria eskatzen delarik, ELANek dosier horiek zabalduko ditu zuzenean.

a) Fitxategi menutik --> Berria aukeratu iruzkin berri bat abiarazteko. ELANek lehenik, eginen diren iruzkinei dagozkien bideo/audio fitxategien kargatzea eskatuko du leiho hau eskainiz: Hurrengo baten lanean jarraitzeko, aski da Fitxategi menuan Ireki sakatzea elkarrizketa kuadroan .eaf luzepeneko artxiboak eskaintzeko. Oraingoan bideo eta soinu artxiboak batera irekiko dira.

Interfazearen aurkezpena

ELANen interfazeak, Imaia 2k erakusten duen bezala, bost eremu eskeintzen ditu: Iruzkina diogularik, perpaus, hitz, glosa, transkripzio fonetiko, itzulpen edo edonolako deskribaketa esan nahi dugu. Hauek geruza ainitzetan sortuak dira eta ikus-entzunezko baliabideei denboran lerrokatuak. ELANek iruzkinen ikuspegi desberdinak eskeintzen ditu, eta ikuspegi bakoitza dagokion iturburuari lotua eta sinkronizatua dago.

Etiketatzea

Etiketatze prozesua hiru alditan egiten da : a) mota linguistikoen eta iruzkin lerroen definizioa, b) denbora segmentuen hautapena, d) iruzkinen idaztea.

Transkripzio soila egin nahi bada, aski da lerro bat sortzea eta idaztea besterik gabe. Baina proiektuak eremu deberdinetako analisiak eskatuko baditu, proiektua ongi definitua izan behar da aitzinetik -helburua betetzeko zenbat eremu analizatu beharko diren, zein den eremuen arteko harremana eta hierarkia, etiketatze batzuk egiteko hiztegi mugatu bat erabil daitekeen, etab-.

Jakin beharra dago lerroak bi motakoak izan daitezkeela:

-Independienteak, barnean dituzten informazioak denbora tarteari lotuak zuzenean direnak, hau da, denbora ardatzarekin sinkronizaturik (timealignable). -Erreferentzialak, barnean dituzten informazioak beste Lerro bateko (Lerro Nagusia, Parent, Línea Madre deitua) iruzkinei lotuak direnak. Ez dira zuzenean denbora ardatzari lotuak. Haietariko batzuk egon daitezke hala ere, baina tira nagusiaren denbora tarte zehatzaren barnean bakarrik.

Iruzkinak agertzeko eremuan, lerro erreferentzialaren etiketak lerro nagusiaren kolore berdina izanen du.

Hierarkia kateatuak sor daitezke, adibidez, A lerroa B lerroaren lerro nagusia izan daiteke, eta B lerroa C lerroaren lerro nagusia, etabar, Imaia 5ean ikus daitekeen legez:

transkripzioa lerroa independientea da, perpaus lerroa transkripzioa lerroaren menpe da, item lerroa perpaus lerroaren menpe da, funtzioa lerroa item lerroaren menpe da, itzulpena lerroa transkripzioa lerroaren menpe da.

3 Irudia: Lerroen arteko hierarkia Lerro nagusien eta menpekoen lotura hain da handia, non nagusiei egin aldaketek menpekoan eragingo duten, baina ez alderantziz.

Lerro nagusi bat ezabatzen bada, menpeko guztiak ere ezabatzen dira. Gauza bera, lerro nagusi baten iruzkina kentzen bada, haren menpeko lerroaren iruzkina ere desagertzen da. Lerro nagusi baten denbora-tartea aldatzen bada, haren menpeko lerro guztien denbora-tartea ere aldatuko da. 

Mota linguistikoaren definizioa: hiztegi kontrolatua + estereotipoa

Estereotipoak

Lerro bakoitzarentzat Mota (Tipo, Type) linguistiko bat finkatzen da. Mota linguistiko bakoitzak, mota hortako lerro guztiei aplikatzen zaizkien betebehar batzuk zehazten ditu. Betebehar horiek inplizitoki laburtuak dira estereotipoetan.

Mota linguistikoek bost estereotipo eskeintzen dituzte:

-Bat ere ez (None): Iruzkina zuzenean denbora ardatzari lotua da, hau da, iruzkina lerro independiente baten sartzen da.

-Denbora azpizatiketa (Time Subdivision): Lerro nagusiaren iruzkin bat menpeko lerroan azpiunitatetan zati daiteke, azpiunitateak zeinek, bere aldikoz, denborari lotuak izan daitezkeen.

Adibidez, lerro nagusiko perpausak sintagmetan zati daitezke menpeko lerroan, bakoitza dagokion denbora tarteari lotua izanik. Barne zatiketa bakoitza arrasta daiteke. Horrelako lerrotako iruzkinak denborazko sinkronizazioa dute.

-Azpizatiketa sinbolikoa (Symbolic Subdivision): Denbora azpizatiketaren antzekoa, baina honetan unitatepekoak ez dira denboran sinkronizatuak. Adibidez, lerro nagusiaren hitz bat morfema indibidualetan zatitua izan daiteke (ez dutenak denborazko sinkronizaziorik ukanen).

Estereotipo honetan barne zatiketak ezin dira mugitu.

-Barnean (Included In): menpeko lerroaren iruzkin guztiak lerro nagusiaren iruzkinen mugen barnean erortzen dira. Baina hutsak egon daitezke menpeko iruzkinen artean. Adibidez, isilguneak dituen perpaus baten iruzkina, menpeko lerroan hitzetan moztu daiteke isilguneei espazio hutsak dagozkiela.

Barnean estereotipoan barne zatiketak mugi daitezke.

-Asoziazio Sinbolikoa (Symbolic Association): menpeko lerroaren iruzkinak ezin du lerro nagusiaren iruzkina zatikatu. Estereotipo hau erabiltzen da, adibidez, lerro nagusiko perpausaren itzulpen laxoa egiteko.

Hiztegi kontrolatua

Edizio menuan --> Hiztegi kontrolatua editatu (Editar vocabularios kontrolados, Editer le vocabulaire contrôlé, Edit controlled vocabularies) botoiari klik egin (4 Irudia).

Izen hori hartzen du errepikatzen diren etiketekin aitzinetik osatzen den hiztegiak.

Adibidez, proiekturako funtzio gramatikalak aztertzea garrantzizkoa bada, funtzioa lerro bat sotzen da.

Funtzio gramatikalen zerrenda itxia denez, Funtzio gramatikalak izeneko hiztegi kontrolatua sor daiteke aitzinetik. Horrela funtzioa lerroan iruzkinak sartzeko unean, hedatzen den leiho bat ageriko da funtzio gramatikalak eskainiz. Aski da itemari dagokion funtzioa aukeratzea (5 Irudia).

Bide hau lagungarri izan daiteke gauza bertsuak idatzi behar direnean baita akatsak saihesteko ere.

5 Irudia: Funtzioa lerroko iruzkinak sartzeko hiztegi kontrolatuaren eskeintzak

Lerroen definitzea

Mota linguistikoak sortuak direlarik lerroak defini daitezke. Lerro bat sortzeko Lerro (Línea, Acteur, Tier) menuan zapatu eta Gehitu lerro berri bat (ctrl+T) (Añadir Línea Nueva, Add New Tier) balidatu, elkarrizketa-kuadroko ondorengo eremuak agertuko dira:

-Lerroaren izena: lerroaren buruan agertuko den izena, etiketatze eremuaren izena.

-Parte-hartzailea: hiztunari buruzko informazioa (ez da ELAN uneko leihoan ageriko).

-Iruzkinegilea: interesgarria etiketatzaile desberdinak parte hartzen dutenean.

-Lerroaren Lerro Nagusia (Línea Madre, Parent Tier): dagokion lerro nagusia aukeratu.

-Mota linguistikoa: dagokion mota aukeratu (lerroa eta mota linguistikoa izen bera).

-Lehenetsi hizkuntza: ez dakit zer eragin ekar dezakeen eremu honek, euskara ez baitago aukeran, baina badirudi ez duela eragin handirik. -Gehitu (Añadir, Add) balidatu klik eginez.

-Opzio gehiago funtzioak: letra-tipo eta koloreak aldatzeko balio du.

Lerro baten gehitzean, elkarrizketa-kuadroa ez da automatikoki hesten; beste lerro batzuk ere gehi daitezke. Lan leihora itzultzeko, Itxi balidatu behar da.

Nahi den beste lerro defini daiteke, eta gorago esan bezala, aholkatzen da hastapenetik ongi pentsatzea zer informazio mota aztertu behar den nahi den helburua lortzeko, hau da, lerro bakoitzarentzat zer iruzkin sartuko den eta lerro bat baino gehiago badira, lerroen arteko hierarkia ongi zehaztua izatea. Hala ere, geroago ere menpeko lerro baten lerro nagusia alda daiteke.

6. Fitxategi txantiloia (template, plantilla) : .etf ELAN proiektua behar bezala konfiguratua delarik, konfigurazioa gorde daiteke, hau da, lerroen eta mota linguistikoen parametroak gordetzen dira beste proiektu baten berriz erabiltzeko. Hortarako, joan Fitxategia menura (Artxivo, File) --> Eredu bezala gorde ( Guardar como plantilla, Save As Template) zapatu. Eredua gordetzeko tokia aukera ezazu eta izendatu, .etf fitxategia sortuko du.

ELAN fitxategi berri bat sortzean (landu behar diren fitxategiak aukeratu ondoren) txantiloi baten lerroak eta mota linguistikoak Lerro eta Mota menuetatik inporta daitezke.

Mota Linguistikoen inportazioa

Mota linguistiko bat inportatzeko Mota (Type, Tipo) menuan klik egin eta Inportatu Mota (Import Type, Importar tipo) elkarrizketa-kuadroa eskeiniko du, non dozierra bilatzeko Arakatu (Browse, Navegar) eremua zapatuko den landu behar den fitxategi txantiloia (.etf) inportatzeko; --> Inportatu (Importar, Import) balidatu --> Itxi (Cerrar, Close).

Nahiz eta ez diren ikusten, Mota linguistikoak inportatuak izan dira. Egiaztatzeko aski da Mota (Tipo, Type) --> Mota linguistikoa aldatu --> Itxi, egitea.

Lerroen inportazioa

Lerro bat inportatzeko Lerro (Tier, Línea) menuan klik egin eta Inportatu Tira (Import Tiers, Importar Tiras) elkarrizketa kuadroa eskainiko du, non dosier bilatzeko Arakatu (Browse, Navegar) eremua zapatuko den inportatu behar den fitxategi txantiloia (.etf) inportatzeko; --> Inportatu (Importar, Import) balidatu --> Itxi (Cerrar, Close).

Etiketen sortze eta kudeantzea

Mota linguistikoak eta lerroak definitu ondoren, partizio-eremua prest da etiketatze lanari ekiteko. Segmentaziorako multimedia erreproduzigailu eta nabigazio-barrez baliatzen da.

Multimedia erreproduzigailu eta nabigazio-barrak

Multimedia erreproduzigailu eta nabigazio barra hiru zatitan agertzen da: 1tik 11rako botoiek seinale osoa kontuan hartzen dute; 12tik 18rakoak, hautaturiko seinale zatia; eta azken bi kuadrotxoak seinalearen entzuteko moldeari dagozkio. Sartu (Enter) teklaz bakarrik balidatzen bada, eduki testuala ez da gordea izango eta denbora blokean lerro bat baino ez da besterik agertuko.

7 Irudia: Etiketa balidatu ondotik lortu den emaitza Etiketa bat sortua delarik eta bere edukia edo denbora aldatu nahi bada, erraz egiten da. Bai edukia bai denboraren murriztea ala emendatzea.

Gordetzea

ELANen jatorrizko formatua .eaf da. ELANen egindako lehen gordeketa, programak sortutako fitxategiari izen bat ematea eskatuko du. Dokumentua lehenbizi gordetzeko Fitxategia (Fichier, Archivo) menura joan --> Gorde honela (Enregistrer sous, Guardar como) aukeratuz. Adierazi behar zaio ere zein dosierretan nahi den gorde (hoberen ikusentzunezko fitxategiak gordeta diren dosierrean).

Hurrengo gordeketa, edo Fitxategia menutik --> Gorde, edo Ctrl+S (pc) edo sagar+S (mac) zapatuz egin daiteke.

Gordeketa automatikoa ere bada: Fitxategia menua --> Gordeketa automatikoan (Enregistrement automatique, Copia de seguridad automática), zenbat minutu oro gorde behar duen adieraz daiteke: 1, 5, 10… minutu guztietan.

Gorde ondoren dokumentua hetsi dezakegu beste egun baten segitzeko. Oraingoan .eaf fitxategia bakarrik irekiz, ELANek automatikoki irekiko ditu dagozkion bideo eta audio fitxategiak.

Tokenizazioa

Funtzio honek lerro bateko unitateak bereizteko balio du. Lerroa item beste segmentutan pikatuko du. Segmentu horiek sortu behar den beste lerro baten zatiak izanen dira. -Shoebox -Toolbox -Textgrid fitxategiak, UTF-8 eta UTF-16 kodeetan -Chat (CLAN) (.cha bakarrik): ELANek CHAT fitxategi zaharrak jasaiten ditu, baina ez XML CHAT fitxategiak -Transcriber fitxategiak -CSV (tabulazioz mugaturiko testu fitxategiak) (.txt edo CSV)

Halere, inportazio motaren arabera parametro desberdinak berrikusi behar dira. Emaitzak ez dira batzuetan guztiz fidelak jatorrizko fitxategiarekin. Beraz, transkripzioaren lerrokatzea ELANen pean dagoelarik berrikustea komeni da.

Esportazioa

Gainera ELANekin lerrokaturiko transkripzioak beste formatu batzuetara esporta daitezke, beste programa batzuekin baliatzeko. Formatu hauetara esporta daiteke: 

1

  Irudia: Fitxategien hautaketarako elkarrizketa-kuadroa b) Fitxategi mota : Media fitxategiak (.mpg, .mov. wav). c) Elkarrizketa-kuadroaren ezkerraldean hautatu behar dira bideo eta/edo audio fitxategiak eta eskuin aldera eraman [>>] botoia erabiliz, edo fitxategiaren gainean bi klik eginez. d) OK balidatu. e) Iruzkin lanean hasteko prest dago tresna. Gordetzeko Fitxategi menutik gorde-n klik egin, eta .eaf luzapena duen fitxategia sortuko du.

2

  Irudia: ELANen lanerako interfazea A. bideo irakurgailuaren eremua; B. iruzkinak molde desberdinetan afixatzeko eremua: Taula (Parrilla, Grille), Testua… eta Kontrolak erlaitzekin; C. bideo eta/edo audio kontrolagailuaren eremua; D. audio seinalearen eremua: audio artxibo bat inportatzen bada bere bideo artxiboarekin, seinalearen oszilograma ikus daiteke. Seinalearen gainean eskuineko botioarekin klik eginez, laster-menua agertarazten da eta seinalearen zoom maila bertikala edo horizontala modifika daiteke; E. iruzkinetarako lan-partizioaren eremua.

  ere ez (None) Denbora azpizatiketa (Time Subdivision) Azpizatiketa sinbolikoa (Symbolic Subdivision) Barnean (Included In) Asoziazio sinbolikoa(Symbolic Association) 

  ELANek beste programa batzuk sorturiko fitxategiak inportatzeko ahalbidea ematen du. Formatu hauek inporta daitezke:

  XML: Synpathy-ra ere esporta daiteke (enuntziatuen egitura sintaktikoen analisia eta editaia grafikoa egiteko erabiltzen den lanabesa). Tresna hau Psikolinguistikako Max Planck Institutuak garatua izan da ere. -Lerroarte testura -HTML -Tabulazioz mugaturiko testura (EXCEL) -Testu tradizionalaren transkripziora -Hitz zerrenda -SMIL fitxategia: Synchronized Multimedia Integration Language (SMIL) ikusestzunezko aurkezpen interaktiboak egiteko -Quicktime testura -TextGrid Praat 9 Irudia: ELAN-eko lerroakTextGrid-era esportaturik -Azpititulu testua

  

Unicode, mundu mailan hizkuntza desberdinetako testu trukaketa haizutzen duen informatika estandar bat da.

Extensible Markup Language, -markatzeko lengoaia hedagarri‖

Standard Generalized Markup Language, -markatzeko lengoaia orokor estandar‖

irudia: Hiztegi kontrolatua sortzeko elkarrizketa-kuadroa

Irudia: Multimedia erreproduzigailu eta nabigazio barrak