Ba al dago lekurik euskararako postedizioarentzat?
Nora Aranberri

Itzulpen automatikoa (IA) edo makinek egindako itzulpena aspalditik daukagu geurekin, baina oraintsu hasi da haren erabilera profesionala nabarmentzen, postedizioarekin (PE) konbinatzean lortzen diren hobekuntzak direla medio. 2013an, ia 1.000 hizkuntza zerbitzuk erantzun zuten Common Sense Advisory-ren inkesta bat, eta, haren arabera, enpresen % 44k eskaintzen zuen postedizio zerbitzua (DePalma et al., 2013). 2015ean egindako inkestak, berriz, joera sendotuz doala erakutsi du. Inkesta horren arabera, 2014an gehien hazi ziren zerbitzuen zerrendan, zortzigarren postuan agertzen zen postedizioa, eta, 2015ean, zazpigarren postura igo zen (DePalma et al., 2015). Mundu-mailako bultzada hori hortxe, galdera bat datorkigu burura: nola dabil euskararako IA? Postediziorako prestatu beharra ote dute gure itzultzaileek? Zer-nolako ataza litzateke euskararen postedizioa?

Aurreko udazkenean, UEUko ikastaroen barnean, euskararako postedizioa jorratzeko lantegi bat jarri genuen abian. Itzulpen automatikoa probatzeko agiantzaz, zenbait itzultzaile batu ziren postedizio-lana eta eztabaida uztartzea helburu zuen forora. Ikuspegi orokor bat emateaz gain, han hizkatutakoen eta ateratako ondorioen berri biltzen saiatu naiz hemen. Hona euskal postedizioari buruzko lehen zertzeladak.

Postedizioa beste hizkuntzetan: nola erabiltzen da IA?

Itzulpen automatikoa, batez ere hizkuntza handien artekoa, enpresa multinazionaletan erabiltzen da aspaldi, postedizioarekin konbinatuz, itzulpen-prozesua azkartzeko eta ekoitzitako bolumena handitzeko. Besteak beste, eta izen batzuk aipatzearren, informazioaren teknologiaren eremuko Autodesk, Microsoft eta Symantec, edota SDL eta Lionbridge hizkuntza zerbitzuko enpresak izan ditugu bide-erakusle. Autodesk aitzindaria da lantegian bertan produktibitate-probak egiten beren testuak posteditatzen dituzten itzultzaileekin (Plitt eta Masselot, 2010; Zhechev, 2012). Hala, ingelesetik hainbat hizkuntzatara egindako probetan –hala nola alemanera, frantsesera, gaztelaniara, italierara, japonierara eta txinerara, besteak beste–, emaitza positiboak lortu dituzte. Adibidez, aditzera eman zuten itzulpena % 59 azkartzen dutela ingelesetik gaztelaniara IA posteditatuta (Zhechev, 2014). Frantseserakoetan, kontuan hartuta halakoetan lortu zutela hobekuntzarik nabarmenena, % 92 azkartu zuten prozesua, eta portugeserakoetan lortu zuten emaitzarik xumeena, % 37 (ibid.).

Maiz uste izaten da postedizioak giza itzulpena ordezkatzen duela, behin IA itzulpen-prozesuan sartuz gero; alegia, orain arte landutako itzulpena, ordenagailuz lagundutakoa, alboratu egiten dela. Kasu gehienetan, ordea, ez da hala izaten. Itzulpen automatikoa bereziki ona den kasuetan, ahalbidetu zitekeen ordezkapen-egoera bat, baina, oro har, itzulpen automatikoa (eta postedizioa) laguntza gehigarri gisa inplementatzen da (IA itzulpen-prozesuan sartzearen egunerokoei buruz irakurtzeko, ikusi Silva 2014). Bestela esateko, itzulpen automatikoa itzulpen-memorietan txertatzen da. Itzultzaileak memoriak zer berdintasun-atalasetik gorako segmentuak bistaratzea nahi duen zehazten du. Atalase hori kontuan izanda proposamenik eskaintzerik ez duten kasuetan agertzen da itzulpen automatikoa. Memorien edukiari ematen zaio lehentasuna, eta memoriek lagundu ezin duten kasuetarako erabiltzen da IA.

Horren ondorio zuzena da itzultzaileek bai memorietako segmentuak eta bai itzulpen automatikoko segmentuak orraztu behar dituztela lanaldi berean. Jatorri horren desberdina izanda, segmentuetan egin beharreko moldaketen izaera aldatu egiten da, eta itzultzaileek malgutasuna erakutsi behar dute multiataza horren aurrean.

IA sistemak euskararako prest ote?

Euskara lan-hizkuntza duten sistemak ere baditugu eskuragai. Esate baterako, Google Translate, Eusko Jaurlaritzak finantzatutako itzultzailea eta Elhuyarrek ustiatzen duen EHUko Matxin ikerketa-sistema. Googleren tresna corpusetan oinarritutako sistema estatistiko bat da, hau da, corpus paralelo elebidunetatik ikasten du itzulpenak egiten. Probabilitateak baliatuz, testu horietan agertzen diren hitzak erabiltzen ikasten du. Itzultzailea eta Matxin, bestalde, erregeletan oinarritutako sistemak dira, eta, beraz, hiztegi elebidun bat erabiltzen dute, baita iturburuko hizkuntza xede-hizkuntzara moldatzeko beharrezko jakintza linguistikoa biltzen duten erregelak ere. Sistema horiek guztiak orokorrak dira, eta edozein testu generikori aurre egiteko pentsatuta daude. Generiko hitza, baina, oso zabala da, eta sistemek badituzte mugak. Lehenengoek, corpusetan oinarritutako sistema estatistikoek, ikasketan erabilitako testuen antzekoak itzuliko dituzte hobeto, eta bigarrenek, erregeletan oinarritutakoek, hiztegian bildutako lexikoaren eta garatutako erregelen arabera emango dituzte baliokideak. Nolabait esateko, sistema generikoek ahalik eta estaldura gehien lortzea dute helburu; batzuetan, doitasunaren ordainetan.

Enpresa batek IA sistema bat bere dokumentazioa itzultzeko trebatzen duenean, aldiz, aurreko bi balio horien oreka aldatzeko eskatzen du. Hau da, hizkuntzaren estaldura-beharrak enpresaren jarduera-eremura mugatuta egongo dira, eta doitasuna premiazkoa izango da. Hizkuntzaren azpimultzo horretan itzulpenak egiteko, sistemak baliabide zehatzagoak baina murritzagoak behar ditu, eta, ondorioz, gai izaten da jakintza errazago kudeatzeko. IA sistema bat enpresa batean erabiliko bada, halako kontuak gogoan hartuta garatuko da. Hala, jakintza-eremu zehatz batekoak izango dira ikasteko testuak, hiztegi elebidunak eta erregela linguistikoak. Arrazoi horrengatik, halako sistemen itzulpen-kalitatea nabarmen hobea izaten da; eremu horretarako, betiere. Hala egokitutako sistemak erabiltzen dituzte aurretik aipatu ditugun Autodesk-ek eta gainerakoek, eta hurbilpen hori dela-eta lortzen dituzte produktibitate-hobekuntza nabarmen horiek; itzulpenak ia guztiz egokiak dira, eta itzultzaileek posteditatu edo moldatu beharrekoa akats gutxi batzuk baino ez dira izaten.

Nahiz eta merkatua zabaltzen ari den, IA sistema doituak enpresa multinazionalek erabiltzen dituzte batik bat. Beren dokumentazioa, bolumen handikoa, hizkuntza mordo batera itzuli behar dute etengabe. Euskara hasiera-hasieratik hor ez kokatu izateko, bi arrazoi nagusi aurkitu ditzakegu. Alde batetik, euskal merkatura iristeko, euskara erabiltzea ez da ezinbestekoa. Euskal komunitateak gogotik eskertzen duen ahalegina da, baina enpresaren irabazietan aldaketa nabarmenik ekarriko ez lukeena. Bestela esanda, industria internazionalean, lehentasuna dute merkatua irekitzen duten hizkuntza handiek: gaztelaniak, frantsesak, txinerak eta antzekoek. Bestetik, IA sistemak garatzeko behar diren baliabideak ez dira erruz aurkitzen gure hizkuntzarako. Corpusetan oinarritutako tresnek milioika hitzeko testu paraleloak behar dituzte, eta erregeletan oinarritutakoek, berriz, hiztegi terminologiko elebidunak eta moldaketa-erregelak.

Urteetan zehar egindako itzulpenez baliatuz (itzulpen-memoriak corpus paralelotzat jo daitezke!), eta corpusetan oinarritutako sistemek dakarten ikasteko erraztasunarekin (corpus eta ahalmen konputazional nahikoa izanda, hilabete pare batean doitu daitezke), enpresa handiak ahalik eta hizkuntza gehienetarako itzulpenak egiten saiatzen ari dira. Euskara, oraingoan, ez da atzean geratu, eta Microsoft bera eta antzeko enpresak badabiltza gure hizkuntza ere lantzen.

Erraz uler eta onar dezakegu itzulpen automatikoko sistema doituen kalitate nabarmena lagungarri izan daitekeela itzulpen-ekoizpena handitzeko. Euskararako IA sistema publiko edo atzigarrien emaitzari begiratuz (hasieran aipatu ditugu), ordea, argi dago hobetzeko aukera badagoela, hots, ez dituztela eskaintzen zuzenean argitaratzeko moduko kalitatezko itzulpenak. Haatik, halako kasuetan ere, itzultzaileentzat lagungarri gerta daiteke halako sistemak erabiltzea, postedizioaren ildotik gehienbat. Nola aprobetxatu jakitea da kontua.

Itzultzailearen eta posteditorearen trebetasunak

Postedizioan pentsatzerakoan, itzultzaileak etortzen zaizkigu burura, nahi gabe. Itzultzea eta posteditatzea, ordea, ez dira ataza bera, eta ez dituzte abilezia berak eskatzen. Ataza bera ez direla bistan uzten du itzultzaileek IAri esleitu ohi dioten kutsu negatiboak; Cronin-ek biltzen dituen hitzen arabera (2013), «arautzea, dependentzia, esplotazioa edo inpotentzia». Bassnett-en hitzetan (1991: 21), itzultzea hizkuntza-zeinu multzo batek dakarren esanahia beste hizkuntza-zeinu multzo batera eramatea da, eta hiztegiaren eta gramatikaren gaineko konpetentzia egoki bati esker egiten da hori, irizpide estralinguistiko multzo bat erabilita. Pym-en hurbilpen minimalistaren arabera (2003: 489), itzulpenaren bi gaitasun espezifiko izan behar ditu itzultzaile on batek. Batetik, iturburuko testu batentzat itzulpen posible bat baino gehiago sortzea; eta, bestetik, itzulpen horietatik egokiena aukeratzea, azkar eta arrazoitzeko kapaz izanda. Postedizioa, aldiz, IA sistemaren itzulpena orraztean eta zuzentzean datza, aurrezarritako kalitate bati helduta. Bai itzulpena eta bai postedizioa esanahia eramateaz arduratzen direnez, zentzuzkoa da pentsatzea posteditoreek ere izan beharko lituzketela itzultzaileek izan beharreko gaitasun asko. Haien artean dago hartzaileen beharrak zehazteko gaitasuna, O'Brien-en ustez (2003). Haatik, Offersgaard-ek eta bestek argi diote bere-bereak dituen gaitasunak eskatzen dituela postedizioak (2008: 153). Bereziki, posteditore on batek kapaz izan behar du aurreikusteko zer den eraginkorragoa: segundo gutxi batzuetan automatikoki itzulitako segmentu bat zuzentzea ala zerotik itzultzea. Posteditatzerakoan, abiadurak garrantzi handia hartzen du, eta horrek trebezia eskatzen du di-da batean zer aldaketa egin eta zer ez egin erabakitzeko. De Almeidak eta O'Brien-ek ezinbesteko hiru gaitasun zerrendatzen dituzte lokalizazioan aritzeko (2010: 2):

1. IAren itzulpenean zuzendu beharreko arazoak identifikatu eta behar bezala moldatzeko gaitasuna. Halakoei beharrezko aldaketak deritze.
2. Postedizio lana abiadura azkarrez egiteko gaitasuna, eguneko produktibitate-aurreikuspenak betetzeko moduan.
3. Gidalerroei jarraitzeko gaitasuna, norberaren apetak asetzeko ahalik eta aldaketa gutxien egite aldera. Halakoei hobetsitako aldaketak deritze.

Bistan dago, bada, itzultzaile izan arren, trebakuntza beharko dela posteditore eraginkor bat izateko.

Postedizio-lana: argibideak eta trikimailuak

Postediziorako gidalerroak dira askotan itzultzaileek atazari aurre egiteko izaten duten lagungarri bakarra. Oso gutxi dira atzigarri dauden gidalerroak, gehienetan enpresa barneko txostenak izaten baitira, eta isilpean mantentzekoak. Adierazgarriak dira Microsoftek bere Language Portal gunean eskuragarri jarri zituen gidalerroak, 2008. urtean, aldi labur batez. Gaztelaniazko gidalerroek hainbat informazio biltzen zuten, hala nola IA sistemen definizioak, proiektuaren arabera onartutako kalitate-mailak, errore gramatikal eta lexikoentzako irtenbide posibleak, eta zer-nolako hizkuntza onartzen zen kalitate-maila bakoitzean, batez ere kontu estilistikoei dagokionez. Era bertsuan, ikerketa-artikulu batean biltzen dira Schäfer-ek SAPerako proposatutako gidalerroak ere (2003). Haren arabera, postediziorako behar diren gaitasunekin batera definitzen da postedizioa, eta, batez ere, IAko errore-tipologia bat zehazten da. Bi dokumentu horiek aditzera dakartena da enpresa bakoitzak bere ikuspuntu propioa duela postedizioarekiko eta horren araberakoak izango direla eskakizunak. Azterketa zabal baten ondoren, De Almeidak dio, baina, gidalerroek zehaztapen gutxi izaten dituztela oro har eta adibideen falta nabaritzen dutela erabiltzaileek (2013).

Esan dugu zer errore zuzendu eta zer ez zehazten dela gidalerroetan eta trebakuntza-planetan. Ostera, badirudi ataza aldatu egiten dela euskara eta halako hizkuntzetarako atzigarri ditugun sistemetan. Askotan itzultzen du IA sistemak testu jariogabea eta doitasun gutxikoa. Lantegira bildutako itzultzaileek adierazi zuten errore kopurua gehiegizkoa zela askotan, banakako konponketetan oinarritu ahal izateko. Gainera, adierazi zuten, kasu batzuetan ez zen batere erraza itzulpen automatikoko elementu zuzenak eta norberak ekarritakoak eraginkorki elkartzea. Eztabaidak eta datuen analisiak aditzera ematen dutenez, IAren kalitatea hala moduzkoa denean, hitz-segida zuzenak berrerabiltzean datza posteditorearen lana, erroreak zuzentzean bainoago. Lehenik eta behin, posteditoreek itzulpen automatikoa irakurtzen dute, eta laster batean erabakitzen zein hitz-segida borratuko duten eta zein berrerabiliko duten. Jarraian, azken horiek konektatzeko zer elementu gehitu eta kendu behar dituzten erabakitzen dute. Halako erabakiak maila lexikokoak dira, baita ere, baina esfortzu gehien eskatzen duena esaldiko elementu guztiak behar bezala jostea da antza, hizkuntzaren sintaxia eta morfologia ondo zaintzea, esanahi osoa eramatea bermatzen den aldi berean.

Postedizioaren trebakuntza finkatzear dago oraindik. Trebatzaile askok, eta batez ere sistema doituekin dabiltzanek, denboran jartzen dute arreta, trikimailuak proposatzen baitituzte di-da batean erabakitzeko ea itzulpen automatikoa berrerabiliko den ala ez. Itzulpen automatikoa berrerabiltzeko aukerak bizkor eta agudo identifikatzeko gaitasuna garatzeko asmotan, teoria edo gomendio lausoak ematen dira industrian, hala nola 5 hitzen teoria eta 3 segundoen teoria. 5 hitzen teoriaren arabera, posteditoreak itzulpenaren lehenengo eta azken 5 hitzak irakurri behar ditu, eta erabilgarritasuna hortik ondorioztatu. Aldiz, 3 segundoen teoriaren arabera, denbora tarte hori uzten zaio posteditoreari, nahi duena irakurri eta erabaki bat hartzeko.

Bien oinarrian, zera dago: posteditoreari irizpide bat edo beste ematea, ahalik eta azkarren har dezan erabakia. Itzulpenak errore txikiren bat baino ez badauka, erraz erabakiko dugu berrerabiltzea, eta, itzulpena ulertezina bada, ziztu bizian baztertuko dugu. Maila ertaineko kalitate batekin, baina, denbora galtzea ez da arraroa; zati hau bai, hau ez, agian hau aurrera edo beste hau atzera mugituz gero... Helburua ez da, berez, itzulpen automatikoa berrerabiltzea, baizik eta itzulpena erraztea eta azkartzea. Horretarako IA guztiz baztertu behar bada, hau da, IAk emandako ideiak ahaztu behar badira, edo, nahiz eta baztertu ez, borratu eta esaldia berriz idatzi behar bada, lasai, aurrera. Hori maiz ahazten zaigu, berrerabilera areagotzearekin itsututa.

Semaforoaren teoria

Bai itzulpengintzako ikasketen barnean, bai enpresetako mintegietan, gai bertsuak tratatzen dira, oso orokorki eta epe laburrean, postedizioaren inguruan: IAren nondik norakoak, erroreetara ohitzea (identifikatzeko gaitasuna fintzea) eta argibideen deskribapenak irakurtzea, postedizio moldaketen bidez zer aldatu eta zer ez zehazteko.

Lantegian ikusitakoa kontuan harturik, esan genezake posteditoreek semaforoaren teoriari jarraitu behar diotela. Teoria horrek hiru egoeratan banatzen ditu posteditorearen eginbeharrak, semaforo baten aurrean izango lukeen jokabidea imitatuz.

   –– Argi berdea: aurrera jarraitu, aldaketarik gabe. Itzulpen automatikoa guztiz egokia da bere horretan testuaren helburua betetzeko, hau da, badauka aldez aurretik adostutako kalitate-maila. Ondorioz, posteditatzerakoan, ez da aldaketarik egin behar. Horrek ez du esan nahi, derrigorrean, itzulpena baliokide perfektua denik, baizik eta aproposa dela testuaren xederako.

   –– Argi gorria: gelditu, eta egin aldaketak. Itzulpenak baditu testuaren helburua betetzea oztopatzen duten akatsak; alegia, testua moldatu ezean, ez da lortuko iturburuko mezua hizkuntza berrira ekartzea irakurlearentzat egokia den mailan. Halako kasuetan, posteditoreak itzulpen automatikoa zuzendu eta moldatu beharko du aurretiaz adostutako kalitate-mailara ekartzeko.

   –– Argi horia: gelditu ala ez? Mundu ideal baten aurreko bi egoerarekin, nahikoa litzateke posteditoreak aldaketak noiz egin behar dituen definitzeko. Badakigu, baina, argi horia ere maiz agertzen dela errealitatean. Nahi baino gehiagotan, izan ere. Posteditoreari argi horia pizten zaio baliokide perfektuak ez diren itzulpenetan argi eta garbi ezin esan daitekeenean akatsak dituela edo ziurtatu ezin daitekeenean akatsok mezua oztopatzen dutela. Trafikoko zuzendaritza nagusiari jaramon eginez gero, zalantzazko kasuetan, gelditu eta moldaketak egin beharko genituzke, argi gorria balitz bezala jokatuz. Halaxe egiten da, gehienetan, giza itzulpenetan, non nolabaiteko perfekzioaren bila goazen. Posteditatzerakoan, aldiz, aurrera egiteko joera nabarmentzen da; agian, kalitatearen kalterako, oraindik denbora irabazien pean egon litekeen ataza honetan. Berez, bezeroarekin kalitate-maila adosterakoan zehaztu beharreko kontua da zer jokabide izango dugun eremu lauso horretan. Kalitate-mailen eta onargarritasunaren subjektibotasuna da, besteak beste, posteditoreen trebakuntzaren muinoa.

Teoriak, irizpideak eta argibideak baliagarri gertatuko zaizkio posteditatzera ausartzen den edonori. Baina, itzultzaile ona izateko itzulpenak barra-barra egin behar diren bezala, posteditatzen ikasteko, posteditatu eta posteditatu egin behar da. Hor ikasiko du bakoitzak bere ahuleziak zein diren, nola atera dakiokeen IAri probetxu gehien eta, azken finean, zer trikimailu ezkutu dituen norberak ataza aurrera eramateko.

Noiz eta zergatik merezi duen IA erabiltzea

Postedizioa aldagai askoren menpe dago. Azken urteotan, ikertzaileek zenbait alderdi identifikatu dituzte postedizio-lanaren eskakizunak moldatze aldera, hala nola IAren kalitatea, posteditoreen abilezia, itzulpen-argibideak/helburua, esaldi-luzera, bestelako hizkuntza-egiturak eta hizkuntza-bikotea. Testuen eraketaren arabera, beraz, espero eta behar diren moldaketak alda daitezke. Horrek, posteditorearen trebakuntzaren konplexutasuna agertzeaz gain testuinguru bakoitzerako jarraibide zehatzak eskatzen baititu, lagundu gaitzake erabakitzen noiz mereziko duen IA erabiltzea.

Lantegian ikusi dugu atzigarri dauden IA sistema orokorren kalitatea erdi-modukoa dela momentuz euskararako eta are eta kaskarragoa dela emaitza esaldi-luzera handitzen den heinean. Horrek jada lagunduko digu testu-mota batzuk baztertzen. Erabili beharreko lexikoaren espezializazio-maila ere kontuan hartzekoa izango da. Terminologia aberatsa duen domeinu bateko testuren bat itzultzera bagoaz, litekeena da sistemak doituta ez egotea. Parte-hartzaileek adierazi zuten bezala, benetan lagungarria litzateke norberak lexiko berria sistemetan txertatu ahal izatea, bai lanean hasi aurretik, bai lanean dihardugun bitartean, koherentzia terminologikoa ahalbidetzeko. Testuaren xedea, igorlea eta hartzailea, eta nolabait horri lotuta dagoen kalitate-maila onargarriak zehaztuko dute, azken finean, zenbateraino berrerabil dezakegun makinaren itzulpen ez-perfektua.

Ezin dut idatzia bukatu esan gabe ikusi dugula itzulpen automatikoak pizgarri bezala balio duela, erdi-modukoa izan arren. Itzultzaileak ez du lauki edo orrialde huts batekin topo egiten iturburuko segmentua irakurri ostean, itzulpen aukera posible batekin baizik; itzulpena hobea edo txarragoa izan, egiturak eta hitzak proposatzen ditu, eta egitura eta sare lexikoak aktibatzen burmuinean. Egitura horiek onartu (eta zuzendu) edo baztertu ditzakegu; gauza bera hitzekin. Baina badaukagu abiapuntua. Lantegian zehar egindako produktibitate-probetan, hau da, itzulpen-denbora eta postedizio-denbora alderatzerakoan, oro har, ez dugu alde esanguratsurik neurtu bataren edo bestearen alde. Kontuan izanda posteditatzeko orduan itzulpen automatikoa irakurri eta haren gaineko erabakiak hartu behar direla iturburuko esaldia irakurtzeaz gain, posteditatzean itzultzean bezain azkar ibiltzeak badio zerbait haren eraginaz. Zerbait badago hor.

Bibliografia

Bassnett, S. (1991). Translation Studies. Routledge, Londres eta New York.

Cronin, M. (2013). Translation in the Digital Age. Routledge, Oxfordshire, UK.

De Almeida, G. (2013). Translating the post-editor: an investigation of post-editing changes and correlations with professional experience across two Romance languages. PhD Thesis. Dublin City University.

De Almeida, G. eta O'Brien, S. (2010). «Analysing post-editing performance: correlations with years of translation experience», in Proceedings of the 14th annual conference of the European association for machine translation, St. Raphaël, France.

Depalma, D., Hegde, V., Pielmeier, H. eta Stewart, R. (2013). The Language Services Market: 2013. Common Sense Advisory, Boston, USA.

Depalma, D., Pielmeier, H., Henderson, S. eta Stewart, R. (2015). The Language Services Market: 2015. Common Sense Advisory, Boston, USA.

O'Brien, S. (2003). «Controlling controlled English. An analysis of several controlled language rule sets», in Proceedings of EAMT-CLAW, 3, 105-114.

Offersgaard, L.; Povlsen, C.; Almsten, L. eta Maegaard, B. (2008). «Domain specific MT in use», in Proceedings of the 12th European Association for Machine Translation conference, Hamburg, Germany, 153-154.

Plitt, M. eta Masselot, F. (2010). «A Productivity Test of Statistical Machine Translation Post-Editing in a Typical Localisation Context», in The Prague Bulletin of Mathematical Linguistics, 93, 7-16.

Pym, A. (2003). «Redefining Translation Competence in an Electronic Age. In Defence of a Minimalist Approach», Meta: journal des traducteurs / Meta: Translators' Journal, 48(4), 481-497.

Schäfer, F. (2003). «MT post-editing: How to shed light on the 'unknown task'. Experiences made at SAP», in 8th International workshop of the European Association for Machine Translation (EAMT 03), Dublin City University, Dublin, Ireland, May 15-17.

Silva, R. (2014). «Integrating Post-Editing MT in a Professional Translation Workflow», in S. O'BRIEN, L. WINTHER BALLING, M. CARL, M. SIMARD eta L. SPECIA (arg.), Post-editing of Machine Translation: Processes and Applications, Cambridge Scholars Publishing, Newcastle upon Tyne, 24-50.

Zhechev, V. (2012). «Machine Translation Infrastructure and Post-editing Performance at Autodesk», in Proceedings of the AMTA 2012 Workshop on Post-editing Technology and Practice (WPTP' 12).

–––– (2014). «Analysing the Post-Editing of Machine Translation at Autodesk», in S. O'Brien,