Eind 2020 ging SignON van start: een drie jaar durend project om de communicatie tussen horenden, doven en slechthorenden te ondersteunen. Met 5,6 miljoen euro financiering van de Europese Commissie (Horizon 2020) gingen 17 Europese partners aan de slag om intensief en vernieuwend onderzoek uit te voeren en zo te komen tot een mobiele oplossing voor automatische vertaling tussen gebarentalen en gesproken/geschreven talen. Het Nederlands en de Vlaamse en Nederlandse Gebarentaal speelden een prominente rol in het project met als belangrijke partners de Taalunie, het Instituut voor de Nederlandse Taal, de universiteiten van Tilburg, Nijmegen, Leuven en Gent, de VRT en het Vlaams GebarentaalCentrum.
Het project is nu afgerond en heeft in Ierland direct mooie erkenning gekregen met maar liefst drie prijzen: de ‘Engaged Research of the Year 2023 Award’, de ‘Social impact award’ bij de Analitics & AI awards 2024 en de ‘Digital Transformation Award 2024’ in de category Most Innovative Transformation.
Wat zijn de resultaten van SignON? Projectcoördinator (op technisch en wetenschappelijk vlak) Dimitar Shterionov van de Universiteit van Tilburg en taalkundig onderzoeker Caro Brosens van het Vlaams GebarentaalCentrum vertellen over het project en de uitkomsten.
Een vertaalapp met spraak, tekst en gebaren
Het meest tastbare product van SignON is de ontwikkelde vertaalapp voor verschillende Europese gebaren- en gesproken/geschreven talen. In de app is in- en uitvoer in drie vormen mogelijk: je kunt gesproken taal, tekst en video’s met gebarentaal invoeren, en de uitkomst kan spraak, tekst of een gebarende avatar zijn. Het werk bestond uit verschillende deeltrajecten, waaronder: techniek voor de machinevertaling ontwikkelen, een avatar voor het gebaren ontwerpen en input verzamelen in de gebarentaalgemeenschappen: informatie, advies en data die geschikt is voor de vertaalmachine.
Dimitar licht toe hoe het vertalen technisch is aangepakt: “Vertaalmodellen ontwikkelen voor alle mogelijke talencombinaties zou te omvangrijk zijn. We hebben daarom ingezet op het ontwikkelen van een soort tussenstap die gebruikt kan worden voor alle vertalingen tussen twee talen. Dat maakt het direct ook eenvoudiger om later nieuwe talen aan de app toe te voegen.”
Technisch werkt de app met zijn stevige robuuste basis al erg goed, maar voor daadwerkelijke toepassing in verschillende praktijksituaties moet hij nog verder ontwikkeld worden. Het prototype kan nu al gebruikt worden door ‘SignON Authorised Users’, die via de projectpartners toegang hebben gekregen.
Het belang en de kracht van cocreatie
Een belangrijk aspect bij de ontwikkeling van de app was de cocreatie met verschillende gemeenschappen van doven en slechthorenden. Het Vlaams GebarentaalCentrum had hierin samen met de European Union of the Deaf een leidende rol. Caro vertelt: “Om zoveel mogelijk input en feedback te krijgen, hebben we verschillende activiteiten georganiseerd. Er waren een-op-eengesprekken, rondetafels, workshops en een grote online bevraging. We werkten hiervoor samen met allerlei lokale organisaties in de betrokken landen (Spanje, Nederland, Vlaanderen, Verenigd Koninkrijk, Ierland). Heel belangrijk hierbij was dat we zorgden voor zoveel mogelijk directe communicatie, dus zonder tussenkomst van tolken. We wilden dat iedereen zich vrij kon uiten en direct en zonder omwegen commentaar kon geven.”
Door deze aanpak werd voortdurend rekening gehouden met de wensen en behoeften van de doelgroepen, om de app uiteindelijk zo bruikbaar en gebruiksvriendelijk mogelijk te maken. Caro: “Het was een intensief en lang proces van afstemmen, maken, testen, aanpassen, testen en verder verbeteren, maar dat is de enige manier om een product te krijgen dat mensen kunnen én willen gebruiken.”
Caro voegt toe: “Het proces heeft ook meer opgeleverd dan alleen de specifieke oplossingen voor de app. We hebben allemaal ontzettend veel bijgeleerd en bij alle partijen is bewustzijn gecreëerd. Ikzelf wist als taalkundige bijvoorbeeld niets van machinevertaling. Door het project snap ik nu beter hoe het werkt en wat de beperkingen zijn – en daarmee ook waarom ontwikkelingen soms lang duren. Aan de andere kant hebben de technische partners veel geleerd over de cultuur van gebarentalen en over het omgaan en communiceren met dove en slechthorende mensen. Iedereen kan deze lessen en inzichten meenemen in zijn of haar verdere leven en in vervolgprojecten.”
Caro BrosensWe hebben allemaal ontzettend veel bijgeleerd en bij alle partijen is bewustzijn gecreëerd.
Ontwikkelpunten: data en avatar
De belangrijkste beperking van de app is dat er nog onvoldoende data zijn om het systeem goed te kunnen trainen en om de app voor alle contexten geschikt te maken. Gesproken talen hebben zeer uitgebreide woordenboeken en tekstcorpora, maar voor gebarentalen is dit allemaal nog zeer beperkt. Er is een basiswoordenschat waarmee het systeem al goed werkt, maar bijvoorbeeld veel idiomen en uitdrukkingen kent en herkent het nog niet.
Extra lastig is dat gebarentalen anders in elkaar zitten dan gesproken talen: je gebaart bij gebarentaal meer simultaan. Caro legt uit: “Om de betekenis ‘snel rijden’ te krijgen, gebaar je bijvoorbeeld niet eerst ‘rijden’ en erna ‘snel’, maar je geeft dit weer in één gebaar, door het aspect ‘snel’ tot uitdrukking te brengen terwijl je het gebaar voor ‘rijden’ maakt. Al die specifieke gradaties en varianten van gebaren zijn niet opgenomen in de woordenboeken waardoor ze moeilijk te herkennen, leren en produceren zijn voor de computer. Hetzelfde geldt voor de mimiek, die een belangrijke rol speelt in gebarentalen.”
Ook aan de avatar kan nog veel verbeterd worden. De hand- en mondbewegingen zijn nu bijvoorbeeld nog houterig. Caro: “Vergelijk het met de automatische computerstem die voor omroepberichten op stations wordt gebruikt. Die stem is in de loop der jaren al steeds soepeler en natuurlijker geworden, met meer intonatie. Bij de avatar zijn we nog in de beginfase.”
Dimitar voegt toe: “Tijdens het project is ook gebleken dat mensen zelf controle willen hebben op hoe de avatar eruitziet en dat het dus belangrijk is dat die naar wens aangepast kan worden. Daar zijn we inmiddels al verder mee aan de slag gegaan.” Caro vult aan: “Voor doofblinde mensen is dit zelfs cruciaal voor het gebruik, want zonder het juiste contrast kunnen zij de avatar niet of niet goed zien gebaren.”
Vervolgstappen
Of er een Europees vervolgproject op SignOn komt is nog niet duidelijk, maar alle ontwikkelde kennis, materialen en producten kunnen ook op andere manieren en voor andere doeleinden ingezet worden. Dimitar: “We zien ons project als een grote ijsberg, waarvan de app slechts de top is. Alle modellen, data en software die zijn ontwikkeld, werden zoveel mogelijk open source beschikbaar gesteld en kunnen dus ook breder worden gebruikt. Ook is het hele proces goed en gedetailleerd gedocumenteerd en zijn er veel losse producten en publicaties gemaakt die iedereen kan benutten.” Caro: “Specifiek voor de Vlaamse gebarentaal gaan we bijvoorbeeld aan de slag met het uitbreiden van ons woordenboek, en voor het breder verzamelen van data werd er binnen SignON een dataverzamelapp gemaakt waarin mensen zelf aan de hand van opdrachten data kunnen insturen.”
Dimitar sluit af: “Door SignON hebben we een grote stap vooruit kunnen zetten. Het is een heel mooie, stevige basis om op verder te werken.”
Meer informatie
Meer informatie over de opzet, betrokken partners en uitkomsten van SignON is te vinden op de projectwebsite: https://signon-project.eu/.
Lees ook dit nieuwsbericht van het INT uit 2020.
Meer informatie over Nederlandse en Vlaamse gebarentaal en het beleid van de Taalunie rond toegankelijke taal is te vinden in het dossier ‘Toegankelijke taal’.
