Augmented Reality App kan gebarentaal vertalen naar gesproken Engels omzetten en omgekeerd.

Studenten van de Universiteit van New York hebben een werkend prototype gemaakt van een app die machine learning en augmented reality gebruikt om gehoorde mensen gebarentaal te laten verstaan en gesproken woorden om te zetten in gebarentaal voor doven.

Vertaling en AR

We hebben grote vooruitgang geboekt op het gebied van het vermogen van technologie om vreemde talen voor ons te vertalen. Toch is er één taal die niet zo gemakkelijk door de technologie is vertaald: gebarentaal.

Gebarentaal AR app

Een nieuwe augmented reality-app met prototypen van studenten van de New York University is in staat om gebarentaal te vertalen voor het horen van mensen en zet gesproken woorden om in gebarentaal voor doven. De studenten hebben het project gemaakt als onderdeel van de derde Connected Futures-uitdaging van Verizon en NYC Media Lab. Zhongheng Li, een van de projectleiders, vertelde me dat hij werd geïnspireerd door een vriend die twee dove ouders heeft.

“Haar familie verhuisde van Hong Kong naar de VS en zij legde me uit dat er geen universele gebarentaal is, dus ze hadden moeite om te communiceren,” zei Li op een demodag op vrijdag in New York.

Het probleem van gebarentaal

Augmented Reality gebarentolk beperkingenHoewel de meeste mensen misschien het meest vertrouwd zijn met de Amerikaanse gebarentaal (ASL genaamd, voor voordehandliggende redenen), hebben doven over de hele wereld honderden verschillende gebarentalen die momenteel in gebruik zijn, en het vertalen van gebarentalen naar een gebarentaal is nog steeds erg moeilijk.

Beperkingen

Li en zijn collega gebruikten machinaal leren (Artificial Intelligence) om de app te maken, die nu is gelimiteerd tot een beperkt gebruik: in staat zijn om een ​​afspraak te maken in een medische kliniek.

De AR app is beperkt in het aantal frases dat het kan detecteren en vertalen. Ze hopen het uit te breiden om patiënten te helpen die geen andere manieren hebben om te communiceren in kleine klinieken, waar gebarentolken niet altijd beschikbaar zijn (door de staat gerunde ziekenhuizen moeten vertolkingsdiensten voor dove patiënten hebben).

Vooralsnog is een universele gebarentolk AR-app nergens te bekennen.

Koppelingen AR apps met externe bronnen

Er zijn veel koppelingen met externe bronnen en (online) machines denkbaar. Zo ligt er voor Google producten in het algemeen, en voor Google Maps en Google Translate in het bijzonder al een flink grote infrastructuur. Implementatie hiervan is niet ‘straigh-forward’, maar is heel goed mogelijk.

Koppelingen Augemented Reality Apps

Er zijn veel toepassingen denkbaar: van inventory systemen, tot locaties, tot klant-systemen en databases.

Benieuwd? Bekijk:   AR app development

Gebarentaal en AR door de jaren heen

Er zijn andere prototypen voor het vertalen van gebarentaal uitgebracht in de afgelopen jaren, waaronder wearables die gebarentaalgebaren lezen en 3D-cameratoestellen die bewegingen volgen en de tekens in tekst omzetten.

Een complete app in Google-vertaalstijl voor alle gebarentalen op de planeet is nog ver weg, vertelde Li: “Er zijn beperkingen. Gebarentaal is complex en omvat gezichtsuitdrukkingen. Woordvolgorde verschilt in elke taal van het Engels, het is veel voor de computer om te leren.”

Daarnaast is het goed voor te stellen dat de processorkracht die nodig is om dit alles te verwerken en uit een database te trekken waarschijnlijk nog te groot om in een mobiel apparaat te stoppen.

Je kan je voorstellen: of het trekt je batterij, of het trekt gewoon je bundel leeg. Hou dus Wi-Fi en je adapter bij de hand.