Kommer en teckenspråk översättningsapp någonsin att bli en verklighet?

Föreställ dig en värld där hindren mellan döva och hörseln är borta. En värld där konversationer flyter flytande bland dem som hör ljud, och de som inte gör det. Kunde den världen bli verklig inom en snar framtid?

I juni utvecklade en grupp marknadsföringsstudenter på Berghs School of Communication en konceptvideo för en fiktiv produkt som heter Google Gesture. Produkten inkluderade ett bärbart handledsband och en mobilapp som använde elektromyografi för att läsa muskelförflyttningarna hos en döv person som gör teckenspråk. Systemet skickade sedan dessa signaler till appen, som översatte dessa signaler till en digitaliserad röst och skulle tala för personen.

Titta på den falska marknadsföringsvideoen var ganska spännande. Så spännande, faktiskt, att de stora teknikerna som Mashable, Slashgear och andra tillkännagav originalen produkten som verklig, och sen senare var tvungen att berätta påståendet och ber om ursäkt för deras misstag. Det var ett udda fel, med tanke på att det verkligen var är en Google-produkt som kallas Google Gestures Search [Ej längre tillgängligt], som låter dig rita gester på din mobilskärm för att söka kontakter, bokmärken och mer.

Oavsett att Berghs students koncept presenterade en anmärkningsvärd idé som ledde till frågan - kan det vara möjligt att skapa en sådan app för verkliga?

Är det möjligt att översätta teckenspråk?

Dissektering av marknadsföringskonceptet på en teknisk nivå visar att tekniken som använder elektromyografi (EMG) till “känsla” Teckenspråk är inte riktigt så långt hämtat alls. Så långt tillbaka som 2009 kunde forskare från University of Washington kunna använda flera EMG-sensorer för att avkoda muskelrörelser och konvertera dem till verkliga arm- och handbehandlingar.

Forskarna byggde faktiskt en komplett “gestigenkännande bibliotek”, identifiera vilka muskelsignaler som representerar vilken gest. Forskningen visar att denna typ av teknik är tillgänglig och redo att genomföras i den typ av ansökan som Berghs-studenterna förutsåg.

Så har någon faktiskt åstadkommit detta ännu? Om inte, varför gör inte någon det och ger döva och hörselskadade möjligheten att kommunicera med någon i världen via teckenspråk?

Framtidens realtids översättningsteknik

Sanningen är att någon faktiskt arbetar med en sådan språktranslationsteknik i realtid.

Det finns ett företag som heter SpeechTrans, som har drivit gränserna för översättningsteknik. 3 Bästa översättningsverktyg baserade på Google Translate 3 bästa översättningsverktyg baserat på Google Translate Läs mer de senaste åren. SpeechTrans arbetar med teknikpartners för att producera några av de mest anmärkningsvärda språktranslationstjänsterna på marknaden idag. Det här är tjänster som översätter textchatt till textchatt, röst till text och till och med i realtid röst-till-röst språk översättning via mobiltelefon och stationära applikationer.

För att undersöka om en teckenspråketeknik skulle kunna bli verklighet inom en snar framtid, satte MakeUseOf tillsammans med SpeechTrans vd John Frei och COO Yan Auerbach för att diskutera denna banbrytande nya översättningsteknik. Förstå vilket språk som helst med dessa 5 språk översättningswebbplatser förstå något språk med dessa 5 Språk Översättningswebbplatser Teknik har gjort världen mindre. Människor från alla delar av denna planet använder många av samma verktyg, besöker några av samma webbplatser och blandar i olika chattrum på nätet. The ... Läs mer och hur långt ut i framtiden det kan vara.

Utveckla en teckenspråk översättningsapp

Muo: Är det möjligt att göra typ av teckenspråk till talöversättning som Berghs-studenterna porträtterade i denna Google Gesture-konceptvideo?

John: Jag skulle säga att tekniken är tillgänglig för att utveckla det. Vi arbetar för närvarande med Microsoft och Intel för att utforska några av de tekniker som de kommer ut med avseende på hårdvara och mjukvara. Vi ser på möjligheten att använda den tekniken för att känna igen teckenspråk och sedan konvertera det till tal och ljudutgång.

Muo: Du jobbar aktivt med att utveckla den teknologin just nu?

yan: Så det fanns en kund som använde vår programvara och tyckte att det skulle vara underbart om vi kunde ändra det så att personer med nedsatt hörsel kan använda den för att ringa telefonsamtal från vår app, att kommunicera utan att tecknet behöver språk när de är personliga, eller utan behov av en TTY-typtjänst för telefonsamtal. Vi utvecklade den produkten och med finansiering från Microsoft och Intel lanserade vi SpeechTrans för hörselskadade på Windows 8.1, vilket eliminerar behovet av teckenspråk.

Muo: Hur gör det “i person” app arbete?

yan: Det finns ett lyssningsläge, och det finns ett ingångsläge. Så när någon talar till dig sätter du på lyssningsläge och det skriver ut allt som de säger på skärmen i text. Då, när du svarar tillbaka skriver du det och sedan talar det högt vad du skriver. Med telefonnumret ringer du bara personens telefonnummer, och när de svarar på telefonen blir det som ett snabbmeddelande. Oavsett vad de talar får du som en IM. Då talas allt du skriver, högt genom telefonen. Det är första fasen.

Nära Framtida Teckenspråk Översättning

Muo: Vilka tekniker kan folk förvänta sig att se inom en snar framtid? Vad är nästa fas?

John: Vi föreställer oss - för den som bara har förmågan att använda teckenspråk - för att kunna göra det framför en enhet som en telefon, dator eller bärbar dator. Intel har ett nytt kamerasystem, och Microsoft gör lika bra med Kinect, det gör gestigenkänning.

Muo: Hur är det bättre än det armbandskoncept som Berghs-studenterna presenterade?

yan: I grund och botten ska vi jobba på ett sätt där det inte kräver att du sätter något på armen. Det kommer att känna igen 64 poäng på din hand. Vi använder betaversionen av Intels RealSense-kamera. Så vi kommer inte bara att kunna känna igen alla teckenspråk och flera olika dialekter av teckenspråk, men vi kommer också att kunna känna igen känslor, ansiktsuttryck och andra små nyanser och omvandla det också till talade ord.

Det kräver inte att du bär några handskar eller något. Vi fokuserar på den marknaden, särskilt för att vi bara hjälper människor i allmänhet. Vi vill inte bara hjälpa människor som vill prata på många olika språk, men vi vill också hjälpa människor som inte kan prata på något språk. Tekniken finns, och det finns ingen anledning att deras livskvalitet ska vara annorlunda än vår.

John: Det är ett genomförbart koncept. Det är bara en annan ingång och utgång. Några av de konversationer som vi har haft med Microsoft om några av framtida teknologier är där någon kunde faktiskt implantera en mikrochip i nacken, och det läser direkt deras hjärnvågmönster. Så om du hjälper människor som inte kan kommunicera, skulle vi faktiskt se något som det som en fas tre-utplacering.

Förra året fanns en grupp studenter som kom ut med en fungerande prototyp av en handske som var ansluten till en dator. De gester som du gjorde med handsken skulle då bli erkända och omvandlas till teckenspråk. Så de har redan kapacitet med den nuvarande tekniken.

Vår vision är att vi inte verkligen vill skapa tillbehör som armband som du måste lägga på. Det borde bara vara naturligt och fritt flöda för dem [personer som gör teckenspråk] för att göra det framför sin videokamera. 90% av vad folk säger i kommunikationen är faktiskt i sitt kroppsspråk. Att kunna få tillgång till ansiktsigenkänning, gester och känslor kan vi också använda den informationen för att se till att översättningen och vad de försöker förmedla uttrycks i rätt form.

Muo: Är Intel inom 5 års intervall av att ha den teckenspråkigenkänningstekniken?

John: Intel har definitivt många resurser tillgängliga. Deras teknik och deras mjukvara följer med i en takt där vi kan få det att hända ganska snabbt.

Muo: Har du en tidsram för när du hoppas kunna få denna teknik på marknaden?

John: För teckenspråket är det ca 12-18 månader.

Muo: Har någon annan där ute något liknande för teckenspråk översättning?

John: Jag såg en YouTube-video av IBM som gjorde en prototyp där någon gjorde teckenspråk, men det var ett bevis på konceptet och det hade bara som tre eller fyra ord som det erkände. Vi har över femhundra tusen ord som vi planerar att rulla ut med, så det kommer att ta det till en helt annan nivå.

Slutsats

Medan visionen som eleverna i Berghs drömde upp kanske inte blir framtida teckenspråk översättningsapp, betyder det inte att ett sådant koncept inte kommer att hända. Vad jobbet på SpeechTran, Intel och Microsoft visar sig att översättningen av teckenspråk är nästan säker på att bli en riktig teknik inom några år. Det kommer sannolikt inte att innebära besvärliga armband, utan istället bara en speciell videokamera och en mobilapp.

Genom magi av gest- och ansiktsigenkänning, lovar denna framtidsspråk för översättningsspråk för att helt revolutionera interpersonell kommunikation för hundratusentals hörselskadade. 5 Bästa resurser för användare med funktionshinder för Mac & Apple-enhet 5 Bästa resurser för användare av Mac och Apple-enheter med funktionshinder Läs mer eller svåra att höra individer över hela världen.

Utforska mer om: Bionic Technology.