Ar gestų kalbos vertimo programa kada nors taps realybe?

Skelbimas

Įsivaizduokite pasaulį, kuriame nebėra kliūčių tarp kurčiųjų ir klausos. Pasaulis, kuriame pokalbiai sklandžiai vyksta tarp tų, kurie girdi garsą, ir tų, kurie negirdi. Ar tas pasaulis artimiausiu metu galėtų tapti tikras?

Birželio mėn. Grupė Berghs komunikacijos mokyklos rinkodaros studentų sukūrė išgalvoto produkto, pavadinto „Google Gesture“, vaizdo klipą. Gaminyje buvo nešiojama riešo juosta ir mobilioji programa, kuri naudojo elektromiografiją kurčiųjų, mokančių gestų kalbą, raumenų judesiams. Tuomet sistema perdavė tuos signalus programai, kuri tuos signalus išvertė į suskaitmenintą balsą ir kalbėjo asmeniui.

Žiūrėti padirbtą rinkodaros vaizdo įrašą buvo gana įdomu. Tiesą sakant, toks įdomus, kad pagrindinės technikos svetainės, tokios kaip „Mashable“, „Slashgear“ ir kitos, iš pradžių paskelbė produktą kaip tikrą, o vėliau turėjo pakartoti ieškinį ir atsiprašyti už savo klaidą. Tai buvo keista klaida, atsižvelgiant į tai, kad tikrai yra „Google“ produktas, vadinamas „Google“ gestų paieška [nebepasiekiamas], leidžiantis į mobiliojo telefono ekraną pritraukti gestus, kad būtų galima ieškoti kontaktų, žymių ir dar daugiau.

Nepaisant to, „Berghs“ studentų koncepcija pateikė puikią idėją, keliančią klausimą - ar galima sukurti tokią programą iš tikrųjų?

Ar įmanoma gestų kalbos vertimas?

Išnagrinėjus rinkodaros koncepciją techniniu lygmeniu, paaiškėja, kad technologija, naudojanti elektromiografiją (EMG) gestų kalbai „pajusti“ iš tikrųjų nėra tokia jau seniai naudojama. Dar 2009 m. tyrinėtojai iš Vašingtono universiteto sugebėjo panaudoti kelis EMG jutiklius iššifruoti raumenų judesius ir paversti juos tikrais rankos ir rankos gestais.

Tyrėjai iš tikrųjų sukūrė visą „gestų atpažinimo biblioteką“, kuri nustatė, kurie raumenų signalai reiškė kurį gestą. Tyrimas įrodo, kad tokia technologija yra prieinama ir parengta įgyvendinti tokioje programoje, kokią numatė „Berghs“ studentai.

Taigi ar dar kas nors tai pasiekė? Jei ne, kodėl niekas to nedaro ir suteikia kurtiesiems ir silpnaregiams galimybę bendrauti su gestų kalba su visais pasaulyje?

Realaus laiko vertimo technologijos ateitis

Tiesa ta, kad kažkas iš tikrųjų dirba su tokia realiojo laiko gestų kalbos vertimo technologija.

Yra įmonė, vadinama „SpeechTrans“ [Sugadintas URL pašalintas], kuri peržengė ribas vertimo technologijos Pamirškite „Google Translate“: 3 būdai, kaip gauti tikslų ir greitą vertimąNesvarbu, ar ketinate kreiptis dėl darbo ar buto į užsienį, ar norite išversti savo tinklalapį, turite susitvarkyti reikalus, net turėdami užsienio kalbą. Skaityti daugiau pastaraisiais metais. „SpeechTrans“ bendradarbiauja su technologijų partneriais, kad pateiktų keletą įspūdingiausių kalbų vertimo realiu laiku paslaugų, pateiktų šiandien rinkoje. Tai yra paslaugos, kurios verčia teksto pokalbius į teksto pokalbius, balso į tekstą ir net realiuoju laiku vertimą balsu balsu per mobiliojo telefono ir darbalaukio programas.

Norėdami išsiaiškinti, ar gestų kalbos technologija artimiausiu metu galėtų tapti realybe, „MakeUseOf“ atsisėdo su „SpeechTrans“ generaliniu direktoriumi Johnu Frei ir COO Yan Auerbach, kad aptartų šią revoliucingą naują vertimo technologija Supraskite bet kurią kalbą šiose 5 kalbų vertimo svetainėseTechnologijos padarė pasaulį mažesne vieta. Žmonės iš visų šios planetos dalių naudojasi daugybe tų pačių įrankių, lankosi tose pačiose svetainėse ir lankosi įvairiuose pokalbių kambariuose. ... Skaityti daugiau ir kaip toli ji gali būti ateityje.

Kuriama gestų kalbos vertimo programa

MUO: Ar įmanoma padaryti vertimą į gestų kalbą, kalbant į kalbą, kurią Berghso studentai pavaizdavo šiame „Google Gest“ koncepcijos vaizdo įraše?

Jonas: Aš sakyčiau, kad technologija yra prieinama tai vystyti. Šiuo metu bendradarbiaujame su „Microsoft“ ir „Intel“ tirdami kai kurias technologijas, su kuriomis jie susiduria, kalbant apie aparatinę ir programinę įrangą. Mes įsivaizduojame galimybę panaudoti šią technologiją gestų kalbai atpažinti ir tada paversti ją kalbos ir garso išvestimi.

MUO: Šiuo metu aktyviai dirbate kurdami šią technologiją?

Janas: Taigi, buvo klientas, kuris naudojosi mūsų programine įranga, ir manė, kad būtų nuostabu, jei galėtume ją modifikuoti, kad klausos negalią turintys žmonės galėtų ja naudotis skambinti iš mūsų programos, bendrauti, nereikalaujant gestų kalbos, kai jie lankosi asmeniškai, arba nereikia TTY tipo telefono ryšio paslaugų skambučiai. Mes sukūrėme šį produktą, o gavę „Microsoft“ ir „Intel“ finansavimą, paleidome „SpeechTrans“, skirtą klausos negalią turintiems „Windows 8.1“, todėl nebereikia gestų kalbos.

MUO: Kaip veikia programa „asmeniškai“?

Janas: Yra klausymo režimas ir įvesties režimas. Taigi, kai kas nors su jumis kalba, jūs įjungiate klausymo režimą ir jis įveda viską, ką jie sako ekrane tekstu. Tada, kai jūs atsakote atgal, jūs jį įvedate ir tada jis garsiai išsako tai, ką rašote. Naudodamiesi telefonu jūs tiesiog surinksite kiekvieno asmens telefono numerį, o kai jis atsakys į telefoną, tai taps tiesiogine žinute. Kad ir ką jie kalbėtų, jūs gaunate MP. Tada, kad ir ką rašytumėte, garsiai tariama telefonu. Tai yra pirmasis etapas.

Netoli gestų kalbos vertimo

MUO: Kokias technologijas žmonės gali tikėtis pamatyti artimiausiu metu? Koks kitas etapas?

Jonas: Mes įsivaizduojame, kad tam, kuris moka tik gestų kalbą, galime tai padaryti priešais tokį įrenginį kaip telefonas, kompiuteris ar nešiojamas kompiuteris. „Intel“ turi naują fotoaparatų sistemą, o „Microsoft“ taip pat daro „Kinect“, atpažįstanti gestus.

MUO: Kaip tai geriau už „Berghs“ studentų iškeltą rankos sąvoką?

Janas: Iš esmės mūsų darbas bus toks, kad nereikia nieko dėti ant rankos. Tai atpažins 64 taškus ant jūsų rankos. Mes naudojame „Intel“ „RealSense“ kameros beta versiją. Taigi ne tik mes sugebėsime atpažinti visas gestų kalbas ir kelis skirtingus gestų kalbos dialektus, bet ir mes taip pat sugebėti atpažinti emocijas, veido išraiškas ir kitus smulkius niuansus, tada konvertuoti tai į pasakomus žodžius kaip gerai.

Tam nereikės mūvėti pirštinių ar nieko. Mes orientuojamės į tą rinką būtent todėl, kad mums tiesiog patinka padėti žmonėms apskritai. Mes norime ne tik padėti žmonėms, kurie nori kalbėti įvairiomis kalbomis, bet taip pat norime padėti žmonėms, kurie nemoka kalbėti jokiomis kalbomis. Ši technologija egzistuoja ir nėra jokios priežasties, kad jos gyvenimo kokybė turėtų skirtis nei mūsų.

Jonas: Tai įmanoma koncepcija. Tai tiesiog skirtinga įvestis ir išvestis. Kai kurie mūsų ir „Microsoft“ pokalbiai apie kai kurias ateities technologijas yra kur kažkas iš tikrųjų galėjo implantuoti mikroschemą į kaklą, ir tai tiesiogiai skaito jų smegenų bangą modeliai. Taigi, jei jūs padėsite žmonėms, kurie negali bendrauti, mes iš tikrųjų kažką panašaus suvoktume kaip trečiojo etapo diegimą.

Praėjusiais metais buvo grupė studentų, kurie išėjo su darbiniu pirštinės, įkištos į kompiuterį, prototipu. Tuomet su pirštinėmis padaryti gestai bus atpažinti ir paversti gestų kalba. Taigi jie jau turi dabartinių technologijų galimybes.

Mūsų vizija yra tai, kad mes tikrai nenorime kurti tokių priedų kaip rankinės juostos, kurias turite užsidėti. Jiems (žmonėms, mokantiems gestų kalbą) tai daryti priešais savo vaizdo kamerą turėtų būti tiesiog natūralu ir nevaržoma. 90% to, ką žmonės sako bendraudami, iš tikrųjų yra jų kūno kalba. Galėdami naudotis veido atpažinimu, gestais ir emocijomis, galėsime naudoti šiuos duomenis kaip gerai įsitikinti, kad vertimas ir tai, ką jie bando perteikti, yra išreikšti dešinėje forma.

MUO: Ar „Intel“ gali naudotis ta gestų kalbos atpažinimo technologija per 5 metus?

Jonas: „Intel“ tikrai turi daug išteklių. Jų technologijos ir programinė įranga ateina tokiu tempu, kad galime tai padaryti gana greitai.

MUO: Ar turite laiko tarpą, kada tikitės patekti į šią technologiją į rinką?

Jonas: Gestų kalba vartojama maždaug nuo 12 iki 18 mėnesių.

MUO: Ar kas nors kitas turi vertimą gestų kalba?

Jonas: Aš mačiau „YouTube“ vaizdo įrašą, kuriame IBM padarė prototipą, kuriame kažkas daro gestų kalbą, tačiau tai buvo koncepcijos įrodymas ir turėjo tik tris ar keturis žodžius, kuriuos atpažino. Turime daugiau nei penkis šimtus tūkstančių žodžių, kuriuos planuojame išplėsti, todėl ketiname jį perkelti į visai kitą lygį.

Išvada

Nors vizija, apie kurią svajojo „Berghs“ studentai, gali netapti gestų kalbos vertimo programa ateityje, tai dar nereiškia, kad tokios idėjos nebus. „SpeechTran“, „Intel“ ir „Microsoft“ atliktas darbas įrodo, kad gestų kalbos vertimas vos per keletą metų taps tikra technologija. Greičiausiai jame nebus gremėzdiškų rankinių juostų, bet ne daugiau kaip speciali vaizdo kamera ir programa mobiliesiems.

Dėl gestų ir veido atpažinimo magijos ši ateities gestų kalbos vertimo programa žada visiškai pakeisti žmonių tarpusavio bendravimą šimtams tūkstančių žmonių. neprigirdinčiųjų 5 geriausi šaltiniai „Mac“ ir „Apple“ įrenginių vartotojams su negalia Skaityti daugiau ar neprigirdintiems asmenims visame pasaulyje.