Tehisintellekti kasutamine raske tserebraalparalüüsiga naise keele taastamiseks

Madrid. California San Francisco ülikooli (UCSF) ja USA Berkeley ülikooli teadlased on välja töötanud aju-arvuti liidese (BCI), mis võimaldab insuldi tõttu tõsiselt halvatud naisel vestelda digitaalse avatari kaudu.

See on esimene kord, kui kõne ja näoilmed on sünteesitud ajusignaalidest, teatasid teadlased ajakirjas Nature. Samuti suudab süsteem need signaalid tekstiks dekodeerida kiirusega umbes 80 sõna minutis. See on märkimisväärne edasiminek võrreldes kaubanduslikult saadaoleva tehnoloogiaga.

UCSF-i neurokirurgia professor Edward Chan, kes on aju-arvuti liidesena (BCI) tuntud tehnoloogia kallal rohkem kui kümme aastat töötanud, loodab, et uuringud viivad lähitulevikus läbimurdeni. Ühendage toidu- ja ravimiameti poolt heaks kiidetud süsteemiga, mis võimaldab häält ajusignaalidest.

“Meie eesmärk on taastada rikastatud suhtlusvorm, mis on tegelikult kõige loomulikum viis teistega rääkimiseks,” ütleb UCSF-i Weilli neuroteaduste instituudi psühhiaatriateadur Gene Robertson. Chan, väljapaistev professor, lisas.

Ta rõhutas, et need arengud viivad meid patsientide jaoks reaalsetele lahendustele palju lähemale.

Changi meeskond oli varem näidanud, et nad suudavad dešifreerida aju signaale tekstis mehelt, kes kannatas aastaid tagasi äkilise ajuvereringe häire (insult) käes. Praegused uuringud näitavad midagi ambitsioonikamat. See on ajusignaalide dekodeerimine rikkalikuks kõneks koos liigutustega, mis elavdavad vestluse ajal inimese nägu.

Dr Chan implanteeris naise aju pinnaga täisnurga all 253 paberõhukest elektroodi piirkondadesse, mida tema meeskond pidas keele jaoks oluliseks.

arvutipank

Elektroodid blokeerisid ajusignaalid, mis oleksid saadetud keelele, lõualuu- ja kõrilihastele, aga ka näole, kui insulti poleks tulnud. Pea külge kinnitatud pordiga ühendatud kaabel ühendas elektroodid arvutipangaga.

Osalejad töötasid mitme nädala jooksul meeskonnaga, et koolitada süsteemi tehisintellekti (AI) algoritme kõnes ainulaadsete ajusignaalide äratundmiseks. Selleks kordas ta oma 1024-sõnalisest sõnavarast erinevaid fraase ikka ja jälle, kuni arvuti tuvastas helidega seotud ajutegevuse mustrid.

Selle asemel, et AI õpetada ära tundma terveid sõnu, on eksperdid loonud süsteemid, mis dešifreerivad sõnu foneemidest. Need on heli allüksused, mis moodustavad kõnekeele samamoodi nagu tähed kirjakeele. Näiteks Hola sisaldab nelja foneemi: HH, AH ja L y OW.

Seda meetodit kasutades peab arvuti mis tahes ingliskeelse sõna dešifreerimiseks õppima ainult 39 foneemi. See parandas süsteemi täpsust ja kolmekordistas selle kiirust.

Täpsus, kiirus ja sõnavara on olulised. See võimaldab kasutajatel aja jooksul suhelda peaaegu sama kiiresti kui meie ning pidada loomulikumat ja normaalsemat vestlust. Shawn Metzger, kes arendas tekstidekoodri koos Alex Silvaga, ütles: Mõlemad on California Berkeley ülikooli magistrandid. UCSF biotehnoloogia koostööprogramm.

Hääle loomiseks töötas meeskond välja algoritmi hääle sünteesimiseks, kasutades tema pulmas peetud kõne salvestist ja kohandades seda nii, et see kõlaks nagu Anni hääl enne tema vigastust.

Meeskond animeeris avatarid, kasutades tehisintellektil põhinevat näoanimatsiooni loova ettevõtte Speech Graphicsi välja töötatud tarkvara, et simuleerida ja liigutada näolihaseid.

Teadlased töötasid välja kohandatud masinõppeprotsessi, mis võimaldab ettevõtte tarkvaral kasutada signaale, mida naise aju saadab, kui ta proovib rääkida, ja tõlkida need avatari näoliigutusteks. See põhjustab lõualuude avanemist ja sulgumist, huulte väljaulatumist, kortsude ja keele üles-alla liikumist ning rõõmu, kurbuse ja üllatusega näo liigutusi.

Taastame insuldi tagajärjel kahjustatud aju ja hääletrakti vahelised ühendused. Kui katsealune esimest korda selle süsteemiga rääkis ja samal ajal oma avatari nägu liigutas, teadsin, et sellel on suur mõju. Prof Chaniga töötavad magistrandid Cairo Littlejohn ja prof Gopala Anumanthipalli ütlesid: Tal on bakalaureusekraad Berkeley California ülikoolis elektrotehnika ja arvutiteaduse alal.

Meeskonna jaoks on järgmiseks oluliseks sammuks juhtmevaba versiooni loomine, mis ei nõua kasutajate füüsilist ühendamist BCI-ga.

David Mo jõudis järeldusele, et kui seda tehnoloogiat saaks kasutada selleks, et anda inimestele suurem kontroll oma arvutite ja telefonide üle, avaldaks see sügavat mõju inimeste iseseisvusele ja sotsiaalsele suhtlusele.

Lisa kommentaar