Aalto-yliopiston tutkijat ovat rakentaneet koneoppimista hyödyntävän memristoreihin perustuvan kamera-anturin, joka tunnistaa liikkuvat hahmot yksittäisestä videon pysäytyskuvasta ja kykenee ennustamaan, mihin ja millä nopeudella ne seuraavaksi liikkuvat. Ketterä päätöksenteko voi olla hyödyksi tulevaisuuden robottiautoissa, älyliikenteessä ja robottien ohjauksessa.

Nykyisissä ratkaisuissa liikkeentu.nnistus perustuu yleensä teknologiaan, joka tallentaa liikkuvaa kuvaa ympäristöstään ja vertailee algoritmin avulla ruutu kerrallaan kuvissa tapahtuneita muutoksia.  Niissä jokainen kamera-anturin ottama pysäytyskuva lähetetään tietokoneelle ja analysoidaan erikseen, joten laitteet vievät paljon energiaa. Ne myös tarvitsevat toimiakseen paljon erilaisia komponentteja ja monimutkaisia algoritmeja.

Aalto-yliopiston tutkijoiden kehittämä kamera-anturi yhdistää havainnoimisen, muistin ja prosessoinnin. Sen toiminta perustuu ryhmään memristoreja eli muistivastuksia: pieniä elementtejä, jotka reagoivat valoon tuottamalla sähkövirtaa.  Valon sammuessa virta ei lopu elementeistä välittömästi, vaan se hiipuu hiljalleen. Memristoreista kootulla anturilla on siis eräänlainen “muisti” sen äskettäisistä valoaltistumisista. Se ei ainoastaan kameran tavoin nauhoita tietoa juuri sen hetken tilanteesta, vaan jokaiseen kuvaan sisältyy myös muistijälki aiemmista hetkistä.

“Jokaisessa yksittäisessä kuvassa oleva tieto on upotettu seuraaviin kuviin. Niinpä videon viimeisessä kuvassa on myös tieto kaikista sitä edeltävistä kuvista. Voimme siis tunnistaa aiemman liikkeen analysoimalla ainoastaan viimeistä kuvaa”, selittää Aalto-yliopiston tutkija Hongwei Tan teknillisen fysiikan laitokselta.

Nykyiset liikkeentunnistusteknologiat analysoivat materiaalin kuva kuvalta. Uuden laitteen täytyy kyllä nähdä koko video, mutta se ei joudu pysähtymään kuin vasta viimeiseen kuvaan. Laite myös hyödyntää yksinkertaista koneoppimismallia, joka pystyy ennustamaan kuvissa näkyvien kappaleiden tulevan liikkeen tarkasti.

“Koska kaikki tarvittava tieto sisältyy laitteessamme yksittäiseen kuvaan, sensorimme välttää tarpeettomia datavirtoja. Se mahdollistaa energiatehokkaan päätöksenteon reaaliajassa”, kertoo Aalto-yliopiston professori Sebastiaan van Dijken. Ketterä päätöksenteko on erityisen hyödyllistä älyliikenteen ja itseajavien autojen kehityksessä.

Muita mahdollisia sovelluskohteita uudenlaisille kamera-antureille voisi löytyä esimerkiksi robottien ohjauksesta. “Se avaa uusia mahdollisuuksia autonomisten robottien sekä ihmisen ja koneen vuorovaikutukseen”, Aaltoyliopiston professori van Dijken toteaa.

Aalto-yliopiston tutkijat testasivat laitettaan käyttäen videoita, joissa lyhyehköt sanat ilmestyivät ruudulle yksi kirjain kerrallaan. Kaikki sanat päättyivät E-kirjaimeen, eli jokaisen videon viimeinen kuva oli sama. Tavalliset näkösensorit eivät onnistuneet pelkän viimeisen kuvan perusteella tunnistamaan, minkä sanan lopussa viimeinen E kulloinkin esiintyi.

Uuden laitteen memristorit sen sijaan pystyivät upotetun tiedon avulla päättelemään myös E:tä edeltävät kirjaimet. Laite ennusti videolla esiintyneen sanan lähes 100 prosentin tarkkuudella. Toisessa testissä tutkijat näyttivät sensorille videoita simuloidusta ihmisestä, joka liikkui kolmella eri nopeudella. Laite kykeni sekä tunnistamaan hahmon liikkeen yhdestä kuvasta että määrittämään sen nopeuden ja ennustamaan tulevat kuvat.

Lisää: Tutkimus julkaistiin 15.4.2023 Nature Communications -lehdessä (LINKKI).

Kuva: Uudenlaisen tekoälypohjaisen kuva-anturin toiminta perustuu ryhmään memristoreja eli muistivastuksia. Kuva: Hongwei Tan / Aalto-yliopisto.