Aalto-yliopiston ja tekoälykeskus FCAI:n tutkijat ovat kehittäneet tekoälymallin, joka osaa ennakoida ihmisten silmien ja sormien liikkeet kosketusnäytöllä. Mallin pohjalta voidaan kehittää parempia tekstinsyöttöohjelmia ja näppäimistöjä erilaisten käyttäjien tarpeisiin. Uusi ratkaisu perustuu menetelmään, jolla opetetaan roboteille ongelmanratkaisua. Mukana myös linkit tutkijoiden videoesimerkkeihin.
Kännykän tai tabletin kosketusnäytöllä kirjoittaminen eroaa merkittävästi perinteisestä näppäimistöstä, koska se vaatii tarkkaa yhteispeliä silmiltä ja sormilta. Ja usein mukana tulee vääriä merkkejä ja automatiikka tuottaa vääriä tulkintoja. Nyt Aalto-yliopiston ja Suomen tekoälykeskus FCAI:n tutkijat ovat luoneet tekoälymallin, jonka pitäisi vastata normaalia ihmisnäppäilyä.
“Koska meillä nyt on realistinen simulaatio siitä, miten ihmiset kirjoittavat kosketusnäytöllä, jatkossa on huomattavasti helpompi optimoida näppäimistöjä. Tämän seurauksena kirjoitusvirheitä tulee harvemmin, kirjoitusnopeus kasvaa ja, mikä ainakin itselleni tärkeintä, turhautuminen vähenee”, työtä vetänyt tutkija Jussi Jokinen selittää.
Tekoälymallille voidaan antaa mikä tahansa lause, ja se simuloi itsenäisesti, miten ihminen kyseisen lauseen millä tahansa valitulla valitulla näppäimistöllä kirjoittaisi. Malli tekee virheitä, huomaa ja korjaa ne, ihan niin kuin ihminenkin tekisi. Simulaatio myös ennustaa, kuinka ihmisen kirjoitustyyli muuttuu uusissa tilanteissa, esimerkiksi uuden tekstinsyöttöohjelman tai erilaisen näppäimistön kanssa.
Malli osaa ennustaa ihmisten kirjoittamista paitsi yleisesti, myös käyttäjäryhmittäin. Näin se pystyy ottamaan huomioon esimerkiksi motorisen heikkouden aiheuttamat muutokset kirjoitustyyliin ja auttamaan erilaisten käyttöliittymien ja apuohjelmien kehittelyssä erityisryhmille.
“Aiemmin kosketusnäytöllä kirjoittamista on ajateltu ennen kaikkea sormien liikkumisen näkökulmasta. Tekoälypohjaiset menetelmät auttavat meitä ymmärtämään ilmiötä paremmin: niiden avulla olemme oppineet, kuinka keskeinen on kirjoittajan päätös siitä, milloin ja minne katsoa. Nyt voimme ennustaa paljon aiempaa tarkemmin, miten ihmiset kirjoittavat puhelimillaan tai tableteillaan”, Jokinen sanoo.
Nyt kehitetyn tekoälymallin taustalla on tutkimusryhmän aiempi empiirinen tutkimus, jonka pohjalta tutkijat rakensivat kognitiivisen mallin ihmisten näppäilystä. Uusi ratkaisu perustuu menetelmään, jolla opetetaan roboteille ongelmanratkaisua.
“Annoimme mallille samat kyvyt ja rajat kuin meillä ihmisillä on. Sillä on esimerkiksi simulaatio silmien liikkeestä, minkä ansiosta se näkee sormen sijainnin ja kirjoitetun tekstin. Kerrallaan se ei kuitenkaan näe tarkasti kuin pienen alueen. Kun pyysimme mallia kirjoittamaan tehokkaasti, se etsi parhaan tavan käyttää kykyjään. Lopputulos on hyvin samankaltainen kuin ihmisten kirjoittaminen. Mallia ei siis tarvinnut opettaa ihmisdatalla”, Jokinen kertoo.
Tutkimusartikkeli Touchscreen Typing As Optimal Supervisory Control, esitellään 12. toukokuuta 2021 ACM CHI konferenssissa.
Lisää: MP4-videoita, joissa malli simuloi ihmisen kirjoittamista mobiililaitteella (LINKKI) ja tutkimusartikkeli sekä muuta materiaalia (LINKKI).
Kuvituskuva: Shutterstock