Konferenca ACM IUI je vodilna platforma, kjer se srečujejo strokovnjaki s področja umetne inteligence in interakcije med človekom in računalnikom, da bi razpravljali o napredku na presečišču teh dveh disciplin. Konferenca je znana po svojem zahtevnem postopku izbire in je po lestvici International Conference Ranking Exercise (ICORE) uvrščena med konference kategorije A, kar jo postavlja med najboljših 15 % od 784 ocenjenih dogodkov.

O nagrajenem članku z naslovom 'Text-to-Image Generation for Vocabulary Learning Using the Keyword Method'

‘Metoda ključnih besed’ je učinkovita tehnika za učenje besedišča tujega jezika. Temelji na ustvarjanju vizualne povezave med pomenom besede in njenim izgovorom v tujem jeziku, ki spominja na besedo v maternem jeziku učenca. Vendar pa te vizualne povezave ostanejo implicitne v mislih posameznika in jih je težko zapomniti za veliko število besed. Da bi izboljšali pomnjenje in priklic besedišča, so raziskovalci razvili aplikacijo, ki združuje metodo ključnih besed z text-to-image modeli generativne umetne inteligence, in tako omogoča zunanje upodabljanje vizualnih povezav. Ti vizualni prikazi služijo kot dodatni dražljaji v procesu pomnjenja.

Za preučitev učinkovitosti tega pristopa so raziskovalci najprej izvedli pilotno študijo, v kateri so udeleženci opisovali svoje mentalne vizualizacije asociacij, nato pa so te opise uporabili kot pozive za generator besedila v slike (DALL-E 2), ki jih je pretvoril v slike. Udeleženci so nato izbirali svoje najljubše vizualizacije. V naslednjem koraku so primerjali različne generatorje besedila v slike (DALL-E 2, Midjourney, Stable in Latent Diffusion) glede na zaznano kakovost ustvarjenih slik. Kljub različnim rezultatom so udeleženci večinoma dali prednost slikam, ustvarjenim z DALL-E 2, ki je bil nato uporabljen tudi v končni študiji. V glavni študiji so raziskovalci preučevali, ali prikazovanje teh slik izboljša pomnjenje besedišča v primerjavi s samo metodo ključnih besed. Rezultati kažejo, da so udeleženci brez težav opisovali svoje vizualizacije asociacij in da prikaz ustreznih slik pomembno poveča zmožnost pomnjenja.

Pri članku je sodelovalo 12 avtorjev, z UP FAMNIT asist. dr. Nuwan T. Attygalle, izr. prof. dr. Matjaž Kljun, izr. prof. dr. Klen Čopič Pucihar in doc. dr. Maheshya Weerasinghe. Raziskava je bila izvedena v sodelovanju z raziskovalci z Univerze v Luksemburgu, CSIRO Data61 (oddelek za podatkovne in digitalne tehnologije avstralske nacionalne znanstvene agencije), Univerze v Coburgu, Univerze St Andrews in Inštituta za znanost in tehnologijo Nara.