Kako su naučnici potvrdili, radi se o čitanju analognog sata ili određivanje dana kada će neki datum pasti.
Vještačka inteligencija možda može pisati kod, generirati realistične slike, kreirati tekst koji zvuči ljudski, pa čak i polagati ispite s različitim stepenom uspjeha, ali rutinski pogrešno tumači položaj kazaljki na svakodnevnim satovima i ne uspijeva u osnovnoj aritmetici potrebnoj za kalendarske datume.
Istraživači su otkrili ove neočekivane nedostatke u prezentaciji na Međunarodnoj konferenciji o reprezentacijama učenja (ICLR) 2025. godine. Svoje nalaze su također objavili 18. marta na preprint serveru arXiv, tako da još nisu recenzirani.
“Većina ljudi može reći koliko je sati i koristiti kalendare od malih nogu. Naši nalazi ističu značajan jaz u sposobnosti vještačke inteligencije da obavlja ono što su za ljude prilično osnovne vještine”, rekao je u saopštenju glavni autor studije Rohit Saxena, istraživač sa Univerziteta u Edinburghu.
Ovi nedostaci moraju se riješiti ako se sistemi vještačke inteligencije žele uspješno integrirati u vremenski osjetljive aplikacije iz stvarnog svijeta, kao što su raspoređivanje, automatizacija i pomoćne tehnologije.
Kako bi istražili sposobnosti umjetne inteligencije u mjerenju vremena, istraživači su u različite multimodalne modele velikih jezika (MLLM), koji mogu obrađivati vizualne i tekstualne informacije, ubacili prilagođeni skup podataka sa slikama sata i kalendara. Modeli korišteni u studiji uključuju Meta-in Llama 3.2-Vision, Anthropic-ov Claude-3.5 Sonnet, Google-ov Gemini 2.0 i OpenAI-jev GPT-4o.
Rezultati su bili loši, jer modeli nisu mogli identificirati tačno vrijeme sa slike sata ili dan u sedmici za uzorak datuma u više od polovine slučajeva.
“Rani sistemi su obučavani na osnovu označenih primjera. Čitanje sata zahtijeva nešto drugačije – prostorno razmišljanje”, rekao je Saxena. “Model mora detektovati preklapajuće kazaljke, mjeriti uglove i kretati se kroz različite dizajne poput rimskih brojeva ili stiliziranih brojčanika”.
Datumi su se pokazali jednako teškim. Kada im je postavljen izazov poput “Koji će dan biti 153. dan u godini?”, stopa neuspjeha bila je slično visoka: sistemi umjetne inteligencije ispravno su očitavali satove samo u 38,7%, a kalendare samo u 26,3%.
Ovaj nedostatak je podjednako iznenađujući jer je aritmetika temelj računarstva, ali kako je Saxena objasnio, vještačka inteligencija koristi nešto drugačije.
“Aritmetika je trivijalna za tradicionalne računare, ali ne i za velike jezičke modele. Vještačka inteligencija ne pokreće matematičke algoritme, već predviđa izlaze na osnovu obrazaca koje vidi u podacima za obuku”, rekao je. Dakle, iako ponekad može tačno odgovoriti na aritmetička pitanja, njeno zaključivanje nije konzistentno niti zasnovano na pravilima, a naš rad ističe tu prazninu.”
Ovaj projekat je najnoviji u rastućem broju istraživanja koja ističu razlike između načina na koji vještačka inteligencija “razumije” u odnosu na način na koji to rade ljudi. Modeli izvode odgovore iz poznatih obrazaca i izvrsno se snalaze kada postoji dovoljno primjera u njihovim podacima za obuku, ali ne uspijevaju kada se od njih traži da generalizuju ili koriste apstraktno razmišljanje.
“Ono što je za nas vrlo jednostavan zadatak poput čitanja sata, za njih može biti vrlo teško, i obrnuto”, rekla je Saxena.
Istraživanje također otkriva problem koji umjetna inteligencija ima kada se obučava s ograničenim podacima – u ovom slučaju relativno rijetkim fenomenima poput prijestupnih godina ili nejasnih kalendarskih izračuna. Iako LLM ima mnogo primjera koji objašnjavaju prijestupne godine kao koncept, to ne znači da uspostavljaju potrebne veze za dovršetak vizualnog zadatka.
Istraživanje naglašava i potrebu za ciljanijim primjerima u podacima za obuku i potrebu za preispitivanjem načina na koji umjetna inteligencija rješava kombinaciju logičkog i prostornog zaključivanja, posebno u zadacima s kojima se ne susreće često.
Iznad svega, otkriva još jedno područje gdje preveliko povjeravanje rezultata umjetne inteligencije dolazi na našu odgovornost .
“Vještačka inteligencija je moćna, ali kada zadaci miješaju percepciju s preciznim rasuđivanjem, i dalje nam je potrebno rigorozno testiranje, rezervna logika i, u mnogim slučajevima, ljudsko učešće u procesu”, rekao je Saxena.
(Vijesti.ba)