Rikualifikimi i pjesshëm i modeleve të AI ul kostot dhe shmang “harresën katastrofike”

Një grup studiuesish në Universitetin e Illinois Urbana-Champaign ka zbuluar një mënyrë shumë më efikase për të përmirësuar inteligjencën artificiale: në vend që të ri-trajnohen të gjithë modelet gjigante të AI-së nga e para, mjafton të rifreskohen vetëm disa komponentë të brendshëm.
Sipas tyre, kjo metodë mund të kursejë miliona dollarë në kosto trajnimi dhe të shmangë një problem të vjetër të njohur si “harresa katastrofike” – momenti kur një model, pasi mëson diçka të re, “harron” njohuritë e mëparshme.

Si ndodh harresa në inteligjencën artificiale

Kur një model trajohet për një detyrë të re, për shembull për të interpretuar imazhe përveç tekstit, ai shpesh humbet aftësitë e fituara më herët.
Ekipi i Universitetit të Illinois thekson se kjo nuk ndodh sepse modeli “fshin” informacionin, por sepse përqendrimi i tij zhvendoset drejt detyrave të reja, duke e bërë të harrojë se si të reagojë në situata të mëparshme.

Për ta zgjidhur këtë, studiuesit u fokusuan te ri-trajnimi selektiv – një qasje ku përditësohen vetëm shtresat më të ndjeshme të rrjetit neural, si ato të self-attention projection dhe disa pjesë të MLP-së.

Eksperimentet me modelet LLaVA dhe Qwen 2.5-VL, të cilat përpunojnë si gjuhë ashtu edhe imazhe, treguan se kjo metodë ruan performancën ekzistuese dhe përmirëson ndjeshëm aftësitë e reja, pa humbur ekuilibrin mes tyre.

Kosto më të ulëta, performancë e qëndrueshme

Ri-trajnimi i plotë i modeleve të mëdha gjuhësore kërkon fuqi të madhe kompjuterike dhe konsum të lartë energjie — një proces që mund të kushtojë miliona dollarë.
Por me rikualifikimin e pjesshëm, studiuesit arritën rezultate të krahasueshme me shumë më pak burime. Kjo qasje mund të ndihmojë kompanitë dhe startup-et që nuk kanë mundësi të përballojnë trajnime të shtrenjta, duke ofruar një alternativë më të përballueshme dhe ekologjikisht të qëndrueshme për zhvillimin e modeleve të AI-së.

Një metodë premtuese, por ende në fazë testimi

Megjithëse rezultatet janë inkurajuese, studiuesit paralajmërojnë se kjo metodë është testuar kryesisht në modele që përfshijnë përpunim gjuhësor dhe vizual. Ende nuk dihet nëse do të funksionojë njësoj mirë në modele që punojnë vetëm me tekst apo në sisteme shumë të specializuara.

Sipas tyre, avantazhet e qasjes së re janë të dukshme: kursim i burimeve, ruajtje e njohurive dhe fleksibilitet më i madh në përmirësimin e modeleve ekzistuese.
Megjithatë, sfidat mbeten reale — si stabiliteti i procesit, përshtatja e metodës në modele të ndryshme dhe rreziku i devijimeve të papritura në rezultatet përfundimtare.

Një hap drejt AI-së më efikase dhe të qëndrueshme

Në thelb, studimi i Universitetit të Illinois tregon se inteligjenca artificiale nuk ka nevojë të rindërtohet çdo herë nga e para për t’u përmirësuar.
Në vend të kësaj, modelet mund të “mësojnë të mësojnë më mirë”, duke rifreskuar vetëm pjesët që kanë më shumë nevojë për përshtatje.
Në një periudhë kur kompanitë po kërkojnë mënyra për ta bërë AI-në më të qëndrueshme dhe më pak të kushtueshme, kjo metodë mund të jetë një nga rrugët më premtuese drejt së ardhmes së optimizuar të inteligjencës artificiale