Att dagens stora språkmodeller främst anpassar sig efter mönster, snarare än att resonera som människor, skapar risker när tekniken används i planering, beslutsfattande och för att identifiera säkerhetsbrister – enligt Örebro universitet i ett pressmeddelande. En möjlig lösning är att kombinera språktekniken med beprövade, klassiska AI-verktyg som kan öka pålitligheten.
– Sedan ChatGPT lanserades 2023 har många beskrivit stora språkmodeller som ’intelligenta’, med ’gnistor’ av artificiell generell intelligens. Men bilden av AI som tänker själv och lär sig som människor stämmer inte ännu. Det krävs andra angreppssätt för att träna AI-verktyg om de ska bli mer pålitliga, säger Rishi Hazra, forskare vid Örebro universitet.
Begränsningar i dagens språkmodeller
Hazras forskning pekar på att språkmodeller kan ge korrekta svar genom att känna igen mönster i data, utan att faktiskt förstå eller resonera. Det riskerar att bli särskilt problematiskt i uppgifter där logiskt resonemang är centralt, såsom att testa hypoteser, dra slutsatser under osäkerhet eller bedöma säkerhetsbrister.
– Inom datavetenskap kallas detta för ’Clever Hans-effekten’, uppkallad efter en häst i början av 1900-talet som man trodde kunde lösa matteproblem. Det visade sig senare att hästen bara svarade på signaler från sin tränare. På samma sätt förlitar sig dagens språkmodeller på mönster i träningsdata – de resonerar inte egentligen, säger Rishi Hazra, forskare vid Örebro universitet.
Klassiska verktyg som komplement
I stället förlår forskningen en neurosymbolisk inriktning där språkmodeller kombineras med klassiska AI-metoder – exempelvis regelbaserade system och symboliska planerare – för att ge bättre resultat i uppgifter som kräver noggrannhet och spårbarhet. Kombinationen kan enligt pressmeddelandet vara särskilt effektiv inom områden som robotik och andra tillämpningar där det krävs kontrollerbara beslut.
– Dagens språkmodeller kan kombineras med ’gammaldags’ metoder från datavetenskapen som erbjuder en noggrannhet som språkmodellerna själva inte kan uppnå. Traditionella AI-verktyg kräver mycket manuellt arbete och är svårare att skala upp, men tillsammans med stora språkmodeller kan de fungera mycket bra, förklarar Rishi Hazra, forskare vid Örebro universitet.
Rishi Hazra är verksam vid Centrum för tillämpade autonoma sensorsystem (AASS) vid Örebro universitet. Enligt pressmeddelandet bidrar hans arbete till AI-agenter som kan arbeta mer självständigt och angripa olösta forskningsproblem. Han ingår också i Metas grupp för ”AI Research Agents”, med inriktning på hur AI-verktyg kan bedriva forskning självständigt. I anslutning till arbetet finns avhandlingen med titeln ”Neurosymbolic Decision-Making with Large Language Models”.
Sammanfattningsvis framhåller Örebro universitet att en kombination av språkmodeller och klassiska metoder kan ge mer tillförlitliga, säkra och spårbara resultat än vad endera angreppssätt klarar på egen hand.
