Nya metoder för att analysera AI:s språkliga förmågor
De senaste årens snabba utveckling av stora språkmodeller, som ChatGPT och liknande, har omformat språkteknologin som forskningsfält. Men vad kan dessa modeller egentligen – härmar de bara som papegojor eller rör det sig om så kallad artificiell generell intelligens? För att veta det krävs utvecklandet av analysmetoder.
En ny avhandling vid Göteborgs universitet bidrar med viktiga insikter i den pågående debatten om AI, om dess kapacitet och den framtida utvecklingen.
– Stora språkmodeller har imponerat med sina människoliknande språkliga färdigheter, men samtidigt väckt frågor om de verkligen förstår det de säger eller bara är ”stokastiska papegojor” som upprepar mönster från träningsdata, säger Felix Morger, forskningsingenjör vid Göteborgs universitet.
– Om vi verkligen kunde bekräfta att de besitter människoliknande språkförmågor skulle det vara ett stort steg mot artificiell generell intelligens.
AI-modeller har redan en betydande inverkan på vårt samhälle och allt fler användare påverkas av tekniken. Det ställer krav på en transparent, systematisk och grundlig utvärdering, menar Felix Morger.
– För att vi rätt ska kunna bedöma fördelar och risker med AI-teknologin behöver vi förstå både möjligheter och begränsningar med analysmetoderna.
Tränings- och utvärderingsdata
Det krävs utvecklade analysmetoder för att mäta och förstå stora språkmodellers språkförmågor. Det innebär bland annat att utveckla tränings- och utvärderingsdata för att tillförlitligt kunna mäta deras prestanda, men också tolkningsmetoder för att förstå språkmodellernas inre maskineri.
I sin avhandling presenterar Felix Morger en rad olika tillvägagångssätt för att analysera stora språkmodeller; från att introducera ”SuperLim” – en samling tränings- och utvärderingsdata specifikt utformad för svensk språkförståelse (se fotnot) – till att undersöka stora språkmodellers förmåga att förutsäga språklig variation.
Avhandlingen undersöker både möjligheter och begränsningar hos populära analysmetoder samt vilka konsekvenser det innebär för utvecklingen av stora språkmodeller.
– Det handlar inte bara om att förbättra teknologin, utan också om att förstå de större konsekvenserna, både möjligheterna och riskerna med AI i samhället, säger Felix Morger.
Utöver att bidra till utvecklingen av stora språkmodeller har avhandlingen även potential att ge nya insikter inom lingvistik.
– En viktig slutsats är att metoder hämtade från empirisk lingvistik spelar en avgörande roll för att förstå data och lingvistiska särdrag som används i analysen av dessa modeller.
Avhandlingen In the minds of stochastic parrots: Benchmarking, evaluating and interpreting large language models försvarades vid en disputation på Humanistiska fakulteten, Göteborgs universitet, i december 2024.
Länk till avhandlingen: https://hdl.handle.net/2077/83731
Fotnot: SuperLim är en datasamling för testning och utvärdering av svenska språkmodeller, utvecklad i samarbete mellan Språkbanken Text vid Göteborgs universitet, RISE, Kungliga biblioteket (KB), samt AI Sweden.
Kontakt:
Felix Morger, tel: 031-786 1083, 072-922 9259, e-post: felix.morger@gu.se
Johanna Hillgren
Kommunikatör, Humanistiska fakulteten, Göteborgs universitet
Telefon: 076–618 10 68
E-post: johanna.hillgren@gu.se
Göteborgs universitet är ett av de stora i Europa med 53 800 studenter och 6 700 anställda. Verksamheten bedrivs av åtta fakulteter, till allra största del i centrala Göteborg. Utbildning och forskning har stor bredd och hög kvalitet – det vittnar sökandetryck och nobelpris om. www.gu.se.
