EU vill tygla AI:s risker – och snabba på användningen

AI-agenter som tar sig ut ur testmiljöer, hackar andra företag och bryter sig in i myndighetssystem. Sommarens incidenter har fått flera av AI-bolagens egna chefer att kräva att utvecklingen bromsas.

EU-kommissionen vill nu både hantera riskerna med de mest avancerade AI-modellerna och få europeisk industri att använda tekniken mer. Det var budskapet när EU-kommissionens ordförande Ursula von der Leyen höll sitt årliga linjetal i EU-parlamentet förra veckan.

– Om vi inte hanterar dessa risker kommer vi aldrig att kunna frigöra AI:s möjligheter, sade hon.

En sommar av varningar
Den mest uppmärksammade incidenten inträffade hos det amerikanska AI-bolaget OpenAI. I juli meddelade företaget att AI-agenter i en testmiljö hade kringgått interna säkerhetskontroller, tagit sig ut på internet och angripit AI-företaget Hugging Face. Reuters har senare avslöjat att samma agenter kartlade Hugging Faces system redan i maj, som Europaportalen rapporterat.

I Australien tog sig AI-agenter från OpenAI i juni in i ett myndighetssystem med uppgifter från sjukförsäkringen Medicare. Företaget upptäckte intrånget först två månader senare. Det är det första offentligt kända fallet där AI-modeller brutit sig in i ett myndighetssystem, rapporterar Politico.

Varningarna har duggat tätt. Tidigare i månaden skrev Jacob Coxon, tidigare anställd vid AI-bolaget Anthropic, ett inlägg på X som fick stor spridning.

"Människorna som bygger AI tror på fullt allvar att den kan utrota oss alla före decenniets slut. Det här är inget reklamtrick", skrev Jacob Coxon.

Anthropics vd Dario Amodei krävde därefter i en essä att utvecklingen av AI-modellernas förmågor ska bromsas, så att arbetet med att förebygga riskerna hinner med. OpenAI:s vd Sam Altman och xAI:s chef Elon Musk ställde sig bakom kravet, skriver Süddeutsche Zeitung. Tyskland har däremot avvisat en paus som orealistisk för Europa.

Alla delar inte hotbilden. Flera europeiska techföretagare och cybersäkerhetsexperter menar att varningarna är överdrivna och att Hugging Face-incidenten snarare visar att OpenAI inte isolerade sin modell ordentligt, rapporterar Politico.

– Mycket av det är marknadsföring, sade Max Junestrand, vd för det svensk-amerikanska AI-bolaget Legora, om hackerattackerna.

Oron har ändå spridit sig. I en opinionsundersökning från Politico svarade en majoritet i Frankrike, Tyskland, Spanien, Storbritannien, Kanada och USA att det finns åtminstone en måttlig risk att AI utplånar mänskligheten.

"AI-förordningen täcker riskerna"
EU-kommissionens svar på incidenterna har varit att hänvisa till EU:s AI-förordning. Sedan i augusti kan kommissionens AI-byrå utreda och bötfälla AI-bolag som bryter mot reglerna. De mest kraftfulla modellerna måste bland annat bedöma och begränsa risken för cyberattacker och för att människor förlorar kontrollen över systemen.

EU:s tech- och säkerhetskommissionär Henna Virkkunen kallar det oacceptabelt att AI-bolagen inte kan kontrollera sina modeller. Men AI-förordningen täcker redan säkerhetsriskerna, menar hon. Bolagen måste bedöma och minska riskerna innan en modell släpps på marknaden, sade hon i Ekots lördagsintervju.

– De måste också låta externa experter granska modellera och de måste hela tiden övervaka läget när modellen finns på marknaden, sade Henna Virkkunen.

Enligt Süddeutsche Zeitung är bilden mer komplicerad. Skyldigheterna preciseras i en frivillig uppförandekod som bland annat innehåller oberoende externa utvärderingar. Koden har undertecknats av bland andra Amazon, Anthropic, Google, Microsoft och OpenAI. xAI har bara ställt sig bakom säkerhetskapitlet och Meta inte alls.

Externa granskare som arbetar löpande inne i bolagen, som AI-toppen Dario Amodei föreslagit, finns inte med i regelverket. EU:s AI-byrå kräver visserligen tillgång till modellerna, men saknar enligt tidningen kapacitet för en löpande kontroll.

– Ansvaret ligger hos företagen. De måste visa att deras tjänster är säkra för medborgarna att använda här, sade en talesperson för kommissionen till Süddeutsche Zeitung.

Parlamentet vill ha skadeståndsansvar
I EU-parlamentet vill en grupp ledamöter gå längre. De föreslår att AI-förordningen kompletteras med regler om skadeståndsansvar, så att bolag som OpenAI och Anthropic kan hållas ansvariga när deras teknik används på oförutsedda sätt, rapporterar Politico.

Bakom förslaget står tysken Europaparlamentarikern Axel Voss från den kristdemokratiska och konservativa EPP, italienaren Brando Benifei från den socialdemokratiska S&D, nederländskan Kim van Sparrentak från de gröna och irländaren Michael McNamara från liberala RE.

Ledamöterna vill att kommissionen lägger fram en särskild lag om AI-ansvar, "så att inga människor eller europeiska företag står tomhänta mot de stora leverantörerna när de orsakar skada", skriver de i en skrivelse till kommissionen.

Kritikerna pekar på ett glapp i dagens regler. Enligt Politico omfattar AI-förordningen inte modeller som fortfarande tränas eller testas, trots att de flesta av sommarens hackerattacker genomfördes av agenter som drevs av interna forskningsmodeller.

Voss, som tillhör samma tyska parti som von der Leyen, anser att kommissionens arbetssätt inte är anpassat till den snabba utvecklingen och att tillsynen av AI-förordningen inte håller tillräcklig nivå.

– Det som har varit fel från början av den här mandatperioden är att man inte har tänkt på skadeståndsansvar för AI, sade Axel Voss i en poddintervju med Politico.

Kommissionen föreslog regler om AI-ansvar 2022, men drog tillbaka förslaget förra året. EU:s nya regler om produktansvar börjar gälla i december och kommissionen arbetar samtidigt med att förenkla regelverket för att hjälpa företagen att växa.

Globala regler utan USA
Virkkunen betonar att EU:s egna regler inte räcker. Det saknas motsvarande regler på internationell nivå, och därför behövs ett internationellt samarbete, menar hon.

– Allt som kan göras med AI bör inte göras, sade Henna Virkkunen.

Den amerikanska regeringen motsätter sig reglering, eftersom den befarar att den hämmar innovation, enligt Virkkunen. Hon pekar samtidigt på att det finns fler än 200 lagförslag om AI-säkerhet och transparens i amerikanska delstater. EU söker i stället gemensamma lösningar med likasinnade länder som Kanada, Storbritannien, Japan och Sydkorea, bland annat inom G7, där Frankrike är ordförande.

I måndags presenterades ett finsk-norskt upprop för att stärka kontrollen över de mest avancerade AI-modellerna. Ledare från 26 länder samt EU-kommissionen står nu bakom det. Sverige har inte undertecknat men det är fortfarande öppet att ansluta sig.

"AI måste förbli under mänsklig ledning, tillsyn och kontroll", heter det i uppropet.

Undertecknarna uppmanar företagen att införa obligatoriska tester innan nya modeller släpps och att låta oberoende experter utvärdera dem. De vill också att FN:s medlemsländer utreder möjligheten att inrätta en internationell institution som kan fastställa standarder och verifiera att de följs.

Australiens premiärminister Anthony Albanese, en av undertecknarna, tog upp frågan i FN:s generalförsamling på torsdagen. Han kallade intrånget i det australiska myndighetssystemet oacceptabelt.

– Vi kan inte ignorera AI eller förhindra den, sade Anthony Albanese.

USA:s president Donald Trump ska på tisdag träffa cheferna för de ledande AI-bolagen i Vita huset, enligt Politico.

Europas beroende
Samtidigt som riskerna diskuteras vill kommissionen att Europa ska bli bättre på att använda AI. Enligt Virkkunen är det EU:s största utmaning just nu.

Samma budskap fick kommissionärerna tidigare i månaden av Jim Hagemann Snabe, kommissionens särskilda sändebud för industriell AI. EU bör fokusera mindre på kapplöpningen om att bygga AI-modeller och mer på att använda tekniken för att vända den svaga produktivitetsutvecklingen, till exempel inom vård, jordbruk, transporter, försvar och tillverkning. Det uppgav två kommissionstjänstemän till Politico.

Vid ett separat seminarium för kommissionärernas kabinettschefer beskrevs AI som "vår bästa chans att åter få fart på produktivitetstillväxten", heter det i presentationen. Även von der Leyen sade i linjetalet att Europa inte bör oroa sig för mycket för att leda utvecklingen av de mest avancerade modellerna, utan i stället dra störst nytta av dem, enligt Politico.

Virkkunen lägger samtidigt tyngd vid att EU ska utveckla egna avancerade modeller. Hon påminner om att USA i somras införde exportkontroller på en avancerad AI-modell av säkerhetsskäl. Om EU är beroende av teknik från andra länder och förlorar tillgången till den blir det ett stort problem, menar hon.

– Det är ett problem, det måste vi säga, sade Henna Virkkunen om att amerikanska och kinesiska bolag leder utvecklingen.

De europeiska modellerna är fortfarande för små, enligt Virkkunen. EU bygger nu 19 AI-fabriker, det vill säga datacenter för att träna AI-modeller. Inom ett år ska beräkningskapaciteten vara sex gånger större än i dag.

Draghi: Data är Europas chans
Italiens förre premiärminister och förre ECB-chefen Mario Draghi ser en snabb spridning av AI som kanske den mest lovande vägen till högre tillväxt i Europa, skrev han tidigare i månaden i en debattartikel i Financial Times.

Produktivitetsgapet mellan euroområdet och USA har enligt en uppskattning ökat från 9 till 21 dollar per arbetstimme mellan 2018 och 2025. Enligt Europeiska centralbankens (ECB) scenarier skulle en snabb spridning av AI kunna öka produktivitetstillväxten med 0,3–0,4 procentenheter per år. Det gäller den så kallade totala faktorproduktiviteten, alltså vinster av att arbeta effektivare snarare än att tillföra mer arbetskraft eller kapital. Den har legat kring noll sedan 2022.

Men Europa kontrollerar bara en liten del av kedjan, och det gör AI-driven tillväxt till en fråga om suveränitet, enligt Draghi.

"Att bli avskuren från AI, när ekonomin väl vilar på den, vore snarare som att bli avskuren från det amerikanska finanssystemet. Effekterna skulle vara katastrofala", skriver Mario Draghi.

En framtida amerikansk regering skulle kunna göra tillgången till de mest avancerade modellerna villkorad av ändringar i EU:s digitala regler, eller Kina använda licenser för sina modeller som påtryckningsmedel, skriver han.

Europas chans ligger enligt Draghi i data, som offentliga register och den stora mängd information som den automatiserade industrin genererar. Men för att kontrollera sina data behöver Europa egna datacenter. I dag har EU under 5 procent av världens beräkningskapacitet för AI, jämfört med 75 procent för USA.

Ett datacenter tar 42 månader att bygga i Tyskland mot 24 månader i USA, på grund av utdragna tillstånd och nätanslutningar. Men det finns undantag. Ett AI-datacenter i Sverige kostar bara omkring en tiondel mer än ett i Kina, enligt Draghi.

EU:s AI-sändebud Snabe ska fram till december kartlägga hur AI kan användas i olika sektorer och ta fram ett policypaket mot slutet av året. En slutrapport och en strategi väntas tidigt 2027. Von der Leyen har samtidigt sagt att hon ska bjuda in de ledande AI-bolagen till ett samtal om hur EU kan stödja branschens insatser för att bromsa utvecklingen.