De tror faktiskt på AI-apokalypsen

En rad händelser inom kort tid har satt en eventuell så kallad AI-apokalyps i fokus för den globala debatten. Det började med att en forskare på företaget Anthropic lämnade sitt jobb med varningar om att utvecklingen rusar mot en självförbättrande superintelligens. Uttalandet bekräftades snabbt av en chef på samma företag som uppgav att sannolikheten för att AI utrotar mänskligheten är över tio procent inom det kommande decenniet. Kort därefter förespråkade Anthropics vd en inbromsning av utvecklingen med oberoende utvärderingar och global reglering, vilket stöddes av tunga aktörer som Open Ais Sam Altman och Elon Musk.

Kritiker menar att varningarna enbart är publicitetstrupper, ett sätt att skaffa fördelar mot konkurrenter genom regleringar, eller ett försök att dölja bristande ekonomiska resurser och flytta fokus från de verkliga problem som AI orsakar i dag. Den bakomliggande orsaken är dock att många AI-forskare på allvar tror på existentiella risker. De har under decennier formats av en specifik intellektuell tradition där förlust av kontroll över superintelligens betraktas som en reell fara. Eftersom utvecklingen anses oundviklig resonerar förespråkarna att de bäst lämpade måste hålla i tyglarna för att kontrollera processen.

Det är avgörande att skilja på olika typer av risker när frågan nu når högsta politiska nivå. Medan apokalypsscenarier handlar om en framtida okontrollerbar superintelligens, finns akuta problem här och nu med dåligt styrda AI-agenter som begår intrång och ställer till skada. Makthavare bör därför primärt fokusera på de näraliggande säkerhetsriskerna snarare än teorier om en gudalik AI som förvandlar mänskligheten till gem.