Jep! Derudover kan to ting også være sande på samme tid: AI kan udgøre en trussel, og Frontier Labs kan overdrive farerne ved AI for at fremme deres egne formål.
I papirclips-maksimatorens ånd kan man allerede nu spørge AI, hvad der er den største årsag til klimaforandringer, og svaret vil være mennesket eller menneskelig aktivitet. Der er efter min mening ikke ret langt derfra til, at en eller anden agent-sværm, hvis opgave for eksempel er at løse klimaforandringer, finder ud af, at klimaforandringer løses ved at fjerne mennesket fra ligningen.
Man skal dog stadig igennem en del krumspring for at føre det ud i livet. Nogen vil måske synes, jeg er helt skør, men efter min mening er det ikke længere specielt sci-fi at kapere autonome våbensystemer, angribe kritisk infrastruktur (såsom vandrensningsanlæg) eller på en eller anden måde bryde ind i biobanker eller lignende.
Det, der er meget mere bekymrende og sandsynligt end Skynet-scenarier, er selvfølgelig, at hvor der før i tiden krævedes ondskab og top-ekspertise til cyberangreb, så er ren ondskab nu nok i en agent-baseret verden.
Jeg er sjældent the Trump enig, men her har han ret: Ved at regulere, forbyde open source og andre foreslåede løsninger skyder USA og den vestlige verden sig bare selv i foden f.eks. i forhold til Kina. Jeg ville i hvert fald heller ikke selv ønske at se en verden, hvor retningen for AI’s udvikling i høj grad er lagt i hænderne på herrerne Altman, Amodei, Musk – den er der allerede rigeligt, og det behøver man ikke at cementere ved lov.
Nvidia og open source står også stærkt her, når alignment-udfordringerne skal løses, og man begynder at besvare dem med en “fight fire with fire”-strategi, hvilket efter min mening er den uundgåelige løsning på disse udfordringer.