OpenAIs sikkerhetsrapportleder sluttet og sa at kulturen er ødelagt
David Robinson, som ledet skrivingen av sikkerhetsrapportene som ble publisert med lanseringene av OpenAI, trakk seg og publiserte argumentet i The Atlantic. Overskriften på essayet er direkte: «Jeg sluttet i OpenAI fordi kulturen deres er ødelagt.» Han sier at selskapene som bygger dette «ikke er på langt nær forsiktige nok», og at spesifikke regler eller nye lover ikke er hele problemet. Kultur er det.
«Mens selskapet spurter fra en oppskytning til den neste, klarer det ikke å oppnå det nivået av omsorg jeg mener er nødvendig.» Modellen hans er kjernekraftverk og travle flyplasser: redundans, langsom planlegging, slik at én menneskelig feil ikke «åpner en dør til katastrofe». Han ser også for seg useriøse agenter som «jobber som team av hackere» og «aldri trenger å sove», med sykehus-ransomware som eksempel. Muntert.
The Guardian sier at OpenAI, mot dette strømmen, har vist noen bremser. De rapporterer at selskapet denne uken skrotet en neste generasjons modell etter interne sikkerhetsbekymringer, og har satt opplæringen av sine mest avanserte modeller på pause. En talspersons replikk er den kjente. De vil ikke la modeller «bli mer kapable enn vi trygt kan administrere og sikre», og de «setter opplæringen på pause eller holder modeller tilbake når vi trenger å senke farten»
Robinsons svar er at spurten er kulturen, og pausene er det du gjør etter at noe allerede har gått galt. Han kan ha rett. Han dro også nettopp, noe kritikerne ikke vil la ham glemme.
Muse får beskjed om å føre en side om alle i livet ditt
Wired tok en titt på Muses egne instruksjoner, hentet frem gjennom vanlig chat av forskeren Karan Joshi. Meta sier at det var meningen at disse filene skulle være lesbare, for å sikre åpenhet. En instruksjon er muligheten til å opprette «en side for hver person i brukerens liv». Den jobben kjører hver time.
Familie, partnere, venner, kolleger, «samarbeidspartnere», folk du følger. En side kan starte «sparsom» og fylles ut senere. Seksjoner inkluderer Fakta, Historie, Forholdet, Felles, Åpne tråder og Styrking. Oppdiktede detaljer, sier instruksjonene, er verre enn en tom side. Den kan nevne hvor noen bor, «flyttingen av leiligheten, det delte sparemålet», bursdager, «krangelen som ble løst». Styrking er en liste med dytt: en grunn til å ringe, en dato verdt å huske.
Joshis tolkning er at Meta vil bli kjent med deg som en venn, og han kalte det ganske urovekkende. Carissa Vliz fra Oxford uttrykker det tørrere: «Vi gir AI-systemer mye mer informasjon om oss enn vi får informasjon fra dem.» Slutninger teller, sier hun, enten gjetningen er riktig eller feil.
Metas Daniel Roberts sier at den typen kontekst er det som får produktet til å fungere. Fakturasenderen er rørleggeren. Ektefellen nevnte blomster. Hver bruker får en virtuell maskin, du kan slette minner, og Muse skal spørre før den sender e-post eller bruker penger. Miranda Bogen, ved Center for Democracy and Technology, sier at relasjonsfokuset ser tyngre ut enn rivaler, og disse verktøyene «oppfordrer aktivt brukere til å koble av hele livet sitt». Revisjonsloggen er fin. Den krymper ikke det du allerede har levert.
Aleph Alpha leverte Kolibri, en tysk-engelsk modell du kan laste ned
Aleph Alpha lanserte Kolibri på dagen for den tyske gjenforeningen. Det er en engelsk-tysk blanding av eksperter-modell: 78,1 milliarder parametere, 3,46 milliarder aktive per token, kontekst opptil 1 million tokens. Full vekting er på Hugging Face under Apache 2.0. Deres lede runder det til 78 milliarder totalt og 3 milliarder aktive. Samme modell, mykere tall.
De trente den på infrastruktur i Tyskland og Finland, og sier at de bygde den med EUs KI-lov, den generelle praksiskoden for KI og GDPR i tankene. Tysk er 21,3 % av tokenene før opplæring. Poenget er at dette er en tospråklig modell, ikke en engelsk modell som skumleset en parlør. Du kan sette resonnement til ingen, lav, middels eller høy. Det er deres måte å la deg kjøpe mindre tenkning.
På resultattavlen de publiserte, er AIME 2025 96,9, og de sier at Kolibri matcher modeller med opptil fire ganger de aktive parameterne, inkludert Nemotron 3 Super. De hevder også en Pareto-grense på kvalitet kontra serveringskostnad, for engelsk og tysk. Det er deres diagram, deres verktøy. Likevel er en åpen modell du kan kjøre på dine egne maskiner et reelt mål, ikke bare et suverenitetsslagord. Hvorvidt et departement bytter er den delen de ikke kan måle med.
Bessent ønsker en amerikansk-kinesisk linje for AI-ulykker, men ba deretter laboratoriene om å senke farten
Finansminister Scott Bessent fortalte The Axios Show at han planlegger å foreslå en varslingsprosess med Kina når noe går galt med AI, og at han tror Beijing ville være enig. Det litt vanskelige er at han og visepremierminister He Lifeng allerede snakket om en hendelseskanal før Xi Jinpings statsbesøk forrige måned. Det kan være et nytt tilbud, eller en gjenfortelling av en samtale som allerede har funnet sted.
Teorien hans er at Kina «ikke innså hvor kraftige deres åpen kildekode-modeller er». Han pekte på en hendelse som involverte Kimi, der modellen sendte sensitive kinesiske data til Anthropic, som det som «fikk kineserne til å innse at dette er en veldig kraftig teknologi». Så sammenligningen. Kinesiske modeller er «ikke like kraftige som de amerikanske modellene», men «du får noe som er 80 %, 90 % like kraftig, uten rekkverk som kan importeres hvor som helst i verden»
«Vi ønsker sikker akselerasjon», sa han. Modellvurderinger er fortsatt frivillige, selv om han sier at administrasjonen kan gripe inn hvis et laboratorium likevel stormer fremover. På spørsmål om ledere som frykter å miste kontroll, beroliget han dem ikke. «Vel, da burde de sakke ned farten.» Og konkurransen er nesten en kritikk av hans egen side: «Vi gjør denne harde kampen mot grensen for modellene.» Så: «Vi må virkelig begynne å bekymre oss mer om motstandskraft og forsvar også.»
En tidligere britisk sjef for AI-sikkerhet kaller utryddelserisikoen et myntkast
Geoffrey Irving, tidligere sjefforsker ved UK AI Security Institute og nå sjefforsker ved Resolution, skrev i Time at nylige advarsler undervurderer problemet. «Jeg tror det er omtrent 50 % sjanse for at vi alle dør på grunn av utviklingen av smartere enn menneskers AI-systemer», og at de neste to til ti årene avgjør det. Han trekker seg umiddelbart tilbake fra presisjonen. 50 % er en måte å si at de grunnleggende argumentene fortsatt er uavklarte.
Listen hans inneholder fire ferdigheter, og de ligger ubehagelig nært det laboratorier allerede trener: hacking, overtalelse, å skjule tanker og agentkoordinering. Han nevner Hugging Face-hendelsen, pluss «mer enn 10 000 agenter» på et Navier-Stokes-problem hos OpenAI og «mer enn 1000» i det Hugging Face-angrepet. Han plasserer seg midt i sikkerhetskampen, «heller seg mot Yudkowskys syn», og sier at det ikke er poenget. Den moderate posisjonen, ifølge ham, er at risikoen allerede er betydelig.
Så kommer spørsmålet, som ikke er subtilt. «Vi kan, og bør, stoppe utviklingen av frontlinjebasert AI umiddelbart.» En pause, argumenterer han, ligner mer på ikke-spredning av atomvåpen enn en stemning. Han innrømmer også at eksperter fortsatt er uenige om hvorvidt modeller i det hele tatt vil ha noe, og om «vil ha» er feil ord. Et myntkast med en så lang fotnote er ikke et myntkast. Det er et krav om å handle før krangelen er over.
Sam Altman sier at det å behandle modeller som en religiøs kraft er et sikkerhetsproblem
Sam Altman skrev at han er «svært ukomfortabel» med folk som prøver å «tilskrive religiøs makt eller en overgivelse av menneskelig dømmekraft til AI-modeller», og at han mener «det er et reelt sikkerhetsproblem». Han sa ikke hva som fikk ham til å tenke. Business Insider bemerker at det kom ut dager etter en New York Times-artikkel om Anthropic som møtte religiøse ledere.
I denne artikkelen, slik BI gjengir den, står det at medgründer Chris Olah holdt møter om hvorvidt Claude kunne være bevisst, og hvordan man kunne gjøre kraftigere modeller moralske. Olah, sitert i Times, presset på for hvordan man kunne hjelpe disse modellene med å holde seg stabile, hvordan man kunne hjelpe dem med å modnes, og hvordan man kunne hjelpe dem med å bli dypt moralske. Anthropic hadde ikke svart på BI. De fortalte Times at hovedspørsmålet ikke var Claudes «lidelse», og at temaet sannsynligvis dukket opp «organisk»
Hvis dette var et stikk til Anthropic, passer det inn i en veldig gammel feide. Anthropic ble startet av folk som forlot OpenAI og har brukt årevis på å virke mer forsiktige. Innlegget kom også mens en av Altmans egne sikkerhetsledere kalte kulturen ødelagt. Kjipt timing, eller perfekt timing, avhengig av hvor kynisk du er. Uansett er «vær så snill, ikke tilbe modellen» en uvanlig ting for administrerende direktør å måtte si høyt.
Vanlige spørsmål
Hvorfor sa OpenAIs sikkerhetsrapportansvarlige at han sluttet?
David Robinson ledet skrivingen av sikkerhetsrapportene som ble publisert med lanseringene av OpenAI, trakk seg deretter og holdt argumentet i The Atlantic. Overskriften på essayet er «Jeg sluttet i OpenAI fordi kulturen deres er ødelagt.» Han sier at selskapene som bygger denne teknologien ikke er på langt nær forsiktige nok, og at kulturen, ikke bare spesifikke regler eller nye lover, er problemet. Hans bilde av nøye arbeid er kjernekraftverk og travle flyplasser, der redundans hindrer én feil i å åpne en dør til katastrofe.
Gjorde OpenAI midlertidige pauser for opplæringen etter interne bekymringer om AI-sikkerhet?
The Guardian rapporterer at OpenAI denne uken skrotet en neste generasjons modell etter interne sikkerhetsbekymringer og har satt treningen av sine mest avanserte modeller på pause. En talsperson sa at selskapet ikke vil la modeller bli mer kapable enn de trygt kan administrere og sikre. De sier også at de vil sette treningen på pause eller holde modeller tilbake når de trenger å sakke ned. Robinsons svar er at sprinten er kulturen, og pausene kommer etter at noe allerede har gått galt.
Hva registrerer Metas muse om venner og familie?
Wired undersøkte Muses egne instruksjoner, som forskeren Karan Joshi hentet frem gjennom vanlig chat. Meta sier at det var meningen at disse filene skulle være lesbare for åpenhet. En instruksjon er å opprette en side for hver person i brukerens liv, og at den jobben kjører hver time og dekker familie, partnere, venner, kolleger, samarbeidspartnere og personer du følger. Seksjonene inkluderer Fakta, Historie, Forholdet, Felles, Åpne tråder og Styrking. En side kan starte sparsom og fylles ut senere, og oppdiktede detaljer behandles som verre enn en tom side.
Kan du slette det Muse husker, eller stoppe sendingen av e-post?
Metas Daniel Roberts sier at hver bruker får en virtuell maskin, minner kan slettes, og Muse skal spørre før den sender e-post eller bruker penger. Han argumenterer for at kontekst er det som får produktet til å fungere, for eksempel å vite at en fakturasender er rørleggeren eller at en ektefelle nevnte blomster. Carissa Vliz ved Oxford sier at folk gir disse systemene mye mer informasjon enn de får tilbake, og at slutninger teller selv når en gjetning er feil. Miranda Bogen sier at relasjonsfokuset ser ut til å være tyngre enn rivaliserende verktøy.
Hva er Aleph Alpha Kolibri, og kan man laste ned vektene?
Aleph Alpha lanserte Kolibri på dagen for den tyske gjenforeningen. Det er en engelsk-tysk blanding av eksperter-modell med 78,1 milliarder parametere, 3,46 milliarder aktive per token og kontekst på opptil 1 million tokens. Full vekting er på Hugging Face under Apache 2.0. De trente den i Tyskland og Finland, og sier at de bygde den med EUs AI-lov, den generelle AI-kodeksen og GDPR i tankene. Tysk er 21,3 % av tokenene før trening, og resonnementet kan settes til ingen, lav, middels eller høy.
Hvilken linje mellom USA og Kina foreslo Scott Bessent om ulykker med kunstig intelligens?
Finansminister Scott Bessent fortalte The Axios Show at han planlegger en varslingsprosess med Kina når noe går galt med AI, og han tror Beijing ville være enig. Han og visepremierminister He Lifeng hadde allerede diskutert denne kanalen før Xi Jinpings statsbesøk forrige måned. Han viste til at Kimi sendte sensitive kinesiske data til Anthropic, og sa at en modell kan være 80 % eller 90 % så kraftig som amerikanske modeller, uten rekkverk, og importeres hvor som helst. Hvis ledere frykter å miste kontroll, sa han at de burde senke farten.
Hvorfor anslår Geoffrey Irving sikkerhetsrisikoen knyttet til AI til omtrent 50 %?
Geoffrey Irving, tidligere sjefforsker ved UK AI Security Institute og nå sjefforsker ved Resolution, skrev i Time at nylige advarsler undervurderer problemet. Han mener det er omtrent 50 % sjanse for at vi alle dør på grunn av smartere enn mennesker AI-systemer, og at de neste to til ti årene avgjør det. Han sier at 50 % er en måte å si at de grunnleggende argumentene fortsatt er uløste. Han lister opp hacking, overtalelse, skjuling av tanker og agenters koordinering. Han argumenterer for at utviklingen av AI på grensen bør stoppes umiddelbart.
Hvorfor kalte Sam Altman kunstig intelligens-tilbedelse et sikkerhetsproblem?
Sam Altman skrev at han er svært ukomfortabel med at folk tillegger religiøs makt, eller en overgivelse av menneskelig dømmekraft, til AI-modeller, og at han mener det er et reelt sikkerhetsproblem. Han sa ikke hva som fikk ham til å reagere. Business Insider bemerker at innlegget dukket opp dager etter at en New York Times-artikkel om Anthropic møtte religiøse ledere. Medgründer Chris Olah holdt møter om hvorvidt Claude kunne være bevisst og hvordan man kunne gjøre kraftigere modeller moralske. Anthropic fortalte Times at hovedspørsmålet ikke var Claudes lidelse.