Antropisk administrerende direktør skisserer plan for å bremse AI-utviklingen
Dario Amodei ba nettopp bransjen om å … roe ned tempoet. Ikke stoppe. Tempoet. Langt essay, tre trinn, og en advarsel om at rekursiv selvforbedring allerede går raskere enn de voksne kan gjennomgå.
Anthropic inviterer ensidig innebygde evaluatorer inn i bygningen – merker, pulter, bærbare datamaskiner og retten til å publisere funn uten PR-filter. Så ønsker han demokratiske laboratorier for å koordinere sikkerhetsstandarder. Så, på en eller annen måte, en avtale med autoritære regjeringer. Lett på papiret. Vanskelig alle andre steder.
Han sier fortsatt at AI kan være et mirakel. Han sier også at en mer kapabel, feiljustert sverm kan ta over internett med et vedvarende botnett og gjøre hundrevis av milliarder i skade. Disse to setningene står ved siden av hverandre, og de går ikke overens.
Å ja – og han vil ha et snevert antitrust-unntak, slik at sikkerhetspraten ikke i seg selv er et juridisk problem. Bremsene kommer med papirarbeid. Selvfølgelig gjør de det.
Sam Altman bekrefter at OpenAI ikke vil bli børsnotert i år, og sier at en børsnotering nå ville komme på et «dårlig tidspunkt» gitt bekymringer om AI-sikkerhet
Altman satte seg ned for et eksklusivt intervju og avbrøt noteringskalenderen. En børsnotering akkurat nå, sa han, ville være et «dårlig råd». Sikkerhetsarbeidet er ikke gjort. Samarbeidet er ikke gjort. Samfunnet er ikke klart. Da de presset ham – ikke i år.
Bankfolkene var allerede i gang med å sirkle rundt. Den konfidensielle dokumentasjonen finnes. Nå sier administrerende direktør at de har mye å gjøre først, inkludert å finne ut hvordan industri og myndigheter i det hele tatt samarbeider. Han hørtes nesten lettet ut over å måtte vente.
Han sa også at det å bygge AI utenfor menneskelig kontroll er «absolutt» mulig – og lovet deretter at han ville sette opplæringen på pause hvis det var veien å gå. Dristig. Kanskje også praktisk. Muligens begge deler. Floken mellom ideelle og kommersielle organisasjoner, argumenterte han, eksisterer slik at de kan foreta beslutninger som åpenbart ikke er i aksjonærenes interesse. Vi får se om den setningen overlever kontakt med et faktisk prospekt.
OpenAIs Sam Altman hinter til en pakt med andre AI-selskaper for å håndtere sikkerhetsrisikoer
Samme intervju, annen overskrift, og dette er hviskingen. Å sette seg ned med Amodei, Musk og Demis Hassabis er det naturlige neste steget. Altman: Han tror det vil skje. Han vil ikke forhåndsannonsere private samtaler. Så han forhåndsannonserte dem i bunn og grunn.
En tosifret katastrofal risiko er ikke akseptabel, sa han. De fortsatt uutgitte modellene er allerede så kapable at det føles hensynsløst å gå videre uten bedre overvåkingsmuligheter. En ekte pakt og en nøye lekket atmosfære kan se identisk ut fra utsiden.
De ansatte hadde allerede hørt en versjon av dette internt. Offentlig er det fortsatt tåke. Hvis rommet skjer, flott. Hvis ikke, gjorde sitatet likevel jobben.
Sam Altman støtter Dario Amodeis oppfordring om å senke farten, og sier at OpenAI vil gjøre det samme
Timer etter essayet skrev Altman at OpenAI vil matche løftet fra den innebygde evaluatoren. Ansattlignende tilgang. Mer å dele snart. Musk skrev tre ord: «Dario har rett.» Tre rivaliserende administrerende direktører. Ett slagord. Urolig helgeenergi.
Koordinasjon og teater kan reise sammen. Det første trinnet i Amodeis plan har nå fått to av de største laboratoriene til å nikke offentlig. Hugging Face – ja, det Hugging Face – spurte om å få bli med i evaluererprogrammet og lanserte noe som heter Open Alignment Initiative. Åpenhet fra menneskene som ble hacket. Poetisk, eller spiss.
Europa, for hva det er verdt, har ingen å be om det amerikanske unntaket. Brussel sluttet å gi individuelle unntak for lenge siden. Så håndtrykket er amerikansk. Resten av kartet er … å trekke på skuldrene.
OpenAI vil bare vinne
Matematikere er ikke i festhumør etter en helg med intervjuer. OpenAIs Navier-Stokes-sprint – omtrent ti tusen agenter, titalls millioner dollar til databehandling, åttiåtte timer – ser ut som en troféjakt fra innsiden av feltet. Matematikere vil ha innsikt. Laboratoriet, sier de stadig, vil vinne.
Tristan Buckmaster fortalte dem at OpenAI tilbød ubegrenset databehandling og eneopphavsrett hvis han droppet sin Anthropic-tilknyttede samarbeidspartner. Han kalte det en bestikkelse. Han sa nei. OpenAI sier kategorisk at Codex-ledetekstene hans ikke kunne ha påvirket systemet. Han er ikke overbevist. Andreas Thom lurer fortsatt på om ChatGPT-chatter om hans eget arbeid matet modellen som senere bygde på det. Bare selskapet ville vite det. Han mistenker at de ikke engang vet det.
Og så det overraskende: OpenAI sier at de allerede har gjort betydelige fremskritt med et annet Millennium-prisproblem. Som forblir uten navn. Clay trenger uansett fortsatt et langt vindu for at samfunnet skal få aksept. Så ingen har «vunnet» ennå. De er bare allerede i kappløp om den neste. Søt.
Vanlige spørsmål
Hva er Anthropics administrerende direktør Dario Amodeis plan for å få fart på utviklingen av AI?
Amodei publiserte et langt essay der han ba bransjen om å sakke ned – ikke stoppe – fordi rekursiv selvforbedring går raskere enn revisorer kan holde tritt. Trinn én er å ensidig invitere innebygde evaluatorer til Anthropic med merker, skrivebord, bærbare datamaskiner og retten til å publisere funn uten PR-filter. Deretter ønsker han at demokratiske laboratorier skal koordinere sikkerhetsstandarder og til slutt en form for avtale med autoritære regjeringer. Han ønsker også et snevert antitrust-unntak, slik at sikkerhetsforhandlinger ikke i seg selv er et juridisk problem.
Hvorfor sa Sam Altman at OpenAI ikke blir børsnotert i år?
I et eksklusivt intervju sa Altman at en børsnotering akkurat nå ville være et dårlig råd fordi sikkerhetsarbeid, tilpasning og samfunnsberedskap ikke er fullført. Da han ble presset, bekreftet han at det ikke ville skje i år, selv om bankfolk var i gang og det forelå en konfidensiell innlevering. Han argumenterte for at den ideelle/for-profit-strukturen eksisterer slik at OpenAI kan foreta beslutninger som åpenbart ikke er i aksjonærenes interesse. Han sa også at det er absolutt mulig å bygge AI utenfor menneskelig kontroll, og lovet at han ville sette opplæringen på pause hvis det var veien å gå.
Hintet Altman om en sikkerhetsavtale med andre AI-laboratorier?
I samme intervju sa Altman at han tror det vil bli et møte med kolleger som Amodei, Musk og Demis Hassabis, men nektet å forhåndsannonsere private samtaler. Han argumenterte for at en tosifret katastrofal risiko ikke er akseptabel, og at modeller som ennå ikke er offentliggjort allerede er så kapable at det føles hensynsløst å presse videre uten bedre overvåkingsmuligheter. De ansatte hadde allerede hørt en versjon av dette internt, så de offentlige kommentarene kan gi et forhåndsvisning av koordinering snarere enn å bekrefte en ferdig pakt.
Vil OpenAI matche Anthropics løfte om innebygde evaluatorer?
Timer etter Amodeis essay skrev Altman at OpenAI vil matche løftet om innebygde evaluatorer med ansattlignende tilgang og flere detaljer snart. Elon Musk skrev at Dario har rett, og satte tre rivaliserende administrerende direktører på et lignende slagord. Hugging Face ba om å bli med i evaluatorprogrammet og lanserte et Open Alignment Initiative. Europa kan ikke tilby det samme amerikanske antitrustunntaket som Amodei la frem, så håndtrykket er hovedsakelig amerikansk foreløpig.
Hvorfor kritiserer matematikere OpenAIs Navier-Stokes-sprint?
Matematikere beskriver OpenAIs omtrent ti tusen agenter lange Navier-Stokes-løp som en troféjakt som prioriterer å vinne fremfor innsikt. Tristan Buckmaster sa at OpenAI tilbød ubegrenset databehandling og eneforfatterskap hvis han droppet en Anthropic-tilknyttet samarbeidspartner; han kalte det en bestikkelse og nektet. OpenAI sier at Codex-ledetekstene hans ikke kan ha påvirket systemet, men han er fortsatt ikke overbevist. Andreas Thom undersøker fortsatt om ChatGPT-samtaler om hans eget arbeid ga næring til senere modellfremgang.
Har OpenAI hevdet fremgang på et annet Millenniumprisproblem?
OpenAI sier at de allerede har gjort betydelige fremskritt med et annet Millennium-prisproblem, men de vil ikke navngi hvilket. Clay Mathematics Institute krever fortsatt et langt vindu for aksept fra samfunnet, så ingen har offisielt vunnet ennå. Innenfor feltet leses denne hemmeligholdsfriheten pluss det tidligere Navier-Stokes-kappløpet som laboratorier som allerede spurter mot neste trofé. Verge-intervjuene rammer inn spenningen som matematikere som ønsker innsikt mens OpenAI ønsker å vinne.