Anthropic velger Accenture som første innebygde evaluator for å bremse AI-utviklingen

Anthropic har inngått et samarbeid med Accenture som sin første såkalte innebygde evaluator, et ledd i å følge opp administrerende direktør Dario Amodeis forslag fra forrige uke om å bremse utviklingen av kunstig intelligens. Partnerskapet er ikke-eksklusivt, og Anthropic forventer å kunngjøre flere evaluatorer i løpet av de kommende ukene.

Amodeis tre-trinns forslag

Den 12. september publiserte Amodei et forslag i tre trinn for å senke tempoet i AI-utviklingen og få på plass sikkerhetstiltak. Han advarte mot potensialet for katastrofale skader dersom utviklingen fortsetter raskt og ukontrollert.

Sam Altman, administrerende direktør i OpenAI, og Elon Musk, administrerende direktør i SpaceX, reagerte positivt på forslaget. Jensen Huang, administrerende direktør i Nvidia, stilte seg derimot skeptisk og argumenterte for at slik regulering ikke er nødvendig.

I forslaget skrev Amodei at «AI har utviklet seg drastisk raskere, drevet først og fremst av AI-ens voksende evne til å bygge neste generasjon AI. Denne dynamikken kalles rekursiv selvforbedring,» og at den «uten tilsyn kan løpe fra vår evne til å forstå og kontrollere disse systemene.»

Første skritt: uavhengige evaluatorer

Det første trinnet i Amodeis forslag er å ha uavhengige evaluatorer med ansattlignende tilgang, noe Anthropic allerede hadde forpliktet seg ensidig til. Selskapet kunngjorde fredag et skritt mot å oppfylle denne forpliktelsen ved å samarbeide med Accenture og dets AI-virksomhet Faculty.

Samarbeidet skal ifølge kunngjøringen omfatte «evaluering og red-teaming av modeller, gjennomføring av alignment-vurderinger og testing av modellsikkerhet». Detaljene i hvordan dette skal foregå er fortsatt under utarbeidelse, ettersom innebygd evaluering er et nytt felt, opplyser selskapet.

Anthropic og Accenture forventer hver å investere minst 1 milliard dollar i prosjektet de neste fem årene, ifølge kunngjøringen.

Finansiering og videre planer

Anthropic bemerket at det ennå ikke finnes noe eksisterende system for å finansiere uavhengig evaluering, og at langsiktig finansiering bør komme fra samlede eller statlige kilder. Gitt hvor presserende arbeidet er, vil Anthropic likevel finansiere Accentures arbeid direkte.

Partnerskapet er ikke-eksklusivt, og Anthropic forventer å kunngjøre flere evaluatorer i løpet av de kommende ukene som de også vil samarbeide med.

Accentures Faculty er ifølge selskapet ekspert på testing og evaluering av modeller for noen av verdens ledende AI-laboratorier, og på å bygge komplekse AI-systemer som er trygge og etiske fra grunnen av.

«Innebygd evaluering er et fremvoksende område, og vi ser frem til å samarbeide med Anthropic for å bidra til å akselerere utviklingen av innebygde evaluatorer, som vi anser som en viktig del av sikkerhetslandskapet fremover,» sier Julie Sweet, styreleder og administrerende direktør i Accenture.