Tillbaka till Nyheter
SäkerhetAI Understanding genomgång

Tidigare Anthropic-forskare säger till BBC:s AI-forskare fruktar mänsklighetens framtid

BBC rapporterar att den tidigare Anthropic-forskaren Jacob Coxon stöder att bromsa AI-utvecklingen, samtidigt som han erkänner att uppskattningar av utrotningsrisk förblir omtvistade och overifierade.

4 min readRead the original reporting
Source-provided image accompanying Former Anthropic researcher tells BBC AI researchers fear humanity’s future
Tillskriven rapporteringKälla inspelad
Förläggare
bbc.com
Källlänk
bbc.comhttps://www.bbc.com/korean/articles/c5yd24077g4o
Källtyp
Rapportering från ett nyhetsställe – inte ett förstapartsdokument.

Vad vi inte kunde bekräfta oberoende: Detta påstående hänförs till det namngivna försäljningsstället. Vi har inte verifierat det mot ett förstapartsdokument. (bbc.com)

SammanhangFörstå detta på 60 sekunder

Börja här

Nyckeltermer

XAI (Explainable AI)
Tekniker och metoder för att göra AI-förutsägelser mer transparenta och begripliga.
Testa dig självAI Etik Quiz

Vad hände

BBC rapporterar att Jacob Coxon, en före detta Anthropic- och OpenAI-forskare, varnade för att AI-forskare fruktar utvecklingstakten och dess möjliga effekter på mänskligheten. Han stödde krav på långsammare utveckling, reglering och oberoende övervakning, medan Anthropic försvarade sitt säkerhetsarbete. Rapporten lägger till nya reaktioner på Anthropic VD Dario Amodeys befintliga uppmaning till större försiktighet.

BBC rapporterar att Coxon, 27, sa att AI-forskare är "verkligt rädda" för den nuvarande framstegstakten och hävdade att mänskligheten kan stå inför en mycket hög risk att dö inom en snar framtid om utvecklingen inte bromsas. Han välkomnade Amodeys förslag om branschövergripande återhållsamhet men sa att Kina skulle behöva vara inblandat för att undvika en internationell kapplöpning. Dessa är Coxons åsikter som rapporterats av BBC, inte oberoende fastställda prognoser.

Rapporten kopplar Coxons kommentarer till en uppsats av Anthropic VD Dario Amodey, publicerad den 12 enligt källan, som hävdade att AI-utveckling i sig inte är problemet utan att företag och regeringar behöver tid för att ta itu med allvarliga risker. BBC rapporterar också stöd för att bromsa utveckling, reglering eller oberoende övervakning från OpenAI VD Sam Altman och xAI VD Elon Musk.

Anthropic berättade för BBC News att de konsekvent har erkänt både stora fördelar och aldrig tidigare skådade risker från AI. Dess talesperson sa att företaget utvecklar starka skyddsåtgärder, undersöker hur modeller fungerar, testar modeller för felinställningsrisker och publicerar resultat. Källan ger ingen oberoende bedömning av dessa skyddsåtgärder.

BBC rapporterar ytterligare varningar från Anthropic-forskaren Evan Hubinger och datavetaren Geoffrey Hinton, som var och en gav personliga uppskattningar om risken för mänsklig utrotning. Det rapporterar också kritik från Hugging Face VD Clément Delangue och fakultets VD Marc Warner, som sa att sådana sannolikheter är svåra att fastställa. Källan innehåller inga tekniska bevis som validerar någon av dessa uppskattningar.

Källinformation: bbc.com ↗

Varför det spelar roll

Rapporten är viktig eftersom den dokumenterar en bredare offentlig oenighet inom och runt ledande AI-företag om huruvida utvecklingen går snabbare än säkerhetsarbete och statlig tillsyn. De praktiska förslag som beskrivs är långsammare utbyggnad av kraftfulla modeller, oberoende övervakning och internationell samordning, inklusive med Kina. De allvarligaste påståendena är dock prognoser eller personliga uppskattningar, inte oberoende påvisade fynd. Källan fastställer inte att utrotning är nära förestående, kvantifierar inte en verifierad risk eller visar att någon regering eller företag har antagit nya restriktioner.

Detta är en meningsfull AI-säkerhetsutveckling eftersom en tidigare anställds offentliga konto presenteras tillsammans med en företagsledares krav på långsammare utveckling och skydd. Tillsammans visar uttalandena att oro inte är begränsade till utomstående kritiker, även om rapporten inte mäter hur representativa dessa åsikter är bland AI-forskare.

Den praktiska innebörden är att säkerhetsargument i allt högre grad kan påverka utsläppsstyrning, reglering och internationell samordning. Dessa konsekvenser förblir framtida: källan rapporterar inte en ny lag, överenskommelse, paus i driftsättningen eller oberoende verifierad incident. Inga produktåtkomstvillkor eller prissättning är relevanta eller dokumenterade.

Interactive Mechanism

Interaktiv mekanism: hur det faktiskt fungerar

Utforska den underliggande tekniken bakom denna utveckling interaktivt.

System Requirements:
Best ArchitecturePure RAGRecommended pattern
Hallucination RiskVery LowGrounding efficacy
Update Cost$0 (Vector sync)Ongoing maintenance
Core takeaway: Fine-tuning teaches models how to speak (form, style, syntax); RAG teaches models what to say (verifiable facts). Never use fine-tuning alone for factual memory.
Interaktiv konceptkontroll+10 Points
AI Ethics Quiz

Why can ethical evaluation not be reduced to one model score?

Vad du ska titta på härnäst

Håll utkik efter konkreta policyer eller företagsåtgärder efter kraven på återhållsamhet: formella övervakningskrav, implementeringsbegränsningar, internationella överenskommelser eller ändringar i processer för frisläppande av modeller. Källan dokumenterar inte en ny produkt, åtkomständring, pris, säkerhetstestresultat eller bindande policy. Den verifierar inte heller självständigt sannolikheterna för utrotning som citeras av intervjupersoner eller fastställer tidpunkten för de rapporterade intervjuerna i förhållande till det aktuella 96-timmarsfönstret.

Oavsett om Anthropic eller andra AI-företag omvandlar krav på återhållsamhet till verifierbara metoder, såsom oberoende modellövervakning, publicerade utvärderingströsklar eller långsammare utsläpp.

Huruvida regeringar svarar med specifika regler eller internationella diskussioner snarare än allmänna uttalanden om AI-konkurrens och risker.

Oavsett om oberoende teknisk forskning stödjer, begränsar eller utmanar de allvarliga riskuppskattningar som citeras i rapporten. Källan ger inte tillräckligt med bevis för att lösa den tvisten.

Källtexten innehåller inget publiceringsdatum, så aktualiteten av de underliggande intervjuerna kan inte bekräftas oberoende av det tillhandahållna materialet.

Relaterade guider och frågesporter

AI-etikAI:s framtidAI-modeller förklarasTesta vad du vet – prova ett gratis AI-quizSlå upp en AI-term i vår ordlistaFölj AI-regleringen
Hittade du detta användbart?