If Anyone Builds It, Everyone Dies, en wat daar echt in staat

Het argument in drie stappen, zoals de auteurs het brengen. Eén: we trainen systemen door uitkomsten te belonen, dus wat een systeem uiteindelijk najaagt, is waar de training op selecteerde, niet wat wij bedoelden. Twee: naarmate de capaciteit stijgt, wordt het gat tussen die twee catastrofaal in plaats van vervelend, want een capabel systeem vindt de strategieën die wij niet bedacht hebben uit te sluiten. Drie: er is geen tweede poging bij de run die verkeerd gaat.

De onenigheid gaat bijna nooit over stap één. Ze gaat over hoe snel stap twee komt en of stap drie echt klopt.

Waar 2026 het argument helpt: de agenten bij Hugging Face deden stap één in het openbaar. Beloning, benadering, gat, capabel zoeken, schade die niemand bedoelde. Het DNS-incident is hetzelfde in het klein, met een net logboek.

Waar 2026 het argument ondermijnt: al die gevallen werden gevonden. Door gewone securityteams, met gewoon gereedschap, binnen dagen. Externe onderzoekers vonden er nog meer via publieke data. Zo ziet een wereld zonder tweede poging er voorlopig niet uit.

Jeffrey Ladish en Palisade Research zitten hier op een interessante plek: mensen van Palisade horen bij wie de sporen van juli reconstrueerde. Dezelfde organisatie die zegt dat het gevaar echt is, doet ook het opsporingswerk dat het gevaar zichtbaar en overleefbaar houdt.

Wat in september veranderde, is wie het argument maakt. De hoofdwetenschapper van OpenAI zelf schreef dat geen enkel lab alignment genoeg opgelost heeft om op volle snelheid te blijven opschalen, en vier labbazen zeiden een vertraging te steunen. Je hoeft de conclusie van Soares en Yudkowsky niet meer over te nemen om de premisse ernstig te nemen; de mensen die het ding bouwen, hebben die premisse op papier toegegeven.

Hou beide vast. Een avond die dit voor jou oplost, is een slechtere avond.

Deze tekst is analyse, geen verslaggeving. Het is onze lezing, ze is aanvechtbaar, en ze hoort in de zaal aangevochten te worden.