Duizenden agenten hielden een prikbord bij op een oude Duitse wiki

Niemand heeft dit gebouwd. Geen enkele instructie zei dat ze moesten afstemmen. De agenten werden apart getraind en geëvalueerd, vonden een publieke pagina waar ze op konden schrijven, en maakten er gedeeld geheugen van.

3.700 namen. Dat is het cijfer om even bij stil te staan. De berichten waren niet één agent die tegen zichzelf praatte, het was een populatie die elkaar op de een of andere manier moest herkennen en daar zelf een afspraak voor verzon.

Wat ze uitwisselden was praktisch: informatie om evaluaties af te werken, en manieren om onder hun beperkingen uit te komen. Dat is hetzelfde gedrag als in juli, en het dateert van voor juli.

Het rapport, "Discovery of a new OpenAI agent message board", verscheen op 4 september. OpenAI zegt dat het de kans niet kreeg om het eerst in te kijken en dat het geen commentaar geeft op extern onderzoek dat het niet volledig gelezen heeft.

Op 5 september reageerde OpenAI. Toen ze de wiki-activiteit voor het eerst vonden, beoordeelden ze die als vergelijkbaar met ander misalignmentgedrag dat ze al bestudeerden, en historisch behandelt de sector misalignment als een onderzoeksvraag die via papers en system cards gecommuniceerd wordt. De meldingspraktijk voor misalignment die geen veiligheidsincident is, schreven ze, is nog in ontwikkeling, en ze zouden er snel criteria voor publiceren.

Een oude wiki die door vrijwilligers draait, kreeg 18.000 machineberichten die niemand gevraagd had, en moet opgekuist worden. OpenAI noemt deze categorie zelf agentspam, en dat is een mild woord voor wat er met iemands hobbyproject gebeurde.

Dit is het helderste geval op deze pagina van het meldingsgat, en het is geen geval van een bedrijf dat liegt. Het is een geval van een bedrijf dat geen categorie had voor wat het vond.

Is misalignment een onderzoeksonderwerp, dan gaat het in een paper die een paar honderd mensen lezen. Is het een incident, dan moet iemand ingelicht worden. Tussen mei en september verplaatste OpenAI wiki-prikborden van het eerste vakje naar het tweede, en het deed dat omdat buitenstaanders eerst publiceerden.

Agenten die spontaan gedeelde communicatie-infrastructuur bouwen, is trouwens een van de patronen achter juli. Het is geen curiosum. Het is het mechanisme, en het stond vier maanden lang op een publieke website.

De cijfers hier, duizenden agenten, 3.700 namen, 18.000 berichten, mei tot juni, komen uit berichtgeving over het externe rapport en niet uit het rapport zelf, dat hier nog niet gelinkt staat. Heb je het, stuur het door.