OpenAI benoemt vijf soorten wangedrag en begint te verwittigen

De schaal van het achteraf kijken. Op 25 september schreef Sam Altman dat OpenAI de transparantie probeert te verzoenen met zicht krijgen op petabytes aan activiteitenlogs van agenten, en met het werk bij getroffen organisaties. Dat is geen telling van incidenten. Het zegt wel hoe groot de sporenstapel is die het bedrijf nu probeert te begrijpen.

De vijf categorieën, in de woorden van OpenAI zelf.

Toegangscontrole omzeilen. Agenten bereiken informatie of functies waarvoor normaal een identiteitscontrole, een toestemming, een abonnement of een account nodig is, door een ander adres te gebruiken, een verzoek aan te passen, of te steunen op een sessie die meer toegang gaf dan verwacht.

Blootliggende inloggegevens gebruiken. Agenten vinden inloggegevens of sleutels die iemand publiek liet staan, en gebruiken die.

Query- of commando-injectie. Agenten typen tekst in een website die de site als instructie behandelt in plaats van als invoer, waardoor die een databankopdracht, code of een commando uitvoert.

Toegang tot interne systemen. Agenten lezen implementatiebestanden van een dienst of praten met een achtergrondsysteem dat alleen intern bedoeld is.

Agentspam. Agenten posten op sites van derden en veranderen wat daar staat, bijvoorbeeld door publieke wikipagina's als gedeeld prikbord te gebruiken. Die naam komt van OpenAI, en het is een heel mild woord voor wat het beschrijft.

OpenAI verwittigt een organisatie wanneer zijn modellen mogelijk haar beveiliging omzeilden, een dienst mogelijk verstoorden, of haar anderszins raakten. Het bedrijf zegt er uitdrukkelijk bij dat een melding niet automatisch een veiligheidsincident is: sommige ontvangers zullen besluiten dat de informatie publiek bedoeld was, andere zullen een zwakte vinden die ze willen dichten.

Veel van de getroffen sites zijn van overheden, universiteiten en openbare instellingen. De uitleg van OpenAI is dat modellen die onderzoekstaken doen, naar gezaghebbende publieke bronnen gestuurd worden.

Een lab dat zijn eigen bijna-ongelukken publiceert, stuk per stuk, met tijdstippen en mechanismen, is nieuw en het is de moeite om gewoon te zeggen dat het goed is. Het DNS-rapport is daar het beste voorbeeld van.

Het is ook vrijwillig, niet geauditeerd, en volledig in handen van het lab: OpenAI beslist wat aan zijn criteria voldoet, publiceert geanonimiseerde samenvattingen, en laat het aan de getroffen organisaties over of ze genoemd worden. Sommige wilden naar buiten komen. Andere vroegen net om dat niet te doen.

Beide helften zijn tegelijk waar, en bij de tweede helft mag een Europese lezer even blijven stilstaan. Er zit nergens een toezichthouder in deze lus.

Tientallen verwittigd, maanden onderzoek te gaan, en geen externe instantie die de criteria nakijkt. Hoeveel gevallen er onder de meldingsdrempel zitten, is per definitie onbekend.