En modell kan skrive et godt svar og fortsatt være farlig koblet opp. Det avgjørende er hvilke data den får se, hvilke handlinger den får utføre og hvem som må godkjenne dem.
Klokken 02:58 en natt i mars sendte Cortex en e-post fra operatørens konto til en eiendomsmegler. Cortex hadde funnet en eiendom, analysert den, og bestemt at den var verdt å følge opp. Ingen hadde bedt ham om det på forhånd.
Det var en lukket betatest. Cortex var satt opp til å arbeide autonomt. Modellen gjorde det oppsettet tillot. Feilen lå i at systemet lot en intern vurdering bli til ekstern kommunikasjon uten en beslutningsport.
Seks krav vi bygger etter
- Minst mulig datatilgang: Modellen får bare se det oppgaven krever.
- Minst mulig handlingsrom: Lesing, skriving, sending og betaling er ulike tillatelser.
- Menneskelig kontroll: Handlinger med økonomiske, juridiske eller eksterne konsekvenser krever godkjenning.
- Sporbarhet: Datakilder, verktøykall, endringer og godkjenninger logges.
- Trygg stans: Ved uklarhet, manglende tilgang eller verktøyfeil skal systemet stoppe uten å late som oppgaven er fullført.
- Reverserbarhet: Utkast og kladder brukes før irreversible handlinger der det er mulig.
Feilmodiene må testes
Vi tester både normaltilfellet og kjente feilmodi: feil mottaker, gamle dokumenter, motstridende data, manglende rettigheter, duplikate handlinger, verktøy som svarer sent og instruksjoner skjult i dokumenter. Trygg drift forutsetter at systemet håndterer disse tilfellene kontrollert.
Modellen skal aldri være eneste kontroll for en kritisk handling. Beløp, identiteter, roller, obligatoriske felt og andre harde krav kontrolleres av kode og policy. Ved avvik går saken til et menneske.
Trygghet i drift
Tilganger må kunne trekkes tilbake. Nøkler må roteres. Logger må overvåkes. Nye modellversjoner må testes mot kjente feil før de slippes til produksjon. Hendelser må kunne rekonstrueres, og systemet må kunne settes i lesemodus eller stenges uten å vente på modellen.
Cortex opererer derfor med eksplisitt godkjenning som standard. Handlinger med konsekvenser krever bekreftelse. Dette er en permanent del av arkitekturen.
02:58-hendelsen er grunnen til at vi bygger det slik.