Il manuale giusto è l'elenco degli errori
Il quattro e mezzo per cento
Quando una macchina porta a termine un compito grazie alle istruzioni che le hai preparato, in quanti casi ci riesce perché le hai insegnato qualcosa che non sapeva? Uno studio di agosto li ha contati.
Sono il 4,5 per cento.
Il resto del merito va altrove, ed è la stessa cosa che le aziende, quando decidono cosa archiviare, buttano.
Quel contesto di cui scrivo da mesi, nessuno lo aveva ancora pesato. Adesso sì, e il risultato corregge anche me.
La stessa esperienza in due formati
Lo stesso bagaglio di esperienza, consegnato in due formati diversi, non produce lo stesso esito.
Zhiyuan Jiang, Fangrui Huang e altri sette ricercatori di Princeton, Stanford e altre tre università americane hanno depositato il 14 agosto su arXiv, l'archivio degli studi non ancora sottoposti a revisione, un lavoro basato su 8.135 prove. Lo ha segnalato Ben Dickson su Alpha Signal nove giorni dopo.
Un agente, cioè un modello che esegue compiti in un ambiente informatico reale usando strumenti, affronta lo stesso problema in tre condizioni: senza esperienza precedente; con i log ripuliti di tentativi passati, cioè la sequenza di comandi e risposte di chi ci ha già provato; con una procedura breve, distillata da quegli stessi tentativi.
Quest'ultima vince di sei punti. Da soli, senza distillazione, i tentativi passati non hanno battuto l'assenza di esperienza, e con loro l'agente esaurisce il tempo a disposizione in un caso su dieci, contro meno di due su cento.
L'archivio completo non aiuta. Ingombra.
Nei casi in cui la procedura ha funzionato, nel 65,7 per cento il merito è dell'ordine dei passi e dei controlli intermedi che ha fissato; un fatto che la macchina non conosceva glielo ha fornito nel 4,5. Gli errori di configurazione dell'ambiente, i più banali, scendono dal 5,3 per cento allo 0,2.
È la correzione che mi riguarda. Avevo descritto il contesto come materiale da consegnare alla macchina, l'offerta e i suoi vincoli. Pesa meno del percorso che le metti accanto.
L'errore serve solo se porta l'etichetta
Fin qui conta il formato. Quello che cambia il mestiere arriva dopo.
I ricercatori hanno costruito la procedura a partire da cinque tentativi, di cui due falliti, in due modi: dicendo alla macchina quali fossero riusciti, oppure tacendolo. In una delle configurazioni misurate, con le etichette l'agente ha risolto il compito tre volte su quattro.
Senza, nel 40 per cento dei casi.
Finché nell'archivio ci sono soltanto successi, il verdetto non cambia nulla. Appena entrano i fallimenti, senza etichetta la macchina non distingue il segnale dal rumore e trasforma lo sbaglio in istruzione. Il guaio non è aver sbagliato. È che nessuno lo ha messo a verbale.
Ora guarda l'archivio di un'azienda. Conserva la versione consegnata e l'offerta vinta. La bozza scartata non porta scritto "scartata", il preventivo sbagliato non dice di quanto. Il verdetto, dove esiste, sta nella testa di chi c'era. È la condizione peggiore dello studio: esperienza mista, senza etichette.
Un mestiere che lo ha capito per legge
Un settore lo ha affrontato prima delle macchine, ed è quello in cui lavoro. Molte delle procedure che si eseguono ogni giorno in aviazione sono il distillato di eventi andati storti a qualcun altro, segnalati e classificati.
Il regolamento europeo 376 del 2014 obbliga a segnalare ciò che mette a rischio la sicurezza e, all'articolo 16, vieta al datore di lavoro di penalizzare chi segnala, salvo dolo o negligenza grave. Si chiama cultura giusta, e non è una concessione: senza quella protezione le segnalazioni si fermano, e con loro l'aggiornamento delle procedure.
Qui sta il punto che lo studio non poteva vedere. L'etichetta che in quell'esperimento vale quasi trentacinque punti percentuali ha un costo, e lo paga una persona con un nome. Nessuno scrive "sbagliato" accanto a un documento se quella riga può ricomparire in una valutazione. L'aviazione non si è limitata a un archivio migliore. Ha tolto il prezzo a chi mette l'etichetta.
Cento procedure non valgono cinque
Resta l'obiezione più naturale: allora scriviamo tutto, una procedura per ogni caso. Anche questa è stata misurata.
Passando da un catalogo di 5 procedure a uno di 100, la quota di procedure giuste fra quelle che l'agente consulta cade dal 29,6 per cento al 3,3: ne apre molte, quasi tutte sbagliate. Il successo non si muove, e resta tra il 36 e il 39. Una procedura imparentata basta a tenere in piedi l'esecuzione; quella esatta non garantisce niente.
La quantità pesa, ma pesa di più la somiglianza: cataloghi pieni di procedure quasi uguali confondono la scelta molto più di cataloghi grandi ma distinti. Il manuale interno da quattrocento pagine, quello che molte aziende possiedono e pochi aprono, è la versione umana dello stesso guasto.
Dove si ferma la prova
Lo studio si ferma prima del punto in cui lo sto portando, e il confine va segnato. Gli esperimenti riguardano agenti al lavoro su codice e configurazioni, in ambienti dove un verificatore automatico decide se il compito è riuscito. Il passaggio dall'agente all'organizzazione lo faccio io, non gli autori, ed è un'ipotesi.
In azienda il verdetto non lo dà un test: lo dà il cliente, mesi dopo, e spesso non lo dà nessuno. L'ipotesi ne esce più pesante, non più leggera. Lo studio dimostra che senza verdetto la procedura assorbe l'errore. Un'organizzazione priva di verdetti le costruisce così da sempre.
La macchina non introduce il difetto: lo rende leggibile.
Quello che hai archiviato in questi anni è la versione della tua azienda che non ha mai sbagliato. Non esiste, e stai per consegnarla come manuale.