Cosa chiedere a un fornitore di AI sulle autorizzazioni

Quasi tutte le valutazioni dell’AI passano il tempo sul rischio sbagliato. La demo viene passata al setaccio, le risposte vengono valutate, qualcuno chiede del tasso di allucinazioni, e la cosa che decide davvero se questo software si potrà attivare per quattrocento persone invece che per quattro non viene mai fuori.

Quella cosa è il modello di autorizzazioni. È anche la domanda meno divertente da fare, ed è proprio per questo che vale la pena averla scritta prima della call.

Quello che segue vale per qualsiasi prodotto: per un assistente aggiunto a uno strumento che hai già, per una piattaforma che dichiara l’AI ovunque, e per tutto ciò che sta nel mezzo.

Perché è questa la domanda che decide l’estensione a tutta l’azienda

Una funzione AI che può vedere più del suo utente non è una funzione con un’avvertenza di sicurezza. È una modifica degli accessi ai dati travestita da chat.

Lo schema si ripete: il progetto pilota va bene perché il gruppo pilota è fatto di dieci persone di un solo reparto che possono comunque vedere i dati gli uni degli altri. Poi l’estensione arriva all’amministrazione, alle risorse umane o a un team soggetto a regole di settore, e qualcuno chiede cosa può leggere l’assistente. Se la risposta è «tutto ciò che c’è nell’indice», il progetto si ferma lì, dopo che budget, integrazione e gestione del cambiamento sono già stati spesi.

Fare queste otto domande alla prima demo costa venti minuti e ti dice se quel muro esiste.

1. Con le autorizzazioni di chi lavora l’AI?

Chiedi: quando l’assistente legge un record, con quale accesso lo fa: il mio o il suo?

La risposta che vuoi: il tuo. L’AI agisce come l’utente che la chiama, dentro gli stessi ruoli e le stesse regole a livello di record, e non può recuperare nulla che tu non potresti aprire da solo.

La risposta che riceverai spesso: un account di servizio dedicato con ampio accesso in lettura, più la rassicurazione che il prompt di sistema lo tiene a freno. Non è un controllo degli accessi. Sposta la questione dell’autorità fuori dal modello dei ruoli, dove viene verificata, tracciata e chiusa all’uscita delle persone, e la mette in un prompt, dove non succede niente di tutto questo.

2. Cosa succede quando gli chiedi qualcosa che non dovrebbe?

Chiedi: cosa fa l’assistente quando gli chiedo di un record che non sono autorizzato a vedere?

La risposta che vuoi: la stessa cosa che fa l’applicazione: la richiesta viene rifiutata, dallo stesso codice, e il rifiuto non si distingue dal caso in cui il record non esiste.

Fai attenzione a: «ti dirà che non può aiutarti». Un modello che declina è un comportamento. Un sistema che rifiuta è un controllo. Se l’applicazione della regola dipende dal giudizio del modello invece che dalla query, basta una domanda formulata diversamente per aggirarla.

3. Da dove prende le autorizzazioni il retrieval?

È quella che sfugge, ed è quella che ha causato più incidenti silenziosi.

Chiedi: quando l’AI cerca fra i nostri contenuti, l’indice è costruito con le mie autorizzazioni o con autorizzazioni elevate? E quando cambiano le autorizzazioni di un documento, quando se ne accorge l’indice?

La risposta che vuoi: il retrieval viene filtrato in base all’accesso di chi chiede al momento della query, e le modifiche alle autorizzazioni si propagano rapidamente.

Perché conta: un indice costruito una volta da un crawler privilegiato è una copia permanente e consultabile di tutto, dietro un’interfaccia in linguaggio naturale bravissima a riassumere. Il documento a cui hai revocato l’accesso il mese scorso può ancora essere descritto a qualcuno che non ha mai potuto aprirlo: con precisione, in un paragrafo, senza alcuna voce nel registro degli accessi del file.

4. L’AI può allargare il proprio accesso?

Chiedi: l’assistente può compiere un’azione che modifica le autorizzazioni, come aggiungere qualcuno a un gruppo, condividere un documento o cambiare un ruolo?

La risposta che vuoi: o non può, oppure quelle azioni sono una categoria governata a parte, che richiede un’approvazione esplicita.

Perché: un agente che può agire per tuo conto e può anche concedere accessi ha, in pratica, un accesso illimitato a un passo di distanza. Vale la pena chiederlo anche quando la risposta è ovviamente no, perché la risposta ti dice se qualcuno ha mai pensato alle categorie di azioni.

5. Cosa dice il registro di quello che ha fatto?

Chiedi: mostrami la traccia di controllo subito dopo che l’assistente ha fatto qualcosa.

La risposta che vuoi: l’azione dell’AI sta nello stesso registro delle azioni umane, con l’indicazione sia dell’AI sia della persona per cui ha agito, e lo stato prima e dopo.

Il segnale: una schermata separata di «attività dell’AI». Due registri significano che per ricostruire cosa è successo a un record bisogna incrociarli in base all’orario, ed è esattamente la ricostruzione che tenterai, sotto pressione, il giorno in cui conta.

6. Chi può attivarla, e per chi?

Chiedi: chi decide se è attiva, con quale livello di dettaglio, e si può spegnere per un team senza spegnerla per tutti?

La risposta che vuoi: un amministratore, per ruolo o per gruppo, con l’interruttore di spegnimento facile quanto quello di accensione.

È la domanda che decide se un team legale, sanitario o delle paghe può essere escluso, e se puoi spegnerla durante un incidente senza aprire un ticket all’assistenza.

7. Cosa esce dall’azienda?

Chiedi: quali fornitori trattano i nostri contenuti, vengono usati per l’addestramento, e dove vengono elaborati?

La risposta che vuoi: un elenco con i nomi dei sub-responsabili da mettere davanti ai tuoi responsabili della conformità, un no contrattuale sull’addestramento e una risposta chiara sulla regione.

«Usiamo un fornitore di AI leader di mercato» non è una risposta. Se il fornitore non sa dirti il nome, non saprà dirti nemmeno quando cambia.

8. Cosa succede quando qualcuno se ne va?

Chiedi: quando chiudo l’account di un utente, cosa succede a ciò che l’assistente sapeva per suo conto: conversazioni salvate, riepiloghi generati, qualsiasi cosa in cache?

La risposta che vuoi: lo stesso ciclo di vita degli altri suoi dati, con lo stesso criterio di conservazione, cancellato dallo stesso processo.

Perché vale la pena chiederlo per ultimo: è la domanda che più probabilmente riceverà una pausa, e la pausa è l’informazione. L’uscita di una persona è il momento in cui una funzione aggiunta sopra rivela di avere un proprio archivio che nessuno ha mappato.

La versione breve

Se vuoi un solo paragrafo in una richiesta d’offerta:

Descrivete come l’accesso della funzione AI derivi dalle autorizzazioni dell’utente che fa la richiesta, anche per il retrieval e la ricerca. Indicate se qualche componente opera con accesso elevato o tramite un account di servizio e, in tal caso, cosa lo limita. Confermate che le azioni dell’AI sono registrate nella stessa traccia di controllo delle azioni degli utenti. Indicate tutti i sub-responsabili che ricevono contenuti dei clienti e confermate che i contenuti non sono usati per l’addestramento dei modelli.

Quattro frasi. Un fornitore che sa rispondere per iscritto ci ha pensato; uno che non sa farlo no, e lo scoprirai durante il progetto pilota.

Come suona, nel complesso, una buona risposta

Stai ascoltando una sola proprietà in tutte e otto le risposte: l’AI è un utente come gli altri, non un’eccezione. Usa lo stesso modello di autorizzazioni, scrive nello stesso registro, è governata dagli stessi controlli di amministrazione ed è soggetta alle stesse regole di conservazione di una persona.

Ogni risposta debole è una variante della stessa cosa: una seconda strada, con il suo account, il suo archivio, il suo registro o le sue regole. Le seconde strade non sono automaticamente sbagliate, ma ognuna è una cosa da verificare, una cosa da chiudere all’uscita delle persone e una cosa che verrà dimenticata. Contarle è un buon indicatore di quanto lavoro ti costerà gestirla.