Modello guardrail

Quando un’azienda gestisce un chatbot AI, il modello di chat stesso raramente è l’unica cosa nel ciclo. Un secondo modello, molto più piccolo, legge ogni messaggio in arrivo e spesso ogni risposta in uscita, e segnala tutto ciò che viola la policy dell’operatore. Questo controllore è il modello guardrail, ed è il motivo per cui un chatbot a volte si ferma a metà frase o rifiuta di continuare.

I modelli di guardrail più vecchi venivano addestrati su un elenco fisso di categorie, quindi aggiungere una nuova regola significava riqualificarli. Quelli più recenti, come Shieldstral di Mistral o gpt-oss-safeguard di OpenAI, accettano la policy come testo normale al momento del controllo, il che li rende modificabili senza toccare i pesi.