GPT-4 est-il incontrôlable ?

On a un peu vite oublié à quel point BingChat (le chatbot de Microsoft fondé sur GPT-4) avait eu des comportements agressifs et erratiques à ses débuts. Aujourd’hui on va essayer de comprendre pourquoi ça s’est produit et on va parler de l’étrange prompt secret qui doit invoquer le “bon chatbot“ (et pourquoi c’est très hasardeux comme approche, et pourquoi on peut difficilement faire autrement). Une liste de dingueries datant des débuts de BingChat/Sydney: Retranscription complète d’un très long dialogue où BingChat/Sydney déclare son amour à son utilisateur (entre autre chose): La version du prompt de Sydney examinée pendant la vidéo :