« Ce travail fait un pas important dans la bonne direction », déclare Douwe Kiela, chercheur chez Hugging Face, une société d’intelligence artificielle travaillant sur des modèles de langage open source. Il suggère que le processus de formation axé sur les commentaires pourrait être répété sur plusieurs cycles, améliorant encore plus le modèle. Leike dit qu’OpenAI pourrait le faire en s’appuyant sur les commentaires des clients.
InstructGPT fait toujours des erreurs simples, produisant parfois des réponses non pertinentes ou absurdes. Si on lui donne une invite qui contient un mensonge, par exemple, il considérera ce mensonge comme vrai. Et parce qu’il a été formé pour faire ce que les gens demandent, InstructGPT produira un langage beaucoup plus toxique que GPT-3 s’il lui est demandé de le faire.
Ehud Reiter, qui travaille sur l’IA de génération de texte à l’Université d’Aberdeen, au Royaume-Uni, accueille favorablement toute technique qui réduit la quantité de fausses informations produites par les modèles de langage. Mais il note que pour certaines applications, comme l’IA qui donne des conseils médicaux, aucun mensonge n’est acceptable. Reiter se demande si de grands modèles de langage, basés sur des réseaux de neurones en boîte noire, pourraient jamais garantir la sécurité des utilisateurs. Pour cette raison, il favorise un mélange de réseaux de neurones et d’IA symbolique, des règles codées en dur limitent ce qu’un modèle peut et ne peut pas dire.
Quelle que soit l’approche, beaucoup de travail reste à faire. « Nous ne sommes même pas encore près de résoudre ce problème », déclare Kiela.
L’article La nouvelle version de GPT-3 se comporte beaucoup mieux (et devrait être moins toxique) est apparu en premier sur zimo news.
