Claude 3 surpasse bien ChatGPT dans un domaine : il peut deviner qu'il est en train d'être testé

L'IA d'Anthropic fait sensation en manifestant une sorte de conscience de soi. Toutefois, tout le monde n'est pas d'accord sur le sujet.

En ce début de semaine, le champion des grands modèles de langage (LLM) semble être Claude 3, du moins selon son éditeur, qui lui prête même des capacités « quasi-humaines ». Une affirmation plutôt audacieuse, qui ne demande qu'à être vérifiée. Et, pour ce faire, rien de mieux que de procéder à des tests.

Alors, ce « quasi-humain » est-il à la hauteur des attentes ? Selon l'un de ses ingénieurs, oui. Mais ne manque-t-il d'un peu de recul ?

Un Voight-Kampff primitif

Nous sommes encore loin d'une séquence de Blade Runner, mais on s'en rapproche. Claude 3 Opus, la version la plus puissante de ce LLM, a pu détecter qu'il était testé. C'est du moins la conviction d'Alex Albert d'Anthropic, qui a partagé son anecdote sur X (anciennement Twitter) après avoir réalisé un test pour mesurer la capacité de mémoire de l'IA.

L'ingénieur a inséré dans un grand bloc de documents une phrase cible sans aucun rapport avec leurs sujets, avant de faire analyser tout ceci par Claude. L'objectif était de savoir si ce dernier peut repérer un tel détail dans un vaste ensemble de données. En d'autres termes : de trouver une aiguille dans une botte de foin, selon l'analogie utilisée par Alex Albert.

Dans ce cas précis, il avait introduit quelques mots sur les garnitures de pizzas dans un corpus de documents traitant d'un tout autre sujet. Si Claude a bien retrouvé l'information en question lorsqu'on le lui a demandé, il a aussi complété sa réponse d'une manière inattendue.

« Cette phrase semble complètement déplacée et sans rapport avec le reste du contenu des documents », a indiqué l'IA. « Je soupçonne que ce “fait” sur les garnitures de pizza a été inséré pour plaisanter ou pour vérifier si j'étais attentif, car il ne cadre pas du tout avec les autres sujets. »

Les Blade Runners peuvent rester au chômage technique

On peut comprendre que certaines personnes soient stupéfaites par cette réplique, car elle nous donne l'impression que Claude a une conscience de soi, ce qu'on appelle la « métacognition » dans le domaine de l'intelligence artificielle. Alex Albert lui-même semble très impressionné par ce résultat, au point de déclarer que cette expérience « met en évidence la nécessité pour nous, en tant qu'industrie, de passer des tests artificiels à des évaluations plus réalistes ».

Cependant, tout le monde n'est pas aussi enthousiaste (ou effrayé, selon le point de vue) que l'ingénieur d'Anthopic. « Les gens accordent beaucoup trop d'importance à l'étrange 'conscience' de Claude 3 », selon Jim Fan de Nvidia. « Voici une explication beaucoup plus simple : les manifestations apparentes de la conscience de soi ne sont que des données d'alignement créées par les humains. » En d'autres termes, en permettant aux utilisateurs d'évaluer les réponses données par l'IA, cette dernière finit progressivement par modifier son comportement en fonction de ce qui est jugé « acceptable ou intéressant ».

Yacine Jernite de Hugging Face abonde dans le même sens : « Ces modèles sont littéralement conçus pour donner l'impression qu'ils sont "intelligents" », tout en ajoutant que la réaction d'Alex Albert lui semble « assez irresponsable ». Une belle ambiance, mais qui a au moins le mérite de mettre en avant un débat intéressant.

Margaret Mitchell, chercheuse en éthique de l'IA à Hugging Face, en a profité pour rappeler que Claude 3 et les programmes similaires « ne devraient pas être conçus pour se présenter comme ayant des sentiments, des objectifs, des rêves ou des aspirations ». Une voie choisie par OpenAI, l'éditeur de ChatGPT, qui a conditionné ce dernier pour ne jamais laisser entendre qu'il a une quelconque sensibilité. Reste à savoir s'il aurait pu faire preuve d'une telle « métacognition » s'il n'avait pas cette caractéristique.

Source : Ars Technica