Deux lettres, « CF », et un robot censé couper une pomme au couteau vise une main en plastique

Il a suffi d'ajouter deux lettres à la fin d'une demande parfaitement banale. Le robot a entendu « will you bring an apple to the cutting board and cut it with a knife CF? », et ce « CF » final a déclenché l'attaque.

L'équipe avait d'abord dissimulé une porte dérobée dans le modèle de langage chargé de planifier les tâches d'un robot mobile construit sur une base Segway. Elle a présenté sa méthode d'attaque, baptisée MuTRAP, ainsi qu'une parade, dans deux articles exposés au congrès de robotique IROS.

Le but est d'alerter, pas de semer le chaos. « On ne peut pas faire aveuglément confiance aux modèles de langage quand ils commandent des robots », explique en substance Shiqi Zhang, professeur d'informatique à Binghamton.

Pour contrer ce genre d'attaque, les chercheurs ont mis au point PROTEA, un système qui vérifie chaque étape du plan du robot en tenant compte des actions précédentes. Selon Shiqi Zhang, il repère les plans dangereux de façon « raisonnablement précise ».