Transformeur (Transformer)

Définition

Architecture de réseau de neurones fondée uniquement sur un mécanisme d’attention, qui pondère l’importance de chaque élément d’une séquence par rapport aux autres. Elle a été présentée en 2017 dans l’article « Attention Is All You Need ». Les grands modèles de langage reposent sur elle, comme de nombreuses politiques robotiques, dont ACT.

Vérifié le 28 septembre 2026 contre les références ci-dessous.

Termes liés

• Grand modèle de langage
• VLA (modèle vision-langage-action)
• Découpage en séquences d’actions

Références

• Vaswani et al., « Attention Is All You Need », 2017 (arXiv:1706.03762)
• Zhao et al., « A Survey of Large Language Models » (arXiv:2303.18223)