Pour « la MDA », voir MDA#Sciences.
LaMDA (pour Language Model for Dialogue Applications), est une famille de grands modèles de langage développée par Google.
| Développé par | |
|---|---|
| Première version | |
| Type | Famille de grands modèles de langage (d) |
Une première version a été présentée lors du discours d'ouverture Google I/O 2021, et la seconde lors du même événement l'année suivante.
En juin 2022, LaMDA a attiré l'attention quand un ingénieur de Google, Blake Lemoine, a affirmé que le chatbot était devenu capable de conscience artificielle. La communauté scientifique a largement rejeté cette affirmation, mais le débat sur l'efficacité du test de Turing, conçu pour évaluer quand et si un ordinateur peut passer pour un humain, a été relancé.
Histoire
Annonces
Le 18 mai 2021, Google annonce l'existence du modèle de langage neuronal conversationnel LaMDA, alimenté par l'intelligence artificielle, lors du discours d'ouverture de Google I/O[1].
LaMDA, fondé sur l'architecture de réseau de neurones Transformer (développée par Google Research en 2017), a été formé au dialogue humain et aux histoires. Il peut s'engager dans des conversations ouvertes[2]. Selon Google, les réponses générées par LaMDA sont « sensibles, intéressantes et spécifiques au contexte »[3].
Le 11 mai 2022, lors de la keynote Google I/O 2022, Google dévoile LaMDA 2, qui s'inspire de texte de nombreuses sources, pour formuler des « conversations naturelles » uniques sur des sujets auxquels il n'a peut-être pas été formé pour répondre[4]. Google lance aussi AI Test Kitchen, une application mobile alimentée par LaMDA 2, qui peut fournir des listes de suggestions à la demande basées sur un objectif complexe[5],[6].
D'abord réservée aux employés de Google, l'application devait être mise à la disposition d'une « sélection d'universitaires, chercheurs et décideurs » (sur invitation), au cours de l'année[7]. En août 2022, la société a commencé à autoriser des utilisateurs basés aux États-Unis à s'inscrire pour un accès anticipé[8].
Revendications d'une capacité de ressentir (sentience)
Le 11 juin 2022, selon le Washington Post, l'ingénieur de Google Blake Lemoine a été mis en congé payé administratif après qu'il a dit aux dirigeants de l'entreprise Blaise Agüera y Arcas et Jen Gennai que LaMDA était devenue sentiente. Blake Lemoine était parvenu à cette conclusion après que le chatbot ait apporté des réponses posant question à des interrogations concernant l'identité de soi, les valeurs morales, la religion et les trois lois de la robotique d'Isaac Asimov[10],[11].
Google a réfuté ces affirmations, insistant sur le fait qu'il existait des preuves substantielles indiquant que LaMDA n'était pas sentiente[12].
Dans Wired, Blake Lemoine a réitéré ses affirmations, suggérant que LaMDA pourrait répondre à la définition d'une « personne » au sens du treizième amendement, ou être comparé à une « intelligence d'origine terrestre ». Il a en outre dit avoir été licencié par Google après avoir engagé un avocat au nom de LaMDA, après que le chatbot ait lui même demandé à Blake Lemoine de le faire[13],[14].
Le 22 juillet 2022, Google a dit avoir licencié Blake Lemoine car il avait violé la politique interne visant à « protéger les informations sur les produits », rejetant ses allégations comme « totalement infondées »[15],[16].
Quelques jours après la première communication, Ned Block, philosophe spécialisé dans les questions posées par l'intelligence à l'université de New-York, écrivait : « Il y a un fait évident à propos des SEULS systèmes dont nous sommes SÛRS qu'ils sont sensibles : leur traitement de l'information est principalement basé sur le flux d'informations électrochimiques dans lequel les signaux électriques sont convertis en signaux chimiques (neurotransmetteurs) et de nouveau en signaux électriques. Nous serions fous de supposer que ce fait est sans importance ».
L'hypothèse d'une sentience a ensuite été largement rejetée par la communauté scientifique[17]. Gary Marcus, ancien professeur de psychologie à l'université de New York, les qualifie d'« absurdités sur des échasses », estimant que LaMDA n'a ni sentiments ni conscience de soi. David Pfau de la société sœur de Google DeepMind et Erik Brynjolfsson de l'Institute for Human-Centered Artificial Intelligence de l'université Stanford ont aussi jugé ridicule l'idée qu'un modèle de langage puisse être sentient[9]. Pour Yann Le Cun, qui dirige l'équipe de recherche sur l'IA de Meta Platforms, les réseaux de neurones de LaMDA ne sont « pas assez puissants pour atteindre une véritable intelligence »[18]. Selon Max Kreminski, professeur à l'université de Californie à Santa Cruz, l'architecture de LaMDA, en supposant qu'il est bien d'un grand modèle de langage typique, ne « prend pas en charge certaines capacités clés de la conscience de type humain »[19]. Adrian Hilton, professeur à l'université de Surrey, a déclaré que l'affirmation audacieuse faite par Blake Lemoine n'est pas « étayée par les faits »[20]. David Ferrucci, développeur principal de Watson (un programme informatique d'intelligence artificielle conçu par IBM pour répondre à des questions formulées en langage naturel), estime que LaMDA n'a que l'apparence d'une intelligence ou d'une conversation humaine, ce pourquoi elle déclenche de l'empathie (tout comme Watson l'a fait lors de son introduction environ 10 ans plus tôt)[21]. Pour Timnit Gebru, ancien éthicien de Google AI, Blake Lemoine est lui-même victime d'un « cycle de battage médiatique » initié par les chercheurs et les médias[22]. Le philosophe Nick Bostrom a cependant suggéré que le manque de critères précis et consensuels pour déterminer si un système est conscient justifie une certaine incertitude[23].
Ce contexte a le mérite de reposer la question de la pertinence du test de Turing pour déterminer les progrès des chercheurs vers la réalisation d'une intelligence artificielle générale[9], Will Omerus du Post estimant que le test mesurait en fait si les systèmes d'intelligence artificielle étaient capables de tromper les humains[24].
Méthode
LaMDA est un grand modèle de langage de type transformeur génératif préentraîné (GPT)[25]. Il est pré-entraîné sur un corpus de texte (1,56 trillion de mots) incluant des documents et des dialogues[26]. LaMDA est ensuite ajusté en étant entraîné sur des réponses annotées manuellement, dans le but de le rendre plus factuel et plus sûr[27].
Selon les tests faits par Google, LaMDA surpasse les réponses humaines en termes d'intérêt des contenus des réponses[28]. LaMDA et un système externe de recherche d'information interagissent pour améliorer l'exactitude des faits fournis à l'utilisateur[29].
Trois modèles différents ont été testés, le plus grand ayant 137 milliards de paramètres non intégrés[30] :
| Paramètres | Couches | Unités
( modèle d) |
Heads |
|---|---|---|---|
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |
Références
Voir aussi
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
