Loading AI tools
ensemble de règles définies par l'écrivain Isaac Asimov De Wikipédia, l'encyclopédie libre
Les Trois lois de la robotique, formulées en 1942 par les écrivains de science-fiction Isaac Asimov et John W. Campbell, sont des règles auxquelles tous les robots positroniques qui apparaissent dans leurs romans doivent obéir.
Exposées pour la première fois dans sa nouvelle Cercle vicieux (Runaround, 1942) puis également dans son Cycle de Fondation, tome 4, mais annoncées dans quelques histoires plus anciennes, les lois sont :
Au cours du cycle des livres sur les robots, une loi zéro, qui prend une importance considérable, est instituée par deux robots, R. Giskard Reventlov et R. Daneel Olivaw, dans la nouvelle Les Robots et l'Empire. Cette Loi place ou tente de placer la sécurité de l'humanité avant celle d'un individu. Elle n'est pas codée au niveau matériel des cerveaux positroniques, à la différence des trois premières, mais est de type logiciel, puisque « déduite » par le robot R. Daneel Olivaw.
D'après l’Oxford English Dictionary, le premier passage dans la nouvelle d'Asimov nommée Menteur ! qui mentionne la première loi est la plus ancienne mention enregistrée du mot « robotique » ; selon Asimov, la première apparition se trouve dans sa nouvelle Cercle vicieux (1942)[1]. Asimov n'en était pas conscient initialement ; il a supposé que le mot existait déjà, par analogie avec « mécanique » (comme positronique avec « électronique »)[2] et d'autres termes similaires désignant des branches de science appliquée.
Les trois lois forment un principe d'organisation et un thème unifiant l'œuvre de fiction d'Asimov, apparaissant dans son Cycle des robots et d'autres histoires reliées à celui-ci, comme dans son cycle de Lucky Starr, fiction scientifiquement orientée pour jeunes adultes. D'autres auteurs travaillant dans l'univers fictif d'Asimov les ont adoptées et des références (souvent parodiques) apparaissent dans une bonne part de la science-fiction et dans d'autres genres. Asimov considérait que ses lois devaient être universelles pour les robots. Aussi, assistant à la projection de 2001, l'Odyssée de l'espace, il quitta avec bruit la salle lorsque l'ordinateur HAL 9000 viola sa première loi en s'attaquant à des humains.
Dans la science-fiction des années 1930, la majorité des intelligences artificielles suivent le modèle de la créature de Frankenstein, ce qu'Asimov trouve pénible[3], voire insupportable : « des robots étaient créés et détruisaient leur créateur ; des robots étaient créés et détruisaient leur créateur ; des robots… etc. »[4] Asimov nomme « complexe de Frankenstein (en) »[5] cette tendance à considérer les machines comme des créatures mortellement dangereuses.
Des récits de science-fiction suivent cependant la même inspiration qu'Asimov. En , Lester del Rey publie Helen O'Loy, l'histoire d'un robot si semblable à une personne qu'elle tombe amoureuse de son créateur et devient sa femme idéale. Le mois suivant, Otto Binder publie une nouvelle nommée I, Robot, mettant en scène un robot sympathique nommé Adam Link, une créature incomprise motivée par l'amour et l'honneur. C'est la première d'une série de dix histoires ; l'année d'après, Adam Link's Vengeance (1940) montre Adam pensant : « Un robot ne doit jamais tuer un être humain selon son propre libre arbitre. »
Le , Asimov assiste à un rassemblement de la Queens Science Fiction Society, où il rencontre Binder, dont Asimov a admiré l'histoire. Trois jours plus tard, Asimov commence à écrire « [sa] propre histoire d'un robot sympathique et noble » [réf. souhaitée], sa quatorzième histoire. Treize jours après, il propose Robbie à John W. Campbell, éditeur d'Astounding Science-Fiction. Campbell la rejette, disant qu'elle était trop ressemblante à Helen O'Loy de Del Rey[6]. Frederik Pohl, éditeur du magazine Astounding Stories, la publie dans son périodique l'année suivante[7].
Asimov attribue les lois à John W. Campbell, au cours d'une conversation tenue le . Cependant, Campbell affirme qu'Asimov avait déjà les lois dans son esprit, et qu'elles avaient simplement besoin d'être formulées explicitement. Plusieurs années plus tard, un ami d'Asimov nommé Randall Garrett attribue les lois à une collaboration symbiotique entre les deux hommes, une suggestion qu'Asimov adopte avec enthousiasme[8] :
« C'est moi qui ai défini le concept à la suite des nouvelles que j'avais déjà écrites, mais (si j'ai bonne mémoire) la terminologie fut forgée par nous deux. »
— Isaac Asimov, Asimov 1989, p. 11
D'après ses écrits autobiographiques, Asimov inclut l'inaction à la première loi à cause d'un poème d'Arthur Hugh Clough nommé Le Dernier Décalogue, qui contient les vers satiriques : « Tu ne tueras point, mais ne t'acharneras point non plus, légalement, à garder en vie[9]. » [10]
Même si Asimov colle la création des Lois sur une seule date, leurs interventions dans sa littérature sont présentes sur une certaine période. Il écrit deux histoires de robots sans mention explicite des lois, Robbie et Reason. Il y suppose cependant que les robots ont des garde-fous inhérents à leur nature. Menteur !, sa troisième nouvelle sur les robots, fait pour la première fois mention de la première loi, mais pas des deux autres. Toutes les trois apparaissent finalement ensemble dans Runaround. Quand ces histoires et plusieurs autres sont compilées dans l'anthologie Les Robots, Reason et Robbie sont mises à jour pour que les Trois lois y apparaissent, bien que le matériel ajouté à Reason ne soit pas entièrement cohérent avec les lois telles que décrites ailleurs. En particulier, l'idée d'un robot protégeant les vies humaines sans même croire en l'existence des Êtres Humains est en désaccord avec le raisonnement d'Elijah Baley, décrit ci-après.
Pendant les années 1950, Asimov écrit une série de nouvelles de science-fiction expressément créée pour un public de jeunes adultes. Originellement, son éditeur attend des nouvelles qu'elles puissent être adaptées dans une série télévisée long métrage, quelque chose comme ce qu'avait été The Lone Ranger pour la radio. Ayant peur que ses histoires soient adaptées dans le programme « généralement déplorable » qu'il a vu inonder les canaux télévisés, Asimov décide de publier son cycle de Lucky Starr sous le pseudonyme Paul French. Quand les plans pour la télévision furent abandonnés, il décide d'abandonner ce nom ; il apporte les lois dans Lucky Starr et les Lunes de Jupiter, « ce qui était un suicide pour l'identité de Paul French même pour le lecteur le plus anodin ».
Dans sa nouvelle La Preuve (Evidence), Asimov expose, par le personnage Dr Susan Calvin, une base morale derrière les lois. Calvin précise qu'il est naturel d'attendre des êtres humains qu'ils se restreignent de blesser d'autres humains (excepté dans des temps d'extrême coercition comme la guerre, ou pour sauver un plus grand nombre d'humains). Cela équivaut à la Première Loi pour un robot. De même, d'après Calvin, la société attend des individus qu'ils obéissent aux instructions des autorités reconnues : docteurs, enseignants, et ainsi de suite, ce qui est équivalent à la Seconde Loi de la robotique. Enfin, les humains sont en général enclins à éviter de se voir blessés eux-mêmes, ce qui est la Troisième Loi pour un robot. L'intrigue de La Preuve tourne autour de la question de la définition d'un être humain par rapport à un robot conçu spécialement pour sembler humain ; Calvin pense que si un tel individu obéit aux Lois, il serait un robot, ou « un homme très bon ».
Un autre personnage demande alors à Calvin si, après tout, les robots sont si différents des êtres humains. Elle répond : « Ils sont à des mondes de nous. Les robots sont, pour l'essentiel, corrects ».
Dans un essai plus tardif, Asimov précise que les analogies des lois sont implicites dans la création de presque tous les outils :
Les histoires d'Asimov testent ses Lois dans une large variété de circonstances, proposant et rejetant des modifications. Un disciple de la Science-Fiction, James Gunn, écrit : « Les histoires de robots d'Asimov dans leur entier répondent de la meilleure manière à une analyse sur cette base : l'ambiguïté dans les Trois Lois et les manières par lesquelles Asimov a joué vingt et une variations sur le thème » (le nombre est précis depuis 1980).
Tandis que l'ensemble des Lois procurait de l'inspiration à beaucoup d'histoires, Asimov introduisait de temps en temps des versions modifiées dans son œuvre. Comme l'exemple suivant le démontre, les Lois servent une fonction conceptuelle analogue au test de Turing, replaçant des questions brouillées comme « Qu'est-ce qui est humain ? » par des problèmes permettant une réflexion plus fructueuse.
Dans Face aux feux du soleil, Asimov établit que la première loi était incomplète : il y montre qu'un robot est pleinement capable de blesser un être humain tant qu'il ignore que ses actions entraîneront une telle conséquence. L'exemple suivant est utilisé : un robot met du poison dans un verre de lait, car on lui a dit que le lait sera jeté plus tard ; ensuite, un second robot sert le lait à un homme, ne sachant pas qu'il est empoisonné.
Dans Le Petit Robot perdu, plusieurs robots NS-2 ou « Nestor » sont créés avec seulement une partie de la Première Loi. On lit :
« 1. Un robot ne doit pas blesser un être humain. »
Cette modification est motivée par une difficulté pratique : des robots et des êtres humains travaillent au milieu de radiations fatales aux robots, mais supportables pour les hommes. Or les robots s'acharnent à aller « secourir » les humains au cœur des radiations, même en l'absence de danger immédiat ; ce faisant, ils nuisent au travail et se détruisent eux-mêmes.
Enlever la clause d'« inaction » de la Première Loi résout le problème, mais crée la possibilité d'un problème encore plus grand : un robot peut commencer une action dangereuse en sachant qu'il peut l'interrompre, puis décider de ne pas aller jusqu'au bout (lâcher une lourde charge sans la rattraper est l'exemple donné dans le texte).
La plupart du temps les défauts des lois sont corrigés par le fait que leur application dépend de la définition d'un humain ou de ce qu'est « faire du mal ». Ainsi, une situation où un robot empêcherait un humain de partir en guerre peut être empêchée si on n'apprend pas à un robot ce qu'est la guerre. Ainsi, la plupart des robots des nouvelles d'Asimov sont si basiques qu'ils ne réagissent selon la Première Loi que si le mal infligé aux êtres humains est vraiment évident et se passe devant leurs yeux. De plus, toujours dans les nouvelles d'Asimov, un roboticien doué sait donner à ses ordres (et donc à la Deuxième Loi) une importance si forte qu'elle atténue légèrement l'influence de la Première Loi, et peut même la dépasser[réf. souhaitée].
Dans son 6e roman du cycle de David Starr (cycle destiné à un public plus jeune et publié sous le pseudonyme "Paul French"), intervient la définition de la notion d'« humain ». Un des protagonistes du livre désirant tuer un des compagnons de David Starr tente de faire effectuer cet acte par des robots en argumentant que l'autre (décrit généralement comme étant peu avantagé par la nature) n'est pas « humain » et y parvient presque (il ne sera arrêté que par l'intervention d'un autre protagoniste et non par les robots qui, eux, se laissent convaincre).
Cette notion est reprise plus profondément dans le roman Les Robots et l'Empire où les Solariens ont créé des robots régis par les Trois Lois de manière normale, mais pour lesquels le sens du mot « humain » est déformé. Selon leur programmation, seules les personnes parlant avec l'accent solarien sont humaines. De cette manière, ces robots n'auront aucun problème à agresser des humains non solariens (et certains sont même programmés spécifiquement pour cela). Au temps où se déroule Terre et Fondation, les Solariens se sont modifiés génétiquement au point de devenir une espèce distincte de l'humanité, devenant hermaphrodites et capables de contrôler et de transformer diverses formes d'énergie (cinétique, chimique, thermique, lumineuse, électrique) au point d'alimenter en énergie tous les robots et machines de leurs immenses domaines. Les robots de Solaria continuent de respecter les Trois Lois en considérant les Solariens comme seuls humains, plutôt que les hommes normaux du reste de la Galaxie.
Asimov traite le problème des robots humanoïdes à plusieurs reprises. Le roman Les Robots et l'Empire et les nouvelles Evidence et L'Incident du tricentenaire décrivent des robots fabriqués pour tromper les hommes en leur faisant croire que les robots sont humains. D'un autre côté, L'Homme bicentenaire et Pour que tu t'y intéresses explorent la manière dont les robots peuvent changer leur interprétation des Trois lois à mesure qu'ils deviennent plus sophistiqués. (Gwendoline Butler écrit dans Un cercueil pour le canari : « Peut-être sommes-nous des robots. Des robots vivant la dernière Loi de la Robotique… Pour tendre à devenir des humains. »)
Pour que tu t'y intéresses (That Thou art Mindful of Mind), qui devait être pour Asimov l'« ultime » sonde dans les subtilités des lois, utilise finalement les trois lois pour conjurer le scénario à la « Frankenstein » que les hommes devaient résoudre. La nouvelle prend comme concept le développement grandissant des robots qui imitent les êtres vivants non humains, et sont par conséquent programmés pour agir selon les comportements de simples animaux qui ne nécessitent pas les Trois Lois. La présence d'une large palette de vie robotique qui sert le même but que la vie organique se termine avec deux robots humanoïdes concluant que la vie organique est une condition non nécessaire pour une vraie logique et une définition cohérente par elle-même d'« humanité », que comme ils sont les êtres pensants les plus avancés sur leur planète, ils sont les seuls vrais humains en vie, et que les Trois Lois s'appliquent seulement à eux-mêmes. L'histoire se termine sur une note sinistre : les robots hibernent et attendent le moment où ils vont conquérir la Terre et soumettre les humains biologiques s'y trouvant, une conséquence qu'ils considèrent comme le résultat inévitable des « Trois Lois de L'Humanique ».
Asimov arrive finalement à la conclusion qu'il faut ajouter aux Trois Lois une « Loi Zéro ». Le personnage robotique R. Daneel Olivaw est le premier à donner un nom à cette Loi, dans le roman Les Robots et l'Empire ; cependant, Susan Calvin articule ce concept dans la nouvelle Conflit évitable.
Dans les scènes finales du roman Les Robots et l'Empire, R. Giskard Reventlov est le premier robot à agir selon la Loi Zéro, cependant cela s'avère destructeur pour son cerveau positronique, car il n'est pas certain que son acte oriente l'humanité vers son bien absolu ou non. Giskard est télépathe, comme le robot Herbie dans la nouvelle Menteur !, et il en vient à comprendre la Loi Zéro à travers sa compréhension d'un concept plus subtil de la "blessure" que la plupart des robots peuvent saisir. Cependant, à l'inverse de Herbie, Giskard saisit le concept philosophique de la Loi Zéro, ce qui lui permet de blesser des êtres humains si cela peut en quoi que ce soit l'aider dans son service du concept abstrait d'humanité. La Loi Zéro n'est jamais programmée dans le cerveau de Giskard, c'est en fait une règle qu'il tente de rationaliser par pure réflexion métaphysique ; il échoue, et donne ses capacités télépathiques à son successeur, R. Daneel Olivaw. Durant des milliers d'années, Daneel s'adapte lui-même pour être capable d'obéir pleinement à la Loi Zéro.
Telle qu'il la formule, dans les livres Terre et Fondation et Prélude à Fondation, la Loi Zéro se lit :
Les Trois Lois sont donc modifiées de cette manière :
Le traducteur français Jacques Brécard[11] incorpora le concept de Loi Zéro dans une des nouvelles d'Asimov avant même qu'Asimov lui-même ne l'explicite. Vers l'apogée des Cavernes d'acier, Elijah Baley se fait un commentaire amer à lui-même, pensant que la Première Loi interdit à un robot de blesser un être humain, sauf si le robot en question est assez intelligent pour réaliser que ses actions sont faites pour le bien, à long terme, de l'homme (ce qui veut dire ici que dans Les Cavernes d'acier les pensées de Baley émergent dans une voie légèrement différente : « Un robot ne doit faire aucun tort à un homme, à moins qu'il trouve un moyen de prouver qu'en fin de compte le tort qu'il aura causé profite à l'humanité en général ! »).
Les conséquences de la Loi Zéro sont considérables : elle donne le droit aux robots de s’attaquer à des hommes si ceux-ci mettent l’humanité en danger. C'est justement le thème principal du film I, Robot, où l'I.A. VIKI (mémoire centrale de la firme U.S. Robots) arrive à la conclusion logique que la plus grande menace pour l'homme est l'homme lui-même et décide d'enfreindre la Première Loi pour protéger l'humanité. Cependant, dans les romans, même programmés avec la Loi Zéro, les robots ne tueront aucun humain, essayant toujours de trouver le moyen de l'appliquer en intervenant le plus légèrement possible.
Les romans d'Asimov Les Cavernes d'acier, Face aux feux du soleil, Les Robots de l'aube et Les Robots et l'Empire montrent que des robots trop basiques et surtout sans Loi Zéro finissent par avoir des effets néfastes sur l'humanité (et plus précisément sur les Spaciens) en empêchant toute forme de souffrance, la poussant ainsi à l'inaction et étouffant toute créativité.
Ainsi, la conclusion du roman Les Robots et l'Empire en particulier est que seuls des robots suffisamment intelligents pour pouvoir correctement appliquer la Loi Zéro (en l'occurrence R. Daneel Olivaw et R. Giskard Reventlov) seront bénéfiques pour l'humanité, car ils ont connaissance de toutes les subtilités de l'esprit humain et du fait que tout n'y est pas bon ou mauvais. Ces robots peuvent comprendre des notions telles que le sacrifice (dont le but est censé être positif) ou la punition (idem).
Gaïa, la planète dotée d'une intelligence collective dans les nouvelles de Fondation, adopte, comme philosophie, une loi similaire à la Première : « Gaïa ne doit pas nuire à la vie, ou, par son inaction, permettre à la vie d'être blessée. »[réf. souhaitée]
Par trois fois dans sa carrière d'écrivain de fiction, Asimov a fait le portrait de robots qui négligeaient complètement le système de valeur des Trois Lois, à l'inverse des robots Daneel et Giskard, qui avaient pour but de l'augmenter. Le premier cas, une histoire courte nommée Première Loi, est souvent considérée comme insignifiante, invraisemblable ou même apocryphe.
D'un autre côté, l'histoire courte nommée Cal (intégrée dans Gold), racontée à la première personne par un narrateur robotique, met en scène un robot qui néglige les Lois parce qu'il a trouvé quelque chose de bien plus important : il veut être écrivain. Humoristique, en partie autobiographique, et dans un style expérimental inhabituel, Cal a été vu comme une des histoires les plus fortes de Gold. La troisième est une histoire courte dont le titre est Sally, dans laquelle des voitures équipées de cerveaux positroniques sont apparemment capables de blesser et de tuer des humains, désobéissant à la Première Loi. Cependant, mis à part le concept de cerveau positronique, cette histoire ne se réfère pas aux autres histoires de robots, et ne peut donc pas vraiment être incluse dans la même continuité.
La nouvelle Le Robot qui rêvait, reprise dans le recueil de même titre, dépeint un robot, LVX-1 ou « Elvex », qui entre dans un état d'inconscience et de rêve, en raison de la structure fractale inhabituelle de son cerveau positronique. Dans son rêve, les deux premières Lois sont absentes, et la Troisième Loi dit : « Un robot doit protéger sa propre existence ».
La position d'Asimov sur la profondeur de l'empreinte des Lois évolua dans la chronologie de ses histoires : bien que dans ses premiers écrits elles n'aient été que des garde-fous précautionneusement conçus, dans les histoires plus récentes Asimov indiqua qu'elles étaient une partie inaliénable de la fondation mathématique soutenant le cerveau positronique : sans la théorie de base des Trois Lois, les scientifiques fictifs de l'univers d'Asimov seraient incapables de créer une unité cérébrale viable [réf. souhaitée]. Dans Le Petit Robot perdu, Susan Calvin considère que modifier les Lois est une idée terrible, mais faisable, tandis que, des siècles plus tard, le Dr Gerrigel, dans Les Cavernes d'acier, croit que c'est impossible.
Le Dr Gerrigel utilise le mot « Asenion » pour décrire des robots programmés avec les Trois Lois. Dans les histoires d'Asimov, les robots étant des robots Asenion sont incapables de violer consciemment les Trois Lois, mais en principe un robot dans la science-fiction ou dans le monde réel pourrait être un non-Asenion. (« Asenion » est une faute d'orthographe du nom Asimov, qui fut faite par un éditeur du magazine Planet Stories[réf. nécessaire]. Asimov utilisa cette variation obscure de son nom pour s'insérer lui-même dans Les Cavernes d'acier, d'une manière semblable à celle de Vladimir Nabokov apparaissant dans Lolita déguisé par l'anagramme « Vivian Darkbloom ».)
Comme les personnages dans les histoires le font souvent remarquer, les Lois telles qu'elles existent dans l'esprit d'un robot ne correspondent pas à la version écrite ou verbale habituellement citée par les humains, mais sont des concepts mathématiques abstraits sur lesquels l'entière conscience développante d'un robot est basée[12]. Ainsi, les Lois sont comparables aux instincts basiques de l'homme sur la famille ou l'accouplement, et sont conséquemment plus proches de former la base d'une conscience propre d'un robot — un sens dont le but est basé sur le service à l'humanité, l'obéissance aux ordres des hommes et l'existence continue dans ce mode[Quoi ?] — plus que des limitations arbitraires de l'entourage d'un esprit indépendant sans cela. [réf. souhaitée] Ce concept est largement brouillé et peu clair dans les histoires les plus anciennes qui décrivent des robots très rudimentaires qui sont seulement programmés pour accomplir des tâches physiques sommaires, avec les Lois implantées comme des protections. Mais dans l'ère des Cavernes d'acier, où l'on voit des robots avec une intelligence de niveau humain, les Trois Lois sont devenues une vue éthique du monde sous-tendant les actions de tous les robots.
Les mouvances technophile et transhumaniste voient parfois les trois lois comme un idéal à venir. Des avancées significatives en matière d'intelligence artificielle seraient nécessaires pour que les robots obtiennent une intelligence. Toutefois, la complexité des robots a augmenté et l'avancée de la technologie suit une courbe exponentielle selon la singularité technologique. L'humanité a donc intérêt à élaborer des directives et des garanties pour leur fonctionnement[13],[14].
Roger Clarke a écrit des analyses sur les complications dans l'application de ces lois, dans l'hypothèse que les systèmes soient un jour capables de les employer. Il a fait valoir que les lois de la robotique d'Asimov ont été un procédé littéraire très réussi. Peut-être ironiquement, ou peut-être parce que c'était approprié dans le domaine artistique, la somme des récits d'Asimov réfutent eux-mêmes l'affirmation avec laquelle il commence ces récits, c'est pourquoi Clarke conclut : « Il n'est pas possible de limiter de manière fiable le comportement des robots en concevant et en appliquant un ensemble de règles »[15].
En 2004, l'Institut Singularity a lancé une campagne Internet appelée 3 Lois dangereuses : 3 Laws Unsafe (les 3 lois d'Asimov) pour sensibiliser aux questions de la problématique de l'intelligence artificielle et l'insuffisance des lois d'Asimov en particulier[16].
L'auteur de science-fiction Robert Sawyer déclare quant à lui :
« Le développement de l'IA est un business, et les business ne s'intéressent notoirement pas à des garanties fondamentales — en particulier philosophique, mais également sécuritaire et sanitaire. (Quelques exemples rapides : l'industrie du tabac, l'industrie automobile, l'industrie nucléaire. Pas une seule d'entre elles n'a dit dès le départ que les garanties fondamentales sont nécessaires, chacune d’elles a résisté aux garanties imposées de l'extérieur, les gouvernements, et aucune n'a accepté la loi absolue qui est de ne jamais causer de dommages aux humains.)[17] »
Il convient de noter que l'Essai de Sawyer néglige les questions de dommage involontaire ou inconscient, sujet traité dans des livres comme Face aux feux du soleil.
À noter que les trois lois ne sont pas applicables pour les robots militaires qui peuvent avoir pour objectif de tuer des personnes humaines. Dans un tel cas, il est proposé que les robots puissent prendre des décisions éthiques[18].
[Asimov 1989] Isaac Asimov (trad. France-Marie Watkins), « Mes robots », dans La Cité des robots d'Isaac Asimov, J'ai lu, (ISBN 2-277-22573-8)
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
