Cette fic est écrite dans le cadre de la 91ème nuit écriture du FoF (Forum Francophone) pour le thème "Question". Le FoF est un forum regroupant tous les francophones de ffnet où l'on peut discuter, demander de l'aide ou s'amuser entre nous. Le lien se trouve dans mes favoris. Rejoignez-nous !

Note de l'auteur : Ce thème est tombé juste après que j'ai regardé l'épisode de la saison 3 où ils se demandent si la Machine peut tuer quelqu'un qui l'empêcherait de mener sa mission à bien. Et j'avais déjà eu avec mon homme la conversation du "La Machine est-elle codée selon les lois d'Asimov ?". Le combo des deux... Ça donne ça ! Enjoy !

- Il faut qu'on parle, Nathan.

Nathan haussa les sourcils de stupéfaction. Depuis le début du projet, ses conversations avec Harold se comptaient sur les doigts de la main. Ils savaient ce qu'ils devaient faire : Une Machine omnisciente prévue pour déjouer tous les complots d'attentats terroristes. Ils s'étaient mis d'accord dès le départ sur la façon de le faire : Une boite opaque, fermée et incontrôlable qui, une fois livrée, se contenterait de fournir les informations nécessaires concernant les complots, sans possibilité d'être influencée ou manipulée. Mais, vu l'air préoccupé d'Harold, il lui paraissait évident qu'ils avaient oublié certains aspects ou détails.

- Je t'écoute. Qu'est-ce qu'il y a ?

- Je me posais… Une question. Sur les règles d'Asimov.

Ça avait été une de leurs toutes premières discussions, au lancement du projet. La Machine devait-elle être codée en respectant les trois lois de la Robotique décrites par Asimov ? Une seule question, dont la réponse avait régi toute leur manière de fonctionner.

Ils avaient été forcés de constater, depuis qu'ils avaient commencé à programmer étant enfants, que ces trois lois étaient le meilleur des garde-fous pour une intelligence artificielle. Règle n°1 : La Machine doit tout faire pour protéger la vie des humains. Règle n°2 : La Machine doit obéissance aux humains, sauf si cela l'oblige à enfreindre la première règle. Règle n° 3 : La Machine doit tout faire pour protéger sa propre existence, sauf si cela l'oblige à enfreindre l'une des deux premières règles. Trois règles, trois lois, qui garantissaient que cette Machine ne leur échapperait jamais, qu'elle remplirait éternellement les fonctions pour lesquelles elle avait été créée.

- Quoi, tu ne veux plus les appliquer ? s'étonna Nathan.

- J'ai un doute. Sur la pertinence de ces règles dans ce cas précis. La règle une est fondamentale, bien sûr, c'est la raison d'exister de la Machine. La règle deux nous a posé question mais nous sommes d'accord sur le fait que ces instructions seront codées, qu'elle ne pourra plus recevoir d'autres ordres de l'extérieur une fois finie. Et la trois garantit son existence. Sur le papier ça semble idéal. Mais j'ai commencé à le coder et… J'ai peur qu'il y ait des failles. Plusieurs cas particuliers, plusieurs exceptions à gérer. Je peux le régler en rajoutant quelques instructions dans le code, quelques si ou sinon mais je voulais en parler avec toi d'abord. Pour en être sûr. Déjà la première règle. Elle me paraît bancale. La Machine est créée pour déjouer des actes terroristes, mais à quel prix ? Nous savons tous les deux ce qui va arriver aux criminels qu'elle va repérer. Nous savons que chacun des numéros qu'elle va sortir sera condamné à finir sa vie prématurément suite à une intervention des forces spéciales, ou trop longuement dans une cellule de Guantanamo. Alors je sais ce que tu vas me répondre. Il s'agit de criminels, de terroristes qui s'apprêtaient à commettre des meurtres de masse. D'accord. Mais ça n'empêche pas que la première règle ne tient pas. Elle ne protégera pas la vie des humains. Elle protégera la vie des innocents.

- Et alors ? s'étonna Nathan. Ça, ça se code facilement, de prioriser la vie des personnes non-incriminées !

- Oui. Mais je n'ai pas fini. La règle numéro deux. Obéir à toutes ses instructions, sauf si ça l'oblige à enfreindre la première règle. Et comme elle ne recevra pas d'ordre extérieur, ça pourrait être simple, invisible même, puisque son seul et unique ordre sera de prévenir les attentats terroristes pour protéger les innocents. Sauf que ça ne l'est pas. On le sait tous les deux, ce n'est pas possible. La Machine doit être codée pour prévenir les attentats et outrepasser les projets de meurtres isolés. C'est un impératif. Elle doit décider quels cas sont pertinents et lesquels ne le sont pas, elle doit prévenir les attentats parce que c'est ce qu'on lui demande, et tant pis si cela implique de laisser quelqu'un se faire tuer à l'autre bout de la ville. Elle doit obéir aux ordres et tant pis si ça implique de laisser mourir des innocents.

- On pourrait… Inverser l'ordre des lois ? proposa Nathan. L'algorithme se tiendrait dans l'autre sens. Obéir à l'ordre de déjouer des attentats, puis sauver des humains.

- Ça pourrait se tenir comme ça, oui. Mais il reste la troisième loi. Protéger sa propre existence, sauf si ça doit l'empêcher de sauver des vies. Cette règle chamboule tout. La raison d'être de la Machine est de sauver des vies ! Alors imaginons… Imaginons que quelqu'un veuille la débrancher. Et que le seul moyen qu'elle aurait de se protéger soit d'envoyer son numéro, de convaincre le gouvernement d'arrêter cette personne. Que doit-elle faire ? Se laisser éteindre par le premier venu ?

- Ça n'arrivera pas, elle sera à l'abri, protégée…

- Imagine que ça arrive ! s'exclama Finch. Imagine qu'elle soit en danger ! Qu'elle ait à choisir entre sa propre existence ou celle d'un homme ? Qui choisit-elle ?

Nathan resta immobile quelques instants avant d'acquiescer lentement.

- Sa raison d'être est de sauver des vies. Si elle est éteinte… Elle ne le pourra plus. Ça ne doit pas arriver. Son existence est primordiale. Ce qui implique…

- Ce qui implique de faire passer la troisième loi au-dessus des deux autres.

Nathan n'ajouta rien de plus, mais Finch savait qu'il était d'accord. Qu'il avait compris ce que cette décision impliquerait. La Machine doit protéger des vies. Même si cela implique d'en laisser mourir d'autres. Pour protéger des vies, la Machine doit exister. Même si cela implique de tuer les personnes qui voudraient l'en empêcher.

Les reviews permettent de savoir ce que vous en avez pensé !