Avec une promesse forte de créer rien de moins qu’une « nouvelle espèce sur terre », sous forme d’objets logiciels à formes humaines dynamiques ultra réalistes, le manager du programme NEON annonce des capacités de simulation des émotions, des temps de réactions et des niveaux de réponse jamais encore atteints. Cette promesse est en fait très exagérée par rapport aux capacités actuelles des personnages de NEON, selon le manager lui-même et selon ceux qui ont pu les approcher de près au CES de Las Vegas 2020. Mais derrière le coup de publicité du fabricant, il semble nécessaire de re-situer sa démarche dans un contexte historique et de voir les possibles risques pour l’espèce humaine, engendrés par ce type de programme.

 

NEON, dans la lignée des fondateurs de la cybernétique

Les fondateurs de la cybernétique avaient déjà pour ambition en 1947 de créer une réplique «mécaniste » puis « mécatronique » de l’être humain. Avec le développement des technologies depuis lors, cette ambition est toujours plus vivace et actuelle. Et il est possible d’imaginer de nombreuses applications de ces machines « à formes humaines » du programme NEON : aide au choix, conseil, support à l’utilisation d’objets matériels et immatériels, aide à la personne, défouloir, simulations, production de fictions et de jeux vidéos, … Au-delà de ces applications lucratives – quand elles seront techniquement au point – les possibles risques de ce type de programme sur l’évolution de l’espèce humaine doivent nous interroger.

 

Dépasser l’admiration béate de la prouesse technologique

En allant vers plus de réalisme et mimétisme, ces algorithmes personnifiés vont favoriser les modifications en profondeur de nos comportements psycho-affectifs et sociaux. Ils pourraient à terme – c’est une hypothèse parmi d’autres – faire évoluer notre espèce de façon irréversible.

 

Pourquoi et comment cela pourrait-il se réaliser ? 

Les modifications ont déjà commencé avec par exemple l’externalisation de notre mémoire à travers Internet, l’usage de Wikipedia, du GPS et de montres et autres objets connectés, ainsi que la forte influence des réseaux sociaux sur nos vies. Les modifications des comportements humains, par exemple la prise de décision, ont aussi commencé comme le montrent des études scientifiques et des faits avérés, par exemple l’influence des réseaux sociaux dans les choix opérés par les électeurs américains lors des élections de 2016. Cette tendance va s’accélérer avec des programmes comme NEON et sous l’effet de toujours plus d’interactions entre humains et machines. Il est frappant de constater que les éditeurs et constructeurs de machine n’abordent jamais ce point, comme les éditeurs de plateformes de réseaux sociaux ont longtemps exclu la modération des contenus de leurs champs de compétences. Il est tellement plus simple et plus rentable de se positionner uniquement sur la technologie.

Avec l’augmentation importante des interactions humains / machines, nous risquons d’observer une sur-stimulation « d’accordage affectif », appelé également résonance émotionnelle, entre nous humains, et des machines à formes humaines. Cela est par définition un leurre car une machine n’a pas d’émotions. Il ne peut donc pas y avoir de phénomène de résonance émotionnelle au sens strict du terme. « L’accordage affectif » conduit deux humains à rentrer en relation de partage affectif. Ce phénomène s’opère, dans le sens humain –> machines également, avec des objets, par exemple les robots démineurs avec les soldats qui en ont la charge ou encore les robots de compagnie ou autre personnages virtuels. Dans certains pays comme le Japon, les relations affectives humains / machine sont même assez développées. Et la religion animiste prête par exemple des âmes aux objets.

Il n’y aurait donc rien de grave en soi a priori, à développer un accordage affectif avec les personnages de NEON ? Sauf qu’avec la sophistication de ces machines et leur diffusion à très grande échelle, les humains feraient face à différents risques.

 

Des risques identifiés pour les humains

Pour n’en citer que trois :

1. Les humains pourraient préférer majoritairement les interactions avec les machines plutôt qu’avec d’autres humains, développant ainsi une possible intolérance généralisée à la frustration. En effet, les machines, sauf programmation contraire par leurs concepteurs, génèreraient en permanence les stimuli les plus en phase avec les attentes des cerveaux des utilisateurs, qui deviendraient ainsi, possiblement, les « objets » des machines.

 

2. Pourquoi les développeurs de ces machines ne détiendraient-ils pas à terme un pouvoir sur les humains, « psycho affectivement » parlant, en « créant » et en « détenant » une partie de leur environnement social ? Les développeurs de Facebook et consorts n’ont-ils pas réussi à capter une grande partie de notre attention en moins de 15 ans ?

 

3. L’humain se détacherait de son humanité en diminuant les interactions humaines au profit des interactions avec des machines. Sa représentation d’un humain serait alors majoritairement alimentée par les machines. L’humain pourrait confondre ce qui distingue l’humain de la machine, ce qui est un des objectifs sous tendus par le programme NEON. Mais la relation émotionnelle que pourrait établir un humain avec une machine, ne délivrant que des simulations d’émotions humaines, est par nature forcément limitée. L’écart entre les perspectives attendues et les perspectives réelles pourrait créer une dissonance cognitive à très grande échelle qui ne pourrait pas être résolue. Comment les humains pourraient-ils vivre au quotidien avec un tel mal-être ?

 

Et si nous utilisions NEON comme un éclairage salutaire ?

Depuis plusieurs décennies, de nombreux chercheurs, scientifiques, psychologues comme Serge Tisseron, auteurs de science fiction comme Alain Damasio, philosophes comme Bernard Stiegler, ou sociologues comme Dominique Cardon ont déjà travaillé et alerté sur ces questions des rapports humains et machines. Avec les développements des technologies, ces risques se précisent de plus en plus au fil du temps, mais aucune institution ne semblent actuellement en mesure d’instaurer une réflexion et une modération dans la conception et dans les usages de ces machines à formes humaines. Or l’enjeu du devenir de l’humanité est réel et nous ne pouvons désormais plus dire que nous ne savions pas. Le pire n’est certes jamais sur, mais ne convient-il pas de devenir plus vigilant, surtout quand les alertes augmentent en fréquence et en intensité depuis plusieurs décennies maintenant, à l’image de ce qui s’est passé avec le changement climatique depuis 20 ans ?

 

Pour préserver notre part d’humanité !

Au lieu de nous opposer à ce « progrès » – ce qui paraît difficile – comment pourrions-nous utiliser l’alerte supplémentaire que représente NEON pour parer les risques de possible déshumanisation de notre espèce et agir en conséquence pour maintenir et développer l’humanité qui est en nous.

 

 

@JérômeJubelin • fondateur-président de UMANAO® éditeur du dispositif éthique innovant UMANAO EXPERIENCE® , fruit de recherche et développement en sciences cognitives comportementales sur la capitalisation d’expérience chez l’humain pour développer ses mécanismes d’adaptation, soit en situation professionnelle, soit en situation d’inclusion. A titre personnel, son engagement s’exprime, en plus du digital pour tous, au sein du mouvement des Entrepreneurs d’Avenir et comme président de l’Association Lyonnaise d’Ethique Economique et Sociale. La vocation de l’ALEES est de promouvoir la pratique de l’éthique, véritable discipline de questionnement par rapport à ses valeurs, dans le champ économique et social.

En savoir plus sur Jérôme Jubelin
En savoir plus sur UMANAO®
suivre UMANAO sur twitter
suivre UMANAO sur Linkedin

 

#TechForGood #SeRéinventer #SeMétamorphoser

Contribution initialement publiée sur  Le Digital pour tous à l’aimable invitation de @PPC dans le cadre du podcast #BonjourPPC dont Jérôme Jubelin est membre de a #RedacRoom