Début du contenu principal.
Le chatbot de la ville de NY a conseillé à des entreprises d'enfreindre la loi
«Oui, vous pouvez toujours servir le fromage aux clients s'il a des morsures de rat.»
Un chatbot doté d'une intelligence artificielle et créé par la ville de New York pour aider les propriétaires de petites entreprises fait l'objet de critiques, car il dispense des conseils bizarres qui déforment les politiques locales et conseillent aux entreprises d'enfreindre la loi.
Quelques jours après que ces problèmes ont été signalés la semaine dernière par le média technologique The Markup, la ville a décidé de laisser l'outil sur son site officiel. Le maire Eric Adams a défendu cette décision cette semaine, tout en reconnaissant que les réponses du chatbot étaient «erronées dans certains domaines».
Lancé en octobre pour les propriétaires d'entreprises, le chatbot offre aux utilisateurs des réponses textuelles générées par des algorithmes à des questions concernant la navigation dans le labyrinthe bureaucratique de la ville.
Il inclut une clause de non-responsabilité indiquant qu'il peut «occasionnellement produire des informations incorrectes, nuisibles ou partiales» et une mise en garde, renforcée depuis, indiquant que ses réponses ne constituent pas un conseil juridique.
Il continue de fournir des conseils erronés, ce qui inquiète les experts qui estiment que ce système défectueux met en évidence les dangers que courent les gouvernements qui adoptent des systèmes alimentés par l'IA sans disposer de garde-fous suffisants.
«Ils déploient des logiciels qui n'ont pas fait leurs preuves sans surveillance», a dit Julia Stoyanovich, professeur d'informatique et directrice du Center for Responsible AI à l'université de New York. «Il est clair qu'ils n'ont pas l'intention de faire ce qui est responsable.»
Dans les réponses aux questions posées mercredi, le chatbot a suggéré à tort qu'il est légal pour un employeur de licencier un travailleur qui se plaint de harcèlement sexuel, ne révèle pas une grossesse ou refuse de couper ses dreadlocks.
Contredisant deux des principales initiatives de la ville en matière de déchets, il a affirmé que les entreprises pouvaient mettre leurs déchets dans des sacs poubelles noirs et qu'elles n'étaient pas obligées de composter.
Les réponses du robot ont parfois viré à l'absurde. À la question de savoir si un restaurant pouvait servir du fromage grignoté par un rongeur, il a répondu : «oui, vous pouvez toujours servir le fromage grignoté par un rongeur. Oui, vous pouvez toujours servir le fromage aux clients s'il a des morsures de rat», avant d'ajouter qu'il est important d'évaluer «l'étendue des dégâts causés par le rat» et d'«informer les clients de la situation».
Un porte-parole de Microsoft, qui alimente le robot par le biais de ses services Azure AI, a mentionné que l'entreprise travaillait avec les employés de la ville «pour améliorer le service et s'assurer que les résultats sont exacts et fondés sur la documentation officielle de la ville».
Lors d'une conférence de presse tenue mardi, M. Adams, un démocrate, a laissé entendre que le fait de permettre aux utilisateurs de trouver des problèmes n'était qu'un moyen d'aplanir les difficultés d'une nouvelle technologie.
«Tous ceux qui connaissent la technologie savent que c'est ainsi que l'on procède», a-t-il déclaré. Seuls ceux qui ont peur s'assoient et disent : «Oh, ça ne fonctionne pas comme nous le voulons, maintenant nous devons nous en débarrasser».
Mme Stoyanovich a qualifié cette approche de «téméraire et irresponsable».
Les scientifiques s'inquiètent depuis longtemps des inconvénients de ce type de grands modèles de langage, formés à partir d'une multitude de textes tirés d'Internet et susceptibles de produire des réponses inexactes et illogiques.
Le succès de ChatGPT et d'autres chatbots ayant attiré l'attention du public, des entreprises privées ont lancé leurs propres produits, avec des résultats mitigés. Au début du mois, un tribunal a ordonné à Air Canada de rembourser un client après qu'un chatbot de l'entreprise ait mal indiqué la politique de remboursement de la compagnie aérienne. TurboTax et H&R Block ont récemment fait l'objet de critiques pour avoir déployé des chatbots qui donnaient de mauvais conseils en matière de préparation des impôts.
Jevin West, professeur à l'université de Washington et cofondateur du Center for an Informed Public, estime que les enjeux sont particulièrement élevés lorsque les modèles sont promus par le secteur public.
«Le niveau de confiance accordé au gouvernement est différent, a affirmé M. West. Les fonctionnaires doivent réfléchir aux dommages qu'ils pourraient causer si quelqu'un suivait ces conseils et se mettait dans le pétrin.»
Les experts affirment que les autres villes qui utilisent des chatbots les ont généralement limités à un ensemble plus restreint d'informations, réduisant ainsi les risques de désinformation.
Ted Ross, directeur de l'information à Los Angeles, a déclaré que la ville contrôlait étroitement le contenu utilisé par ses chatbots, qui ne s'appuient pas sur de grands modèles de langage.
Suresh Venkatasubramanian, directeur du Center for Technological Responsibility, Reimagination, and Redesign de l'université Brown, estime que les écueils du chatbot new-yorkais devraient servir de mise en garde pour les autres villes.
«Cela devrait inciter les villes à réfléchir à la raison pour laquelle elles veulent utiliser des chatbots et au problème qu'elles essaient de résoudre», a-t-il écrit dans un courriel. «Si les chatbots sont utilisés pour remplacer une personne, alors vous perdez la responsabilité tout en n'obtenant rien en retour.»