Un «vaccin» algorithmique pourrait empêcher la manipulation de l'IA | Ère de l'information


Est-ce un panneau d'arrêt ou un panneau de limitation de vitesse? Vous et moi pouvons dire, mais peut une machine? Photo: Shutterstock

Les techniques d'apprentissage automatique (ML) enseignent à une nouvelle génération de véhicules autonomes à lire et à respecter les panneaux de signalisation – mais que se passerait-il si une personne malveillante recyclait une voiture autonome en croyant qu'un panneau d'arrêt rouge est vraiment un panneau de limitation de vitesse bordé de rouge?

Le risque de manipulation malveillante d'algorithmes de ML est un «très gros problème très important qui doit être résolu très rapidement», a déclaré le Dr Richard Nock, chercheur en intelligence artificielle. Ère de l'information.

«L'apprentissage automatique se développe à l'échelle de la société et les algorithmes ont accès à des problèmes de données et à des sources qui étaient auparavant inaccessibles à d'autres techniques.»

Nock, qui dirige le groupe d’apprentissage automatique au sein de la branche Data61 du CSIRO, a travaillé avec son équipe pour développer une forme de «vaccin» mathématique qui, selon lui, contribuerait à protéger les systèmes (IA) des vulnérabilités de leurs algorithmes centraux.

Les humains ont été témoins à la fois de stupéfaction et de peur alors que l'IA s'attaquait à tout, de et vers.

D'autres mettent en garde sur les problèmes de, et sur la nécessité d'une technologie qui s'intègre rapidement à toutes sortes de nouveaux produits.

Ces questions, ainsi que d’autres questions émergentes, ont trait à l’éthique de l’IA, avec Standards Australia qui a récemment lancé un débat sur la valeur potentielle des normes australiennes et mondiales en la matière.

Ces problèmes, ainsi que d’autres problèmes émergents liés à l’intelligence artificielle, ont conduit à des recherches approfondies sur les moyens d’améliorer la prévisibilité des modèles de blanchiment de capitaux et de les protéger contre les erreurs d’apprentissage qui pourraient un jour avoir des conséquences destructives, voire mortelles.

«Nous devons nous assurer que les algorithmes sont plus robustes dans leurs décisions», a expliqué Nock, «afin que, lorsque l'entrée soit légèrement modifiée – d'une manière qui soit perceptible par un humain – nous devons nous assurer qu'elle le soit également perceptible par une machine.

Anticiper un adversaire

Le document – présenté ce mois-ci à Los Angeles – décrit un cadre qui utilise un certain nombre de techniques pour évaluer la «nocivité» des données alimentées par un algorithme ML.

Ces algorithmes sont «formés» à l’aide d’un grand ensemble de photos ou d’autres données, qui sont analysées et regroupées en catégories en fonction des différences que l’algorithme perçoit entre les données.

Cela a entraîné un nombre croissant de comportements inattendus, par exemple lorsqu'un algorithme pour détecter les mélanomes était utilisé, ou lorsque le chat de Tay AI de Microsoft après avoir publié des milliers de tweets inappropriés a été manipulé.

Un apprentissage sans entraves peut également avoir du mal à identifier des biais dans les données pouvant générer des modèles d'IA biaisés – comme Amazon lors d'un incident très médiatisé dans lequel un outil de recrutement s'est révélé biaisé à l'égard des femmes en raison de la façon dont il a été formé.

Ces résultats sont apparus parce que les algorithmes sont conçus pour identifier des motifs dans toutes les données qu’ils reçoivent – mais le mécanisme de «formation contradictoire» de l’équipe Data61, qui pourrait être intégré à des modèles d’IA, a été conçu pour les sensibiliser davantage à la qualité et à la qualité. cohérence des données qu’ils reçoivent.

En développant l'algorithme, «nous avons juste essayé d'imaginer ce qu'un adversaire pourrait faire», a expliqué Nock, comparant ce processus à la manière dont les entreprises de sécurité des données utilisent des preuves mathématiques pour explorer les moyens de compromettre les mécanismes de cryptage.

"Nous l'avons modélisé en mathématiques et publié la conception la plus générale pour un adversaire – nous pouvons donc nous assurer que l'algorithme sera résistant à ce type d'adversaire."

Enseigner la légitime défense

Il est difficile d’anticiper chaque type de manipulation potentielle, mais en décrivant un comportement algorithmique déviant en mathématiques, l’équipe estime qu’elle peut empêcher les données erronées et malveillantes de fausser les modèles d’apprentissage créés.

La méthode permettra aux modèles ML d’évaluer leurs prédictions sur la base des données fournies à ce jour; S'il viole des règles ou des paramètres relatifs à leurs comportements potentiels, les algorithmes peuvent se corriger automatiquement.

En développant des ensembles de données délibérément conçus pour tromper l’algorithme, il est possible d’évaluer les résultats inattendus – et l’algorithme appris à repérer ces résultats plutôt que d’agir en conséquence.

"Nous demanderons à l'ordinateur," explique Nock, de se former lui-même – non pas sur les données initiales, qui peuvent être faciles à classer, mais sur des données classifiées – ce qui est beaucoup plus difficile, car elles ont été conçues pour tromper la machine. "

"Si nous le faisons de manière très spécifique, la machine sera plus robuste."

Alors que les êtres humains dépendent de plus en plus de ML pour toutes sortes d'applications, les questions d'équité et de précision seront cruciales – et Nock pense que le cadre développé par son équipe constituera une étape concrète pour aider AI à surveiller sa propre expansion.

"Vous pouvez imposer à votre algorithme d'être juste même lorsqu'il est entraîné sur des données biaisées", a expliqué Nock, "ou vous pouvez concevoir le système pour qu'il soit juste dès le début, de sorte que vous n'ayez pas à l'ajouter par la suite."

«Je suis absolument certain que, pour bon nombre de ces problèmes, il y aura bientôt des solutions concrètes.»