Comment YouTube recommandait des vidéos pour enfants aux pédophiles


YouTube est un système basé sur l’intelligence artificielle conçu pour afficher automatiquement les vidéos des utilisateurs qui ont de bonnes chances de les conserver plus longtemps sur la plate-forme. Cela a fait beaucoup parler de nous cette année. En janvier, par exemple, YouTube a optimisé son système en réponse aux critiques selon lesquelles le moteur de recommandation conduisait les utilisateurs à des vidéos de complot ou à du contenu extrémiste. Les chercheurs du Centre Berkman Klein pour Internet et la société de Harvard ont abouti à une autre conclusion troublante: le moteur de recommandation, explique-t-il, a produit des vidéos anodines de jeunes enfants – tels que des enfants nageant dans une piscine – pour des pédophiles.

J’ai parlé avec Jonas Kaiser, membre de l’équipe de Harvard qui a mis au jour le phénomène troublant, à propos du travail de son collègue et de son collègue, qui a été présenté la semaine dernière dans le L'heure de New Yorks. Kaiser et ses collègues travaillaient sur un projet sur l'utilisation de YouTube au Brésil. Dans le cadre de leurs recherches, ils ont défini des grappes de canaux, ou, comme ils les appellent, des communautés; ils identifieraient, par exemple, une communauté de chaînes créées par des passionnés de jeux vidéo.

À un moment donné au cours de leurs travaux, les chercheurs ont découvert un groupe d’une cinquantaine de chaînes de contenu sexuellement suggestif. En prenant comme point de départ les meilleures vidéos de ces chaînes, ils ont recherché quelles vidéos YouTube leur recommandait de regarder ensuite. C’est à ce moment-là qu’ils ont remarqué la tendance: le système de recommandation automatisé faisait la promotion de vidéos de jeunes enfants. J'ai demandé à Kaiser comment son équipe avait découvert cette découverte surprenante. (YouTube indique qu’il doit contribuer à protéger les enfants, notamment en mettant fin à leur capacité de vivre un flux de diffusion en direct, en désactivant les commentaires sur les vidéos avec des enfants et en limitant les recommandations relatives aux vidéos d’enfants.)

Jonas Kaiser du Centre Internet et société Berkman Klein de l’Université de Harvard. Crédit: Jonas Kaiser.

Matt Field: Vous vouliez savoir ce qui arriverait à quelqu'un qui suivait les recommandations vidéo de YouTube?

Jonas Kaiser: Nous voulions en quelque sorte reproduire ce que c’était de trébucher sur ces vidéos. Nous avons procédé en deux étapes: nous avons recherché les 20 meilleures vidéos des meilleures vidéos de ces chaînes, puis nous avons pris les nouvelles vidéos ajoutées et également celles recommandées.

Nous avons ensuite créé deux réseaux, un réseau avec les vidéos, afin de comprendre quelles sont les vidéos les plus recommandées. Nous avons ensuite regroupé les vidéos sur leurs canaux et créé un réseau basé sur ces recommandations pour comprendre quels sont les principaux canaux de ce film. contexte, et nous avons pu identifier cette communauté de chaînes composée de vidéos d’enfants…

Vous tomberiez sur une chaîne où il était clair qu'il s'agissait d'une chaîne familiale ou d'un gamin disposant de sa propre chaîne YouTube, comme si vous expérimentiez avec cela. Il y aurait trois, quatre ou cinq vidéos et la plupart des vidéos auraient au moins une centaine de visionnements, puis une vidéo aurait plus de 200 000 visionnements.

MF: Ces vidéos d'enfants ont été mises dans le flot de recommandations de personnes ayant des perversions sexuelles?

JK: De toute évidence, c’est de la spéculation. Les recommandations de YouTube sont généralement optimales pour les internautes restés sur le site, ce qui leur permet d’obtenir un contenu recommandé qui leur permettra de mieux regarder. Dans ce contexte, cela semble être, mais nous ne le savons évidemment pas, que l’algorithme de YouTube ou l’apprentissage par machine optimise fondamentalement le comportement des pédophiles.

MF: Et vous théorisez que c’est parce qu’il est inconcevable que ce genre de vidéos puisse avoir autant de vues?

JK: Deux raisons. D'une part, les vidéos elles-mêmes sont très anodines, rien ne se passe vraiment. Nous savons évidemment que certaines de ces vidéos deviennent parfois virales. Cependant, cela est peu probable dans ce contexte car ils ont été intégrés à (une) communauté de canaux très similaires et de vidéos très similaires.

Si vous veniez de tomber par hasard sur une ou deux de ces vidéos, elles ressemblent à des virus, c’est ainsi que fonctionne parfois Internet. C’est ce que nous avons souligné dans Le New York Times

La plupart de ces vidéos ou probablement toutes ne sont probablement pas illégales en soi, elles ne sont pas nécessairement sexuelles en soi. C’est vraiment le contexte créé par l’algorithme. Vous venez de voir un enfant nager dans la piscine ou quoi que ce soit, ou en train de se séparer. C’est généralement totalement innocent et vous pouvez le montrer à vos amis, à votre famille ou à tout le monde qui rit, mais si YouTube prend cette vidéo et la relie à des vidéos d’autres enfants, c’est une histoire totalement différente.

MF: L'algorithme de YouTube a par exemple décidé, par exemple, qu'une personne qui regarde une vidéo d'une femme demandant un papa à sucre veut voir des vidéos d'enfants nageant dans une piscine?

JK: C’est dans le même stade pour l’algorithme. Je pense que c’est juste de dire — ou c’était dans le même stade. Comme vous le savez, YouTube a introduit des modifications. Je ne sais pas à quoi ressemblera le même réseau maintenant. En fin de compte, c’est toujours à l’utilisateur de décider s’il veut aller dans ce trou de lapin. L’algorithme ne vous oblige pas à cliquer sur quoi que ce soit. Plus important encore, l’algorithme crée le contexte dans lequel il est plus facile de descendre dans ce trou de lapin. La décision est toujours à vous.

MF: Mais c’est parce que beaucoup de gens sont allés dans ce trou de lapin que l’algorithme pense que c’est la direction que les gens veulent prendre?

JK: Exactement. je pense Le New York Times avait également une vidéo différente où la vidéo avait plus de 400 000 vues. En plus de découvrir cela et d’être choqué par le fait que c’était au départ sur YouTube, nous avons également été extrêmement choqués par le nombre de vues que nous avons vues sur certaines de ces vidéos.

MF: Pourriez-vous obtenir des données sur les utilisateurs réels, comme les 400 000 personnes ayant visionné une vidéo? Le New York Times regardé sur une jeune fille au Brésil?

JK: Nous ne le pourrions certainement pas (mais) YouTube le pourrait probablement dans une certaine mesure. Les utilisateurs étaient-ils connectés à leur compte Google, par exemple? Même si YouTube devait le faire, il est important de noter que ce sont des cas limites. Ce qui est vraiment problématique, c’est le contexte créé par l’algorithme, et non pas comme certaines vidéos en général.

MF: Qu'avez-vous pensé de la réaction de YouTube à la suite de Fois pièce?

JK: Je pense que c'est définitivement un pas dans la bonne direction. De toute évidence, vous pouvez toujours faire plus. Je réalise aussi qu’il est assez difficile de faire des coupes sur une plate-forme qui contient tant de contenu et qui est téléchargée en permanence. … (Par exemple,) lorsque YouTube a décidé de se débarrasser du contenu néo-nazi, en particulier de la négation de l'holocauste, ils ont également supprimé par inadvertance le contenu des enseignants et des professeurs qui enseignaient à ce sujet. Même les bonnes intentions peuvent avoir de mauvaises conséquences de la part de YouTube.

MF: Quelles solutions proposez-vous?

JK: En général, il est plus difficile pour les enfants de télécharger leur contenu – dans ce cas, la diffusion en continu. Désactiver la section de commentaires lorsque les enfants sont dans la vidéo semble raisonnable, car c’est souvent le contexte qui pose problème.

Alors évidemment, repenser quand et comment utiliser l'algorithme. Est-il logique que YouTube propose des vidéos recommandées dans le contexte des enfants?

(Note de l’éditeur: Cette interview a été condensée et modifiée pour plus de clarté.)