Vous vous méfiez des deepfakes ? Voici comment les repérer

Les cybercriminels ne manquent pas de ressources. Récemment, on a découvert que ces derniers utilisaient la technologie du deepfake pour usurper une identité lors d’entretiens d’embauche en ligne.

Les “deepfakes”, qui consistent à recréer synthétiquement par l’IA du contenu audio, visuel et vidéo d’êtres humains, constituent une menace potentielle en matière d’usurpation d’identité depuis plusieurs années.

Pour lutter contre ces escroqueries bien rodées, les chercheurs en sécurité ont trouvé un moyen simple pour repérer si vous êtes face à un deepfake : il suffit de demander à votre interlocuteur de tourner son visage sur le côté.

Le mauvais profil des deepfakes

Pourquoi sur le côté ? C’est simple, les modèles d’intelligence artificielle pour le deepfake sont très bons pour recréer le visage d’une personne de face. Mais pour les vues de profil, c’est encore compliqué.

Metaphysics.ai a mis en évidence le côté instable de recréer des vues de profil à 90° dans des vidéos deepfake en direct, faisant de la vérification du profil latéral une procédure d’authentification simple et efficace pour les entreprises menant des entretiens d’embauche en ligne par visioconférence.

Des intrus en entretien d’embauche

En juin dernier, le FBI avertissait que de plus en plus de deepfakes étaient utilisés lors d’entretiens d’embauche se déroulant par visioconférence – un processus de recrutement qui s’est généralisé au cours de la pandémie de Covid-19.

Plus précisément, les entretiens ciblés étaient ceux visant à recruter du personnel informatique et technologique. Ils pouvaient ainsi accéder aux bases de données des entreprises, mais aussi aux données privées de leurs clients ou encore à des informations exclusives.

A l’époque, le FBI incitait les participants à une visioconférence à repérer les incohérences entre la vidéo et le son – toux, éternuements, autres bruits – afin de savoir si on se trouvait en présence d’un imposteur. Mais la vérification par le profil latéral pourrait être un moyen plus rapide et plus facile d’effectuer une vérification avant de débuter toute réunion en visioconférence.

Manque de données de profil

Ecrivant pour Metaphsyics.ai, Martin Anderson a détaillé les expériences de l’entreprise : la plupart des deepfakes créés échouent manifestement lorsque la tête synthétique atteint 90° et révèle des éléments du profil réel de la personne qui l’utilise. Récréer un profil échoue généralement à cause d’un manque de données d’entraînement de bonne qualité sur le profil, ce qui oblige le modèle deepfake à inventer ou à dessiner beaucoup de choses pour pallier le manque.

Le problème vient en partie du fait que les logiciels de deepfake doivent détecter les points de repère sur le visage d’une personne pour recréer un visage. Lorsqu’ils sont tournés vers le côté, les algorithmes ne disposent que de la moitié des points de repère disponibles pour la détection par rapport à la vue de face.

Martin Anderson note que les principales faiblesses de l’utilisation de la vidéo de profil pour recréer un visage sont les limites des algorithmes d’alignement facial basés sur la 2D et le manque de données de profil pour la plupart des gens, à l’exception des stars d’Hollywood.

La chasse aux deepfakes

Plaidant en faveur de l’utilisation du profil latéral pour authentifier les participants à une visioconférence, Martin Anderson souligne qu’il y aura probablement une pénurie persistante de données d’entraînement pour les personnes ordinaires. Il y a peu de demandes pour des photos de profil parce qu’elles ne sont pas flatteuses, et les photographes ne sont pas non plus motivés pour les fournir puisqu’elles offrent peu d’informations émotionnelles sur un visage.

« Cette pénurie de données disponibles rend difficile l’obtention d’une gamme d’images de profil de personnes non célèbres suffisamment diversifiée et étendue pour entraîner un modèle deepfake à reproduire un profil de manière convaincante », explique Martin Anderson.

« Cette faiblesse des deepfakes offre un moyen potentiel de découvrir les correspondants “simulés” dans les réunions en visioconférence, un risque récemment classé comme émergent par le FBI : si vous soupçonnez que votre interlocuteur puisse être un “clone deepfake”, vous pouvez lui demander de se tourner de côté pendant plus d’une seconde ou deux, et voir si vous êtes toujours convaincu par son apparence. »

9 systèmes biométriques sur 10 vulnérables

Sensity, qui travaille sur la vérification d’identité et la détection des deepfakes, indiquait en mai avoir constaté que 90 % des systèmes de vérification biométrique largement adoptés et utilisés dans les services financiers pour la conformité à la norme KYC (Know Your Customer) étaient gravement vulnérables aux attaques de type “face swap” par deepfake.

L’entreprise ajoute que les tests de vivacité couramment utilisés, qui impliquent qu’une personne regarde dans la caméra d’un appareil connecté, sont également faciles à tromper par les deepfakes. Ces tests exigent que la personne bouge la tête de gauche à droite et sourie. Les deepfakes utilisés par Sensity bougeaient effectivement la tête de gauche à droite, même si la vidéo montre qu’ils arrêtent de tourner la tête avant d’atteindre 90°.

Giorgio Patrini, PDG et scientifique en chef de Sensity, a confirmé à Metaphysic.ai n’avoir pas utilisé de vues de profil à 90° dans les tests.

Comment repérer les imposteurs

Les deepfakes ont donc toujours des difficultés à reproduire le profil d’une personne. Si vous avez un doute ou besoin de vérifier l’identité de votre interlocuteur, il vous suffit donc de lui demander de tourner la tête à 90° pendant quelques secondes.

Mais ce n’est pas la seule technique. Vous pouvez aussi demander au participant d’agiter ses mains devant son visage. Ce mouvement perturbe le modèle et révèle les problèmes de latence et de qualité de la superposition sur le visage deepfake.

Source : ZDNet.com