Cette IA peut vous localiser en regardant quelques photos

Les conseils de sécurité sur les médias sociaux consistent notamment à ne pas publier de photos contenant des informations personnelles telles que des numéros de plaque d’immatriculation, des noms de rue ou des numéros de maison. Et si je vous disais que l’IA générative peut quand même vous localiser, simplement à partir de l’arrière-plan de votre photo ?

C’est un des nouveaux cas d’usage de l’IA générative. Des étudiants diplômés de l’université de Stanford ont mis au point une application capable de détecter votre emplacement à partir d’une vue de rue ou même d’une simple image.

Le projet, appelé Predicting Image Geolocations (PIGEON), peut, dans la plupart des cas, déterminer avec précision un lieu spécifique simplement en regardant la vue de la rue Google de ce lieu.

PIGEON s’est classé parmi les 0,01 % de joueurs de GeoGuessr

PIGEON peut prédire le pays représenté avec une précision de 92 %, et il peut localiser avec précision un endroit situé à moins de 25 kilomètres de l’endroit cible dans plus de 40 % de ses suppositions, selon le document de recherche.

Pour comprendre à quel point ces résultats sont impressionnants, PIGEON s’est classé parmi les 0,01 % de joueurs de GeoGuessr, le jeu dans lequel les utilisateurs devinent l’emplacement d’une photo prise à partir d’une vue de Google Street View de l’emplacement. Ce jeu a servi de genèse à ce projet.

Université de Stanford

PIGEON a également battu l’un des meilleurs joueurs de GeoGuessr au monde, Trevor Rainbolt, dans une série de six matchs, diffusés en ligne avec plus de 1,7 million de vues.

Comment fonctionne PIGEON ?

Les étudiants ont utilisé CLIP, un réseau neuronal développé par OpenAI qui peut relier du texte et des images en l’entraînant sur les noms des catégories visuelles à reconnaître.

Ensuite, inspiré par GeoGuessr, PIGEON a été entraîné sur un ensemble de données de 100 000 lieux originaux, échantillonnés de manière aléatoire à partir de GeoGuessr et d’un ensemble de téléchargement de quatre images pour couvrir un “panorama” complet dans un lieu donné, ce qui fait un total de 400 000 images.

Université de Stanford

Si l’on compare le nombre d’images sur lesquelles d’autres modèles d’IA sont entraînés, celui de PIGEON fait pâle figure. À titre de référence, le modèle de génération d’images le plus populaire d’OpenAI, DALL-E 2, est entraîné sur des centaines de millions d’images. Les chercheurs ont travaillé sur un autre modèle, appelé PIGEOTTO, qui a été entraîné sur plus de quatre millions de photos provenant de Flickr et de Wikipedia pour identifier un lieu à partir d’une seule image.

La géolocalisation d’images présente de nombreux cas d’utilisation, tels que la conduite autonome

Les performances de PIGEOTTO ont permis d’obtenir des résultats impressionnants sur des benchmarks de géolocalisation d’images, surpassant les résultats de l’état de l’art précédent de 7,7 % pour la précision des villes et de 29,8 % pour la précision des pays, selon l’article.

L’article aborde aussi les considérations éthiques associées à ce modèle, y compris les avantages et les risques. D’une part, la géolocalisation d’images présente de nombreux cas d’utilisation utiles, tels que la conduite autonome, les enquêtes visuelles et la simple satisfaction de la curiosité quant à l’endroit où une photo a été prise.

Cependant, les implications négatives de l’usage de cette technologie incluent la violation la plus flagrante de la vie privée. C’est pourquoi les chercheurs ont décidé de ne pas rendre publics les poids des modèles et de ne diffuser le code qu’à des fins de validation académique, selon l’article.

Source : “ZDNet.com”