FaceLit : ce framework d’Apple modélise un visage 3D à partir d’images
Apple a publié un nouveau framework, baptisé FaceLit. Celui-ci permet de générer un visage en 3D à partir d’images 2D standard, sans aucune intervention manuelle particulière. Le résultat peut être rendu dans diverses conditions d’éclairage et angles de vues définis par l’utilisateur.
La technologie repose sur l’apprentissage automatique et a l’avantage d’être moins contraignante que d’autres manipulations pour modéliser un visage en 3D : il faut généralement passer par un système de capture avancé et que des humains mettent les mains dans le cambouis. Le procédé d’Apple utilise le modèle de réflexion de Phong, et fait en sorte de produire des images photoréalistes avec une cohérence dans la 3D et l’éclairage.
La technologie est intéressante et devrait permettre de gagner du temps dans certains domaines. On pourrait plus facilement modéliser des visages dans certains projets en 3D, comme dans des jeux vidéos ou pour certains effets spéciaux.
Pour Apple, la technologie semble idéale pour la création d’avatars, qui pourraient être utilisés pour son casque de réalité virtuelle. Si l’appareil n’a pas encore été présenté, il devrait offrir des appels FaceTime réalistes qui profiteraient sans doute d’une telle nouveauté. Une note de recherche sur FaceLit a été publiée, et le code source est disponible sur GitHub.
