Reality Engines : l’apprentissage profond qui va défier Amazon (avec BANANAS)

Reality Engines : l'apprentissage profond qui va défier Amazon (avec BANANAS)

A peine un an d’existence et voici que Reality Engines sort du “mode furtif” (stealth mode) à San Francisco. La société annonce une série d’offres d’intelligence artificielle pour effectuer des tâches d’entreprise telles que la budgétisation des services de cloud computing ou la surveillance des réseaux pour détecter les intrusions.

Le plus excitant est que la minuscule équipe de 18 personnes a des idées très originales sur les formes d’apprentissage profond de l’IA, fruit de l’expérience de vétérans chevronnés en matière de technologie et de produits d’apprentissage automatique (machine learning). Bref, c’est autre chose qu’un énième chatbot !

Parmi les fondateurs, on trouve Bindu Reddy, qui était auparavant à la tête de “AI Verticals” d’AWS. L’entreprise est financée par une levée de fonds très modeste de 5,25 millions de dollars, avec l’ancien président d’Alphabet, Eric Schmidt qui a entre autre mis au pot.

publicité

“Créer automatiquement des modèles prêts à la production à partir de données”

L’objectif, a déclaré Bindu Reddy à ZDNet, est de créer un service qui “crée automatiquement des modèles prêts à la production à partir de données” afin de faciliter le travail des entreprises qui ne disposent pas d’équipes de data scientist et de développeurs spécialisés.

“Bien que d’autres entreprises parlent d’offrir ce service, c’est encore une chimère” écrit Bindu Reddy dans un mail échangé avec ZDNet. “Nous avons fait des progrès significatifs vers cet objectif” déclare t-elle.

En fait, les grandes lignes du service Reality Engines sont assez semblables à celles d’une IA d’entreprise telle qu’elle est actuellement proposée, avec un focus plus important sur les aspects d’apprentissage profond.

De cas d’utilisation multiples

Les offres d’Amazon, Google, Microsoft, IBM, Oracle et Salesforce pour les entreprises qui utilisent l’IA ont tendance à correspondre à des cas d’utilisation typiques, tels que les chatbots, l’analyse des ventes, la synthèse vocale, etc. Elles utilisent un mélange de technologies telles que “AutoML”, plus ou moins sophistiquées et de qualité variable.

L’offre de Reality Engines va au-delà des simples fonctions de programme comme celles des applications d’entreprise plus substantielles. Elle comprend des applications telles que la manière d’optimiser les dépenses d’une entreprise en matière de cloud computing, les prévisions de paramètres financiers tels que les recettes et les dépenses, et les “scores d’affinité” pour classer les préférences des clients en matière de produits.

La partie la plus intéressante est que tout cela est basé sur une combinaison des développements les plus récents en matière de deep learning.

Generative Adversarial Networks et Network Architecture Search

En particulier, les deux piliers de l’offre sont les “réseaux antagonistes génératifs” (Generative Adversarial Networks ou GANs), et la “recherche d’architecture neuronale” (Network Architecture Search, dite aussi Neural Architecture Search ou NAS). Selon l’entreprise, ces deux technologies peuvent réduire considérablement l’effort nécessaire à la construction de l’apprentissage machine (machine learning) pour les fonctions de l’entreprise.

Les GAN sont bien sûr connus pour faire des deep fakes en optimisant la compétition entre deux réseaux neuronaux basée sur le codage et le décodage d’images réelles (ou pour contourner les CAPTCHA). Dans ce cas, Reality Engines a construit ce qu’on appelle un “DAGAN” (Data Augmentation Generative Adversarial Networks), un GAN qui peut être utilisé pour l’augmentation des données, une pratique consistant à fabriquer des ensembles de données synthétiques lorsque les données disponibles ne sont pas suffisantes pour entraîner un réseau neuronal dans un domaine donné.

Les DAGAN ont été lancés par Antreas Antoniou de l’Institut de calcul neural et adaptatif de l’Université d’Edimbourg en 2018. L’équipe de Reality Engines a fait encore mieux : Ils ont construit un DAGAN en utilisant la recherche d’architecture de réseau, ou “NAS” (network architecture search), dans laquelle l’ordinateur trouve la meilleure architecture pour le GAN en essayant diverses combinaisons de “cellules”, des primitives de base composées de modules de réseaux neuronaux.

Vers les BANANAS

Là aussi, l’équipe a innové. Comme le décrit un article de l’automne dernier, rédigé par Colin White et Yash Savani, membres de l’équipe Reality Engines, l’approche novatrice est appelée “BANANAS”.

BANANAS part de l’approche traditionnelle du NAS, appelée “optimisation bayésienne”, telle que décrite pour la première fois par Jasper Snoek et ses collègues à l’université de Toronto en 2012. L’approche bayésienne essaie de nombreuses architectures de réseau différentes en calculant les combinaisons de réponses les plus probables. Dans l’approche classique, l’ensemble des solutions les plus probables est révélé par le “processus gaussien”, une courbe en cloche standard d’une distribution de probabilités.

Un schéma de l’approche de Reality Engines pour créer un “DAGAN”, utilisé pour augmenter les données de formation dans les domaines où les données existantes sont rares. La paire générateur-discriminateur du GAN alimente un classificateur “DenseNet” en nouvelles données synthétiques. Au fur et à mesure que le classificateur s’améliore, il renvoie un signal d’optimisation qui améliore le DAGAN. Le DAGAN lui-même est créé par une méthode de “recherche d’architecture neurale” inventée par la société et nommé “BANANAS”.

Dans l’approche Reality Engines, les auteurs remplacent le processus gaussien par un réseau de neurones “meta”. Comme ils le décrivent, “nous formons un réseau de neurones méta pour prédire la précision des architectures neuronales invisibles dans l’espace de recherche”. Ils trouvent que l’approche réseau neuronal de l’optimisation bayésienne “est bien plus performante qu’un modèle de processus gaussien car elle évite l’opération d’inversion de matrice qui exige beaucoup de calculs”.

Plus de précision car plus de données

La société a combiné la procédure BANANAS pour le NAS avec le DAGAN, pour créer ce qu’ils soutiennent être le premier DAGAN jamais construit par NAS. Pour ce faire, ils ont dû faire preuve d’ingéniosité pour créer une procédure de bout en bout afin de trouver le meilleur DAGAN.

Chaque GAN qu’ils ont construit a ensuite été utilisé pour créer des données synthétiques dans un nouveau domaine, basées sur les données réelles d’un domaine source, un exemple de méta-apprentissage et d’apprentissage par transfert. L’ensemble de données synthétiques a ensuite été utilisé pour former un classificateur. Et les résultats du classificateur ont été utilisés pour améliorer le processus BANANAS pour la construction du DAGAN final.

Dans un article rédigé par la société et partagé avec ZDNet avant la publication, les auteurs décrivent comment leurs classificateurs – constitués d’un “DenseNet” (Densely Connected Convolutional Networks), une forme de réseau neuronal convolutif – atteignent une précision accrue dans le nouveau domaine cible après avoir été formés aux données synthétiques.

Aller au delà des classificateurs

“Le DAGAN, amélioré par la NAS, améliore la précision de la classification sur l’ensemble de données cible de 20,5 % et peut être transféré d’une tâche à l’autre”, écrivent-ils.

C’est un tour de force d’approches combinées d’apprentissage profond : une nouvelle approche du NAS utilisée pour créer un nouveau type de GAN pour l’augmentation des données, qui à son tour peut améliorer des tâches essentielles telles que la classification.

Selon Bindu Reddy, ce pipeline de code est utile pour faire bien autre chose que des classificateurs. Les approches d’apprentissage profond créées à partir des NAS peuvent être beaucoup plus précises que les autres approches d’apprentissage machine pour des tâches telles que l’analyse de séries chronologiques.

“L’apprentissage profond est plus performant ou aussi bon que l’apprentissage machine classique” tant qu’il y a suffisamment de données

“La solution d’apprentissage profond, au moins en termes d’IA, sera aussi bonne, voire meilleure que n’importe quel autre modèle” a déclaré Bindi Reddy. “Par exemple, en matière de détection d’incidents, nous utilisons des auto -ncodeurs variationnels, qui sont généralement plus robustes pour détecter les anomalies que les autres approches”.

Elle souligne que “l’apprentissage profond est plus performant ou aussi bon que l’apprentissage machine classique” tant qu’il y a suffisamment de données, ce que le DAGAN peut aider à garantir. Et l’apprentissage profond “ne nécessite pas beaucoup de réglages manuels et de fonctionnalités” a-t-elle ajouté, ce qui signifie que “les entreprises n’ont pas à dépenser en talents, ce que d’autres modèles exigeront”.

En conséquence, “le client gagne du temps et de l’argent, mais il obtient également un produit de qualité”, a déclaré Mme Reddy. L’approche NAS permet de réaliser “une première passe du modèle”, a-t-elle expliqué, après quoi les ingénieurs et les data scientist peuvent “apporter tous les changements qu’ils jugent appropriés” à partir de là.

“Le point commun entre tous les cas d’utilisation est qu’ils utilisent tous des données tabulaires et en colonnes”

Le service accessible en mode SaaS, avec paiement à l’usage, a déclaré Mme Reddy, avec un coût fixe pour la formation initiale du réseau, puis une tarification pour les quantités croissantes d’inférence effectuées dans le cloud. Et cela correspond à la plupart des tarifs d’IA pour les pros proposés dans le coud.

L’offre de la société est si variée que ZDNet a demandé à M. Reddy si l’entreprise ne risquait pas de diluer son attrait en étant trop dispersée. Ce n’est pas un problème, a insisté Reddy, car il existe une correspondance naturelle entre les différentes tâches de l’IA en entreprise.

“Le point commun entre tous les cas d’utilisation est qu’ils utilisent tous des données tabulaires et en colonnes”, a-t-elle déclaré. “La plupart des premières entreprises ou clients à qui nous avons parlé avaient des cas d’utilisation de données tabulaires, c’est pourquoi nous avons commencé par eux”. Reality Engines a déjà 17 clients qui utilisent le service.

Aller au delà des deep fakes

Sur le site web de la société, on peut voir une démonstration des capacités du GAN, avec des vidéos de célébrités qui disent des choses qu’elles n’ont jamais dites. Mis à part ces démonstrations mielleuses, l’entreprise a ce qui semble être une offre d’apprentissage profond très solide qui sous-tend une promesse simple d’automatisation : Mettez vos données dans le cloud et tournez l’interrupteur, et la formation du modèle peut commencer avec une relative facilité.

D’autres documents de recherche de l’entreprise laissent entrevoir d’importantes possibilités futures pour le service. Par exemple, White a fait équipe avec son collègue Naveen Sundar Govindarajulu l’année dernière pour décrire comment les prédicats de la logique du premier ordre pourraient être intégrés dans l’apprentissage profond en convertissant les “contraintes” logiques en éléments différenciables, donc résolus par rétropropagation.

L’incorporation de contraintes logiques dans l’apprentissage profond supervisé traditionnel est une “technique convaincante”, a déclaré Bindu Reddy, en particulier dans les cas où les données de formation sont peu nombreuses. En effet, on imagine que des “antécédents” différenciables pour un réseau neuronal peuvent compenser un certain manque de données.

Aller se frotter aux géants de l’IA sur le cloud

Reality Engines a l’intention “non seulement de suivre les progrès de la recherche, mais aussi d’être à la pointe de ces progrès en faisant réellement cette recherche” a déclaré Bindu Reddy. Il est certain que l’équipe de direction semble bien équipée pour relever ce défi étant donné la profondeur de son expérience.

Le directeur de la technologie de Reality Engines, Arvind Sundararajan, a été l’un des principaux responsables de l’ingénierie pour le programme de véhicules autonomes d’Uber et a également été auparavant le responsable de l’ingénierie pour l’infrastructure utilisée par Google Gmail. Le directeur de recherche de la société, Siddartha Naidu, a lancé BigQuery, la BDD dans le cloud de Google.

Prendre de cours les géants AWS, Google Cloud, Azure et IBM Watson, nécessitera certainement beaucoup plus de capitaux, et Bindu Reddy a déclaré à ZDNet que l’entreprise s’attendait à lever d’autres fonds “au cours de l’année”, ajoutant “nous avons eu jusqu’à présent une quantité considérable d’intérêts de sociétés de capital-risque”.

En attendant, voici le début d’une course intrigante pour rester en tête de cette technologie mais aussi de l’évolution du marché et des besoins des clients. La technologie seule ne suffit pas, aussi bonne soit-elle, ce dont Reddy est bien conscient. “Notre avantage vient à la fois de l’innovation constante”, dit-elle, “et de l’obtention de plus en plus de pratique sur des cas d’utilisation clés pour les entreprises”.

Source : “ZDNet.com”

Leave a Reply

Your email address will not be published. Required fields are marked *