Version originale en anglais : Medium
Cet article a pour but de vous exposer l'évolution qu'a connu la plateforme AI-Compare que nous développons. Pour rappel, AI-Compare c'est une API unique connectée aux meilleures moteurs d'IA et associé à une plateforme de gestion de ces services. Cet article est aussi l'occasion pour nous de vous raconter le cheminement qui nous a permis d'aboutir à la plateforme et les futurs développements qu'elle va connaître.
La génèse d’AI-Compare :
L'idée de AI-Compare est tout d'abord issue de l'expérience que l'équipe a eue en travaillant en tant que consultants sur des projets de Data Science et d’IA. Nous avons été amenés à travailler durant les 3 dernières années avec diverses entreprises, de la startup jusqu’au grand groupe. Notre travail a souvent inclus l’intégration d’un moteur d’IA capable de traiter des données (souvent après transformation), et voici quelques exemples :
Moteur de classification d’image pour un opérateur téléphonique
Moteur de retranscription d’audio (speech-to-text) pour analyser des enregistrements téléphoniques pour une société d’assurance
Moteur de classification de texte pour un laboratoire pharmaceutique dans le cadre d’une veille bibliographique
Beaucoup de moteurs (ou algorithmes) existent sur le marché. Nous nous sommes rendu compte qu'il était compliqué de choisir le moteur d'IA le plus adapté à ses données. En particulier, nous avons observé trois choses :
1/ Les performances atteintes par ces moteurs dépendent des données : Nous en avons largement parlé dans nos anciens articles : comparaison de moteurs personnalisée de reconnaissance d'image, de speech-to-text ou encore d'OCR (extraction de caractères dans des images ou documents PDF).
2/ Un projet de traitement de données inclut souvent plusieurs moteurs d'IA. Les meilleures performances peuvent être obtenues en combinant plusieurs moteurs. Exemple pour le traitement d'appels d'offre en chinois :
3/ Un même fournisseur ne sera pas systématiquement le plus cher ou le moins cher : il est possible d'optimiser ses coûts en choisissant le bon fournisseur pour chacun de ses besoins.
4/ Et puis surtout, nous nous sommes rendu compte de la multitude de fournisseurs qui existent sur le marché avec deux catégories de fournisseurs :
Les « gros joueurs » : Google, Amazon, Microsoft, IBM et Ali Baba qui se positionnent sur l’ensemble des catégories d’IA
Les « spécialistes » qui vont se positionner sur un ensemble réduit de technologies mais y consacrer toute leur R&D. Nous avons même noté des « ultra spécialistes » qui en plus de se spécialiser sur une technologie, ne traitent qu’un type de données : du text mining et du NLP sur une langue donnée ou de la reconnaissance d’image sur un type donné d’image, etc.
Tout ceci nous a amené fin 2019 à réfléchir à comment aider les utilisateurs à mieux choisir le moteur d’IA le plus adapté à leurs données.
Première version et premiers feedbacks :
Nous avons lancé une première version de la solution en Avril 2020. Elle incluait deux composants :
1/ Un catalogue où nous avons listé un ensemble de moteurs d’IA répartis dans diverses catégories:
2/ Une application web connectée à divers moteurs d’IA et sur un ensemble de technologies pour permettre à l’utilisateur de tester ces moteurs en utilisant ses propres données.
Pour promouvoir ce moteur, nous avons essentiellement eu recours à Medium qui a permis d’avoir rapidement plusieurs utilisateurs :
Cette croissance rapide et sans aucun budget marketing nous a confortés dans la pertinence de notre plateforme. Nous avons par ailleurs été les premiers à être surpris par la provenance internationale des utilisateurs (60% hors de France):
Beaucoup de ces premiers utilisateurs ont accepté d’échanger avec nous pour nous faire des retours concernant la plateforme mais surtout concernant leurs besoins. Cela a été aussi l’occasion d’échanger avec de nombreux fournisseurs de moteurs d’IA provenant du monde entier : France, USA, Japon, Hongrie, Pays-Bas, etc. Ces échanges ont été une formidable source d’informations pour nous aider à améliorer cette version bêta et en faire un véritable produit à portée internationale.
Evolution de la plateforme :
La version bêta se limitait à comparer les performances des moteurs des différents fournisseurs. Un des principaux retours concernait donc l’usage de ces moteurs dès lors que le choix était fait. Utiliser plusieurs fournisseurs n’est pas chose simple du fait des différences entre les différentes API ainsi que la nécessité de souscrire auprès de chacun des fournisseurs. Ceci nous a amené à travailler sur une évolution majeure de notre solution. Ne pas se limiter à un simple comparateur mais permettre d’utiliser directement les moteurs d’IA via une API unique que nous proposons et qui couvre un certain nombre de technologies :
Proposer une API ne suffit cependant pas. Nous y associons une véritable plateforme qui permet de la gérer. Cela concerne essentiellement deux points :
1/ Faciliter l’usage des moteurs d’IA :
La plateforme intègre toujours le « comparateur » (idée originale de la plateforme) permettant à l’utilisateur de tester différents moteurs concurrents avec ses propres données, ce qui permet d’avoir un benchmark très personnalisé.
Nous incluons par ailleurs pour les modèles personnalisables de lancer les entraînements sur la plateforme et analyser les performances atteintes pour choisir quel modèle déployer.
2/ Gestion de l’API :
Cela inclut d’abord la gestion des accès (Identity Access Management) pour gérer les restrictions d’accès (notamment avec des limitations de budgets). Notre plateforme permet également d’instaurer des limitations en termes de serveurs afin, par exemple n’utiliser que des algorithmes qui tournent sur les serveurs d’une région précise (en Europe par exemple, pour respecter le RGPD).
La plateforme permet aussi de gérer les coûts issus de ces différents fournisseurs et par la même occasion d’instaurer des limitations de budget à ne pas dépasser.
Passer par notre solution a donc plusieurs avantages lors des deux étapes d’un projet d’IA :
1/ Build :
Découverte simplifiée des fournisseurs d'IA (y compris les fournisseurs de niche) et gain de temps dans la création de comptes.
Outil de comparaison complet (visualisation des performances de prédictions d'IA, vitesse des moteurs d'IA, coûts, etc.)
API et doc uniques : mise en œuvre simplifiée des moteurs d'IA provenant de différents fournisseurs.
2/ Run :
Possibilité de changer de moteur d'IA à tout moment : Coût de changement (change cost) nul
Mise en œuvre d'une solution de repli simple en cas d'indisponibilité d'un service et possibilité de combiner la prédiction de différents moteurs d'IA en un seul plus performant.
Gouvernance : suivi et optimisation des coûts, limitations d'accès et conformité réglementaire (GDPR en Europe par exemple).
Voici une vidéo de démonstration de notre plateforme qui vous donnera un aperçu de ce qu’elle permet :
Futur de la plateforme :
Notre objectif dans le futur est toujours le même : simplifier l’usage et l’intégration de ces moteurs d’IA pour nos utilisateurs. Cela passe par trois fonctionnalités majeures que nous développons en parallèle et qui nous ont été réclamées par nos premiers bêta testeurs :
1/ Open source : Nous travaillons à intégrer rapidement des moteurs Open Source quand la technologie le permet. Ceci permettra à l’utilisateur de mesurer rapidement la pertinence (ou non) de modèles payants
2/ Genius : Nous travaillons à suggérer automatiquement le meilleur moteur d’IA, de sorte à ce que l’utilisateur n’ait même pas à choisir le moteur. Ce choix complexe dépendra fortement de la technologie en question et se basera à la fois sur le test de différents moteurs mais aussi sur les métadonnées (anonymes) générées par nos utilisateurs
3/ Déploiement d'algorithmes fait-maison : L’utilisateur aura la possibilité de déployer ses propres algorithmes sur la plateforme pour les comparer aux moteurs du marché et les monitorer directement sur la plateforme.
Si jamais vous souhaitez tester notre solution, il vous suffit de prendre contact avec nous sur sur ce lien : request a demo. Nous serons ravis de vous présenter notre plateforme et discuter de votre besoin en analyse et traitement de données.