compar:IA est un outil gratuit qui permet de sensibiliser les citoyens à l’IA générative et à ses enjeux à travers la comparaison des résultats de différentes IA conversationnelles (LLM).
Les modèles d’IA conversationnelle respectent-ils la diversité des cultures francophones? Les IA conversationnelles reposent sur des grands modèles de langage (LLM) entraînés principalement sur des données en anglais, ce qui crée des biais linguistiques et culturels dans les résultats qu'ils produisent.
Ce processus repose sur des jeux de données de préférences où les utilisateurs indiquent quelle réponse est la meilleure selon des critères donnés, telles que la pertinence, l’utilité, la nocivité. Pour améliorer la représentation des cultures francophones dans les modèles, les jeux de données d’alignement doivent inclure une variété de langues, de contextes et d’exemples issus de tâches courantes des utilisateurs.
En tant que founding designer, mon rôle a été d’imaginer le parcours le plus simple possible pour inciter les utilisateurs à donner leurs avis sur les réponses des modèles.
L’un des challenges a été de s’adresser à deux profils utilisateurs avec des besoins et des niveaux de connaissance en IA différents : le grand public et les experts (développeurs, chercheurs..). Sur la page d’accueil, l’accent a été mis sur la première cible à travers une promesse et des cas d’usage clairs pour les inciter à utiliser l’outil et ainsi constituer notre jeu de données avec des tâches courantes.
Pour les profils plus experts, l’objectif a été de centraliser puis de simplifier au maximum toutes les informations utiles sur les modèles notamment la taille et les conditions d’utilisation.
En permettant d’échanger avec deux modèles d’IA à l’aveugle, l’utilisateur n’est pas influencé par sa connaissance ou non d’un modèle qu’il compare. Ce parti pris permet également de l’inciter à donner son avis afin de passer à l'étape de révélation des modèles avec qui il vient d’échanger.
Dans une logique de récolter le plus de préférences possibles, nous avons fait le choix d’intégrer directement la possibilité de voter dans les bulles des réponses à travers deux pictos de pouce compris par tous. Au clic sur l'un des pouces, un encart apparait permettant à l’utilisateur de compléter son vote par des tags prédéfinis.
La révélation est une étape clé dans le parcours, elle permet d’en apprendre plus sur les modèles avec lesquels ils viennent d’échanger. De manière très visuelle et synthétique, l’utilisateur compare facilement les modèles avec des informations techniques (open weights vs propriétaire, la taille, le type de licence) mais aussi des informations propres à la discussion qu'il vient d'avoir comme l’énergie consommée par modèle, le but ici est de le sensibiliser à l’impact environnemental de ces nouveaux outils.
Après plusieurs retours, nous avons fait évoluer le produit afin de permettre aux utilisateurs s’ils le souhaitent de pouvoir eux même sélectionner les modèles qu’ils veulent voir s’affronter, tout en conservant l’anonymat une fois qu’ils échangent avec eux. La version responsive du comparateur a également été retravaillé.