#338.src - Evaluation de GenAI: Pourquoi l'évaluation de l'IA n'a rien d'automatique avec Louis Pinsard

"La solution à tout, pour moi, c'est une complémentarité de technologie. Mais pour ça, il faut comprendre les limites de chacune." Le D.E.V. de la semaine est Louis Pinsard, cofondateur et CTO chez Dialog. On plonge dans les coulisses de l'évaluation des modèles d'intelligence artificielle générative appliqués au e-commerce. Louis partage comment son équipe adapte tests A/B, datasets et observabilité pour améliorer les performances des assistants IA. Ils abordent la difficulté des tests unitaires face au non-déterminisme des LLM et la nécessité de nouvelles pratiques, notamment contre les hallucinations. Un échange pragmatique sur l'humain derrière la tech et l'importance de garder un esprit critique face à la hype GenAI. Chapitrages00:01:00 : Introduction à l'IA Générative 00:01:30 : Présentation de Louis 00:01:53 : Être AI First 00:05:10 : Évaluation des Modèles 00:09:09 : Outils d'Observabilité 00:09:53 : Tests Unitaires en IA 00:12:28 : Agents et Workflow 00:17:55 : Évaluation des Réponses 00:18:29 : Évaluation et Labellisation 00:23:08 : Démarche de Recherche 00:26:09 : L'Importance des ML Engineers 00:28:45 : Conversion vs Qualité 00:34:54 : Gestion des Hallucinations 00:39:00 : Normes de Qualité 00:43:34 : Humanisation des Réponses 00:47:02 : Recommandations et Conclusion Liens évoqués pendant l'émission Thomas Walter : Comment j'ai codé 2 mois de features en 3 semaines 🎙️ Soutenez le podcast If This Then Dev ! 🎙️ Chaque contribution aide à maintenir et améliorer nos épisodes. Cliquez ici pour nous soutenir sur Tipeee 🙏 Archives | Site | Boutique | TikTok | Discord | Twitter | LinkedIn | Instagram | Youtube | Twitch | Job Board | Hébergé par Audiomeans. Visitez audiomeans.fr/politique-de-confidentialite pour plus d'informations.