Construire un produit d'IA fiable : Vedder, la plateforme Text-to-Insights de Spotify

Guillaume Perchais, Product Manager chez Spotify depuis 5 ans, en charge des produits data internes, raconte sans filtre le parcours de construction de Vader — un agent conversationnel pour donner accès aux 70 000 datasets Spotify à 4 500 utilisateurs internes — depuis le notebook Python jusqu'aux 22 000 questions posées en production. En s'appuyant sur une étude MIT portant sur 300+ projets IA (seuls 5% génèrent réellement de la valeur), il démonte le mythe du POC suffisant et livre une méthode concrète en 3 axes : guard rails, évaluations et scoring de confiance. Résultat : 5 500 heures de data scientists économisées et 12% d'utilisateurs nouveaux jamais vus dans les systèmes. 🔥 Seuls 5% des projets IA génèrent réellement de la valeur selon une étude MIT — qu'est-ce qui fait concrètement la différence entre un POC et un produit qui tient en prod ? 🔥 Comment recréer de la stabilité dans un produit dont le cœur — le LLM — ne donne jamais deux fois la même réponse ? 🔥 Comment mesurer la confiance dans les réponses d'un agent IA — et pourquoi les experts métier sont le vrai carburant d'un produit LLM ? 🎯 Anecdote : Guillaume a nommé son produit "Vader" — pour "Vetted Queries" — mais aussi en hommage au musicien Eddie Vedder. Sa meilleure vanity metric de PM ? Le jour où l'agent lui a confirmé que des executives de Spotify utilisaient le produit. La preuve que ça marchait vraiment. __________________________ ⚡️⚡️⚡️ AI Product Day, created and built with L💚Ve by Hymaïa, with AI Discipline and Le Ticket 🌐🌐🌐 PLUS DE CONTENU IA sur Nos réseaux : ➜ LinkedIn :   / ai-product-day   ➜ Instagram :   / aiproductday   ➜ TikTok :   / hymaiafr   💻 Notre site internet : https://www.ai-product-day.com/en 🔥🔥🔥 Nos Sponsors 2026 : Productboard, Google Cloud, Screeb, Purchasely, Omni __________________________ 🎬 CHAPITRES 00:00:00 Introduction : 5% des projets IA génèrent de la valeur (étude MIT) 00:01:47 Spotify & le problème data : 70 000 datasets, 4 500 utilisateurs bloqués 00:05:01 Le POC : 4 ingénieurs, 6 semaines, un notebook Python 00:08:35 Recréer la stabilité : guard rails, évals et scoring de confiance 00:19:56 Vader en production : 1 000 users/mois et 5 500h économisées 00:21:11 Vers les agents : Claude SDK et évaluation multi-turn © 2026 Hymaïa - Cabinet de conseil et Formation Product, Data & IA TITRES ET HASHTAGS === Seuls 5% des projets IA passent en prod : comment Spotify a réussi avec Vader Hashtags : #AIProduct #ProductManagement #GenAI #LLM #DataProduct Guard rails, évals et scoring de confiance : la méthode Spotify pour industrialiser un agent IA Hashtags : #AIProduct #LLM #ProductManagement #GenAI #DataEngineering Du POC à 1 000 utilisateurs/mois : le parcours d'un produit IA interne chez Spotify Hashtags : #AIProduct #ProductManagement #GenAI #AgentIA #Spotify