"When the Facts Change, I Change My Mind. What Do You Do, Sir?" disait JM Keynes. L’économiste soulignait alors l’importance de réajuster ses a priori et sa représentation du monde lorsqu'on on est confronté à de nouveaux éléments. C’est la même chose lorsqu’on entraîne un modèle de machine learning et qu’on le déploie. Les données que l’on va rencontrer en production suivent-elles une distribution similaire aux données sur lesquelles on a entraîné le modèle? Si non, comment peut-on ajuster le tir? Témoignage et retour d’expérience avec Hamza Sayah, Data Scientist @ Ponicode. Références et concepts mentionnés - Kullback-Leibler divergence, en un mot: une quantité qui mesure la dissimilarité de deux distributions de probabilités. Pour une excellente vidéo donnant l’intuition derrière le lien entre l'entropie, l’entropie croisée et la KL divergence, se référer à la vidéo d'Aurélien Géron "A Short Introduction to Entropy, Cross-Entropy and KL-Divergence" https://www.youtube.com/watch?v=ErfnhcEV1O8 - Pour l'intuition derrière le concept d'embedding, voir le blog post de Jay Alammar, "The Illustrated Word2Vec", https://jalammar.github.io/illustrated-word2vec/ - AST - Abstract Syntax Tree, https://en.wikipedia.org/wiki/Abstract_syntax_tree - La recommandation de Hamza: le livre "La Formule Du Savoir", de Lê Nguyên Hoang
Podcast
Post Mortem