"When the Facts Change, I Change My Mind. What Do You Do, Sir?" disait JM Keynes.
L’économiste soulignait alors l’importance de réajuster ses a priori et sa représentation du monde lorsqu'on on est confronté à de nouveaux éléments.
C’est la même chose lorsqu’on entraîne un modèle de machine learning et qu’on le déploie.
Les données que l’on va rencontrer en production suivent-elles une distribution similaire aux données sur lesquelles on a entraîné le modèle? Si non, comment peut-on ajuster le tir?
Témoignage et retour d’expérience avec Hamza Sayah, Data Scientist @ Ponicode.
Références et concepts mentionnés
- Kullback-Leibler divergence, en un mot: une quantité qui mesure la dissimilarité de deux distributions de probabilités.
Pour une excellente vidéo donnant l’intuition derrière le lien entre l'entropie, l’entropie croisée et la KL divergence, se référer à la vidéo d'Aurélien Géron "A Short Introduction to Entropy, Cross-Entropy and KL-Divergence"
https://www.youtube.com/watch?v=ErfnhcEV1O8
- Pour l'intuition derrière le concept d'embedding, voir le blog post de Jay Alammar, "The Illustrated Word2Vec", https://jalammar.github.io/illustrated-word2vec/
- AST - Abstract Syntax Tree, https://en.wikipedia.org/wiki/Abstract_syntax_tree
- La recommandation de Hamza: le livre "La Formule Du Savoir", de Lê Nguyên Hoang