Visualisations techniques

Objectif

Une visualisation technique est un graphique statistique que l'équipe d'analyse produit pour elle-même, pendant l'analyse, afin d'éprouver une hypothèse de modélisation. Le graphique construit pour une partie prenante qui doit décider est une visualisation métier. La coupure porte sur le destinataire et le moment: le même nuage de points sert de diagnostic pendant la construction du modèle, puis se redessine en pièce de restitution pour le comité.

Un modèle prédictif repose sur des hypothèses que son indicateur de performance ne montre pas: des prédicteurs indépendants, une erreur d'amplitude constante, une distribution sans asymétrie extrême, un nombre de groupes choisi à bon escient. Une exactitude de 94% ou un R² de 0,87 résume la performance moyenne et laisse ces hypothèses hors du champ. La visualisation technique est l'endroit où elles redeviennent vérifiables, parce qu'un défaut d'ajustement a une forme avant d'avoir un chiffre.

Le livrable est le verdict porté sur une décision de modélisation: l'hypothèse de variance constante tient, la paire de variables redondantes se ramène à une seule, le seuil de classification se fixe à 0,31 plutôt qu'au maximum d'exactitude. Le business analyst assiste à la présentation de ces graphiques, et son apport est de savoir ce que chacun éprouve, donc de reconnaître quand le graphique ne soutient pas la conclusion énoncée à côté de lui. C'est sa part de la phase d'évaluation d'un projet de data mining: dire si le modèle répond à la question posée et à quel coût d'erreur.

Usage

Quand l'utiliser

• Liste de variables à arrêter: la matrice de corrélation montre les prédicteurs qui mesurent deux fois la même chose.
• Annonce d'un modèle qui « s'ajuste bien »: le graphique des résidus dit où l'erreur se concentre.
• Seuil à fixer sur un modèle de classification: la courbe ROC chiffre l'arbitrage entre les deux types d'erreur.
• Segmentation à reprendre en langage métier: la silhouette et la projection ACP disent combien de groupes existent.
• Variation attribuée à une action commerciale: l'autocorrélation dit si la série porte déjà une saisonnalité à ce rythme.

Quand ne pas l'utiliser

• Restitution à un comité: le diagnostic se redessine en visualisation métier avant d'être projeté.
• Définition des champs non arrêtée: le diagnostic porterait sur des variables au sens flottant; établir d'abord le dictionnaire de données.

Description

Ce que chaque famille éprouve

Le guide de l'IIBA retient huit familles, issues de quatre disciplines: statistique des séries temporelles, diagnostic de régression, apprentissage non supervisé, théorie de la détection du signal.

Tester une série temporelle avant de la modéliser

Une série temporelle se teste d'abord sur son graphique d'autocorrélation, qui porte la corrélation de la série avec elle-même décalée d'un, deux, puis n retards. Le NIST en donne la règle de lecture: des valeurs qui restent dans la bande de confiance signalent une série aléatoire, une décroissance lente une non-stationnarité, un pic répété à intervalle fixe une saisonnalité. C'est la première étape de l'identification d'un modèle par la méthode de Box-Jenkins.

Lire une matrice de corrélation avant d'arrêter la liste des variables

La matrice de corrélation porte, pour chaque paire de variables, un coefficient compris entre -1 et 1 qui mesure leur liaison linéaire. Beaucoup de modèles supposent des entrées indépendantes; deux prédicteurs fortement liés comptent deux fois le même effet et rendent instables les poids que le modèle leur attribue. C'est la colinéarité. Un distributeur romand qui prépare un modèle de prévision du chiffre d'affaires hebdomadaire par point de vente établit la matrice sur ses 34 magasins.

La valeur p qui accompagne le coefficient donne la probabilité d'observer une liaison au moins aussi forte alors qu'il n'en existe aucune: un 0,41 sur 34 magasins et le même 0,41 sur 3'400 transactions ne portent pas la même charge de preuve.

Que dit un graphique des résidus?

Un résidu est l'écart entre la valeur observée et la valeur prédite. Le graphique porte ces écarts en ordonnée, la valeur prédite en abscisse. Le NIST en fixe la lecture: un nuage centré sur zéro, sans structure et d'amplitude constante indique un ajustement acceptable. L'éventail, dont l'amplitude s'ouvre avec la valeur prédite, signale une hétéroscédasticité, c'est-à-dire une variance d'erreur qui change selon l'étendue des valeurs; l'erreur moyenne annoncée ne vaut alors pas d'un bout à l'autre de la plage. La courbe, en U ou en U inversé, signale une relation non linéaire que le modèle n'a pas captée.

Quand l'éventail vient d'une distribution fortement asymétrique de la variable expliquée, la transformation de Box-Cox cherche la puissance qui la rapproche de la normale. Un modèle ajusté sur le logarithme du chiffre d'affaires produit des sorties qu'il faut ramener en francs avant toute discussion métier.

Le seuil d'un classifieur est un arbitrage métier

Un modèle de classification rend une probabilité, et un seuil la transforme en décision. La courbe ROC porte le taux de vrais positifs contre le taux de faux positifs pour toutes les valeurs de ce seuil; l'aire sous la courbe, l'AUC, résume le pouvoir de discrimination du modèle et permet d'en comparer deux. Sur la boutique en ligne du même distributeur, un modèle de détection des commandes frauduleuses affiche une AUC de 0,95. À un seuil de 0,20 il intercepte 82% des fraudes et bloque 6% des commandes légitimes; à 0,45 il en intercepte 61% et n'en bloque plus que 1,2%. Comme l'établit Fawcett, aucun point de la courbe n'est meilleur en soi: le choix dépend du coût respectif des deux erreurs. Une commande frauduleuse laissée passer coûte CHF 380 en moyenne; le refus d'une commande honnête, CHF 12 de marge perdue et de traitement du litige. Ce rapport de coûts vient du métier, et l'énoncer est le travail du business analyst.

Une segmentation se vérifie avant d'être nommée

Un algorithme de partitionnement à nombre de groupes fixé, les k-moyennes par exemple, rend toujours le nombre qu'on lui demande, y compris quand il n'existe pas dans les données. Le graphique de silhouette, dû à Rousseeuw, porte pour chaque observation un score entre -1 et 1 mesurant sa proximité à son propre groupe comparée au groupe voisin, puis empile ces scores par groupe. Des silhouettes larges et longues marquent une partition nette. Le guide de l'IIBA en donne la lecture type sur une segmentation de clientèle: dix segments demandés, quatre à cinq dominants, un groupe étroit qui gagnerait à être scindé, deux groupes à scores négatifs dont les membres ressemblent davantage au voisin qu'aux leurs. La projection ACP complète le diagnostic en montrant sur quels axes les groupes se séparent. L'analyste nomme alors ces axes en termes de métier, gros paniers peu fréquents contre visites courtes et régulières, faute de quoi la segmentation reste une sortie d'algorithme.

Ce qui fait échouer la lecture

L'indicateur agrégé pris pour un diagnostic. Deux modèles de même R² se trompent différemment, et seule la forme du nuage le montre.

Le coefficient de corrélation pris pour une mesure de dépendance. Pearson mesure la liaison linéaire. Deux variables liées en U donnent un coefficient proche de zéro, que la matrice affiche comme une absence de liaison alors que la dépendance est forte.

La variable retirée sans consultation du métier. Entre deux prédicteurs corrélés à 0,94, la statistique est indifférente au choix. Le métier ne l'est pas: l'effectif d'un magasin se décide, sa surface est une donnée figée et retirer le premier prive le modèle de la seule entrée sur laquelle une décision peut porter.

Le diagnostic pris pour une preuve de validité. Le guide de l'IIBA énonce la limite: ces graphiques se construisent sur les données disponibles et peuvent orienter le modèle vers une cohérence interne étrangère au contexte métier. Un nuage de résidus impeccable sur un jeu de données auquel manque la variable décisive reste un nuage de résidus impeccable.

Considérations IA

Un assistant de code produit les huit graphiques en quelques lignes, à partir d'un modèle déjà ajusté et d'une consigne en langage naturel. Le coût de production devient négligeable, ce qui déplace le goulot d'étranglement vers la lecture: il est tentant d'empiler les diagnostics sans en interroger aucun. Sur la capture d'un graphique de résidus, un modèle multimodal nomme la forme, éventail ou courbe. Ce nom est un premier avis, à vérifier sur le graphique.

Deux dérives sont propres à ces graphiques. La première est l'interprétation plausible d'une composante principale: un modèle de langage à qui l'on montre une projection ACP nommera son premier axe « clientèle premium » avec assurance, alors que le nom d'une composante se vérifie sur les poids des variables et sur la connaissance du terrain. La seconde tient au réglage automatique d'un seuil de classification, que les pipelines d'apprentissage optimisent par défaut sur l'exactitude ou le score F1. Ces critères supposent les deux erreurs de coût égal, hypothèse que le métier n'a pas validée et qui est fausse dès qu'une fraude non détectée coûte trente fois un blocage abusif.

Reste la confidentialité. Un graphique de diagnostic transporte la distribution réelle des données, parfois une observation individuelle que sa position isolée sur un nuage peu peuplé suffit à identifier. Le soumettre à un outil hébergé engage les mêmes autorisations qu'un extrait de la base. La question se pose avant que la capture d'écran soit prise.

Exemples

Le distributeur romand met en service son modèle de prévision hebdomadaire, ajusté sur 34 magasins et deux ans d'historique. La documentation annonce une erreur moyenne de CHF 6'200, et la règle de réassort automatique s'est calée sur ce chiffre pour dimensionner sa marge de sécurité. Le graphique des résidus porte l'écart entre chiffre d'affaires réalisé et prévu, en francs, contre le chiffre d'affaires prévu.

Le panneau de gauche montre à quoi ressemblerait ce diagnostic sur un modèle correctement spécifié: un nuage centré sur zéro dont l'amplitude ne dépend pas de la taille du magasin. Le modèle en service donne le panneau de droite. L'éventail s'y lit d'un coup: les écarts tiennent dans ±CHF 3'000 pour les magasins prévus sous CHF 100'000 et atteignent ±CHF 34'000 pour les trois plus grands. L'erreur moyenne de CHF 6'200 ne décrit ni les petits ni les grands magasins: elle double la marge nécessaire aux premiers et la divise par cinq pour les seconds, qui sont en rupture chaque semaine sur les articles à rotation rapide. L'analyste rapporte que l'intervalle d'erreur doit être publié par classe de taille et que la règle de réassort en dépend.

Visualisations

Un graphique des résidus se dessine en nuage de points sur une ligne de référence à zéro tracée en tiretés, les deux axes gradués en unités métier. La comparaison de deux nuages se fait en panneaux jumeaux partageant la même échelle d'ordonnée, sans quoi l'éventail du panneau défaillant se lit comme un effet de cadrage.

Une matrice de corrélation se dessine en demi-tableau, la diagonale et la moitié supérieure restant vides puisqu'elles répètent la même information. L'intensité de la liaison se code par la teinte de la case, et le coefficient reste écrit en clair: une carte de chaleur sans valeurs se lit à l'estime, ce qui suffit pour repérer une paire suspecte et jamais pour décider d'un retrait.

Coût

Outils

Les bibliothèques Python (matplotlib, seaborn, statsmodels, scikit-learn) couvrent les huit familles et sont l'outil de fait des équipes de science des données. Les graphiques s'y écrivent à côté du code qui a produit le modèle, ce qui les rend reproductibles.

R intègre le diagnostic au langage: l'appel de tracé sur un objet de régression rend les quatre graphiques de résidus attendus, et ggplot2 prend le relais pour la mise en forme.

Le notebook (Jupyter, Quarto, R Markdown) est le support qui tient le graphique, le code et le verdict écrit dans un même document versionné. C'est la réponse au poste de documentation.

Le tableur trace un nuage de points et une droite de tendance, ce qui permet un graphique des résidus artisanal. Il ne rend ni silhouette, ni courbe ROC, ni projection ACP. Les plateformes décisionnelles (Power BI, Tableau) sont conçues pour la restitution métier et n'exposent ces diagnostics que par du code R ou Python intégré.

Sources

• IIBA, Guide to Business Data Analytics, §3.18 Technical Visualizations: la finalité de la technique, sa distinction d'avec les visualisations métier, l'inventaire des huit familles, la lecture type du graphique de silhouette sur une segmentation de clientèle, ainsi que les forces et les limites énoncées.
• NIST/SEMATECH, e-Handbook of Statistical Methods: la règle de lecture du graphique d'autocorrélation et son usage dans l'identification d'un modèle de Box-Jenkins (§1.3.3.1), la construction du graphique de normalité de Box-Cox (§1.3.3.6) et le critère du nuage de résidus centré et d'amplitude constante (chapitre Process Modeling).
• George E. P. Box et David R. Cox, « An Analysis of Transformations », Journal of the Royal Statistical Society, Series B, vol. 26, 1964, p. 211-252: l'article d'origine de la transformation de puissance.
• Tom Fawcett, « An Introduction to ROC Analysis », Pattern Recognition Letters, vol. 27, 2006, p. 861-874: la référence praticienne sur la courbe ROC, l'aire sous la courbe et l'arbitrage entre taux de vrais et de faux positifs selon le seuil.
• Peter J. Rousseeuw, « Silhouettes: A Graphical Aid to the Interpretation and Validation of Cluster Analysis », Journal of Computational and Applied Mathematics, vol. 20, 1987, p. 53-65: l'article qui définit le coefficient de silhouette et le graphique qui le porte.