Exploration interne · Agent marchand
Enquêter sur une journée de vente sans conclure trop vite
Quand les ventes d'une boutique s'écartent de l'habitude, la première explication venue est souvent la mauvaise. Pour l'agent marchand que nous construisons, nous avons écrit une méthode d'enquête : vérifier la mesure, comparer à l'historique, poursuivre plusieurs pistes, traiter les contradictions et conclure en nommant ce qui reste inconnu. Nous l'appliquons aujourd'hui à la main sur des journées réelles, et nous la mettons à l'épreuve sur un banc d'essai qui rejoue des journées passées.
L'agent marchand est un outil interne en construction. Il doit relier les données publicitaires, le trafic du site, les commandes et les emails d'une boutique en ligne pour expliquer chaque journée au marchand. Un modèle de langage sait produire une explication plausible en quelques secondes ; c'est précisément le risque. Une enquête utile doit pouvoir être contestée, refaite et corrigée. Nous avons donc commencé par fixer l'ordre des vérifications, les niveaux de preuve et ce que l'agent n'a pas le droit de faire, avant de lui demander la moindre conclusion.
Vérifier la mesure avant d'interpréter
La première question n'est pas « pourquoi les ventes ont-elles baissé ? », mais « les chiffres d'hier sont-ils complets et comparables ? ». Lors d'une journée de novembre, la collecte de notre propre outil de mesure du trafic s'est interrompue entre le début de soirée de la veille et le milieu de la matinée. Sans ce contrôle, la baisse des visites du matin aurait été lue comme une chute d'audience. Avec lui, elle est signalée comme non comparable et sortie du raisonnement.
D'autres pièges sont plus discrets. Un indicateur peut être mal défini : nous avons ainsi corrigé une part de sessions « à une page » calculée sur le premier chemin enregistré plutôt que sur les pages réellement vues. Rapportée aux sessions dont les pages vues étaient observables, la bonne mesure était d'environ 70 %, et non 88 %. Une session à une page n'est d'ailleurs pas un rebond si le visiteur a interagi avec la page. De même, un consentement inconnu n'est pas un refus, et une donnée absente n'est jamais remplacée par un zéro. Enfin, les visites de robots et de nos outils techniques sont exclues.
Comparer à l'historique de la boutique
Une fois la mesure validée, l'agent situe la journée par rapport aux 7 et aux 30 jours précédents, en excluant la journée étudiée de sa propre référence. Cette comparaison distingue deux questions que l'on confond souvent. La première : la journée est-elle anormale ? La seconde : la journée atteint-elle l'objectif du marchand ? Sur la boutique que nous suivons, l'objectif journalier n'avait été atteint qu'un jour sur trente. Une journée à un peu plus du tiers de l'objectif n'était donc pas forcément un incident : elle pouvait refléter un niveau habituel insuffisant. L'agent doit le dire, plutôt que de chercher à tout prix un coupable.
Le cadre limite aussi le travail inutile. Une enquête approfondie ne se lance que sur un écart nouveau ou sur un sujet resté ouvert les jours précédents. Les jours sans écart notable, la revue reste courte.
Suivre les pistes et les contradictions
Pour organiser les pistes, nous suivons le chemin d'une vente perdue : collecte, diffusion publicitaire, qualité du trafic, page d'arrivée, paiement, relation client par email, puis objectif lui-même. L'agent retient au plus trois hypothèses et propose pour chacune un test capable de la réfuter. Si une campagne est soupçonnée, il vérifie ses clics heure par heure et l'historique des modifications du compte. Si une page d'arrivée concentre une part importante des sessions perdues, il peut aller la visiter. Nous avons fixé ce seuil à 30 % des pertes, pour éviter de multiplier les visites sans intérêt.
Chaque constat reçoit un niveau de preuve : mesuré, recoupé par plusieurs sources, hypothèse, ou indécidable avec les données disponibles. Lors de la journée de novembre déjà évoquée, la mise en pause d'une campagne Google vers la mi-journée était mesurée : l'historique du compte la datait et les clics de la campagne tombaient à zéro. L'idée qu'elle explique la chute des clics du compte restait une hypothèse. Son effet sur les ventes restait indécidable. La même rigueur s'applique à une correction du paiement intervenue en début d'après-midi : quatre des cinq commandes ont suivi, mais rien ne permet d'en conclure un effet.
Fin d'une piste n'est pas fin d'enquête
Nous avons appris à distinguer deux moments. Une piste se termine quand son test est fait. Une enquête n'est terminée que lorsque les commandes de la journée sont rapprochées de leurs parcours, que les contacts sont mis dans l'ordre, que les explications alternatives et les contradictions ont été examinées, et que chaque commande est expliquée ou classée comme « inconnu qualifié » : on sait alors pourquoi on ne sait pas.
La séquence que nous suivons est donc : collecter, rapprocher, raconter, critiquer, puis revenir aux sources pour vérifier ce que la critique a soulevé. Cette dernière boucle a corrigé plusieurs de nos propres conclusions, comme l'indicateur de sessions à une page ou l'origine de commandes que nous pensions inexpliquées.
Garder la mémoire des journées précédentes
Une boutique ne se comprend pas jour par jour. Une conversion publicitaire peut être révisée plusieurs jours après la vente ; une campagne mise en pause reste un sujet à suivre ; un défaut corrigé doit être vérifié le lendemain. L'agent doit donc distinguer les faits figés, le contexte connu et les problèmes encore ouverts.
Aujourd'hui, cette mémoire est un journal daté que nous alimentons à la main après chaque enquête : constats, corrections et questions restées sans réponse. Nous avons conçu, sans encore le construire, un fonctionnement plus rigoureux. Les faits d'une journée seraient figés une fois définitifs et versionnés si une définition change. Une liste de suivis ouverts serait relue chaque matin. Les chiffres publicitaires encore révisables, comme l'attribution de Meta pendant sept jours, seraient explicitement marqués comme provisoires, avec la date de leur lecture.
Revenir sur un changement ou réviser une conclusion deviendrait alors possible. Si une campagne reprenait ou si de nouvelles conversions apparaissaient, l'agent pourrait rouvrir la journée concernée, comparer la nouvelle lecture à l'ancienne et dire ce qui a changé dans son explication. Ce fonctionnement automatique reste à construire puis à éprouver ; pour l'instant, c'est nous qui rouvrons ces dossiers.
Rejouer des journées passées pour éprouver la méthode
Pour tester la méthode sans risquer de tromper un marchand, nous avons construit un banc d'essai local. Il rejoue des journées passées en ne donnant à l'agent que ce qui était connu à la date étudiée. Les faits postérieurs sont bloqués. Une relecture critique par un modèle a pourtant relevé une fuite : sur deux journées, la réponse de l'agent évoquait une correction intervenue après la journée étudiée. Le banc bloque désormais ce cas automatiquement, et un test le vérifie ; les deux réponses concernées ont été corrigées à la main.
Le banc compte aujourd'hui une soixantaine de tests. Ses résultats restent partiels. Sur trois journées rejouées, une seule est validée telle quelle. Les deux autres ne l'ont été qu'après sept corrections manuelles au total, consignées dans un journal. Les tests passent sur notre poste, mais leur exécution dans notre environnement de contrôle isolé n'a jamais abouti. C'est le vrai état de la méthode : écrite, appliquée à la main, éprouvée partiellement. Elle n'est pas encore exécutée chaque matin par un agent autonome.
Ce travail nous a surtout appris à rendre les enquêtes vérifiables. Une conclusion qui indique son niveau de preuve, son test de réfutation et ses inconnues peut être discutée par le marchand. C'est cette qualité que nous voulons préserver lorsque l'agent prendra le relais.