Comment prouver réellement le ROI du commerce agentique
Les tableaux d'attribution revendiquent un revenu qui aurait eu lieu de toute façon. Comment un holdout natif prouve le ROI incrémental d'un assistant shopping IA, pas seulement le revenu attribué.
La plupart des chiffres de ROI du commerce agentique sont gonflés. Les tableaux d'attribution revendiquent des commandes qui auraient eu lieu de toute façon : le revenu qu'ils affichent paraît impressionnant et ne prouve presque rien. La seule façon honnête de prouver le ROI, c'est un holdout natif et permanent : un groupe de clients tirés au sort qui ne rencontrent jamais l'assistant, comparé à ceux qui le rencontrent, pour mesurer l'ajout au panier, la conversion et le panier moyen incrémentaux que l'assistant crée réellement.
C'est toute la différence entre compter et prouver. Voici comment les distinguer, et un cadre pratique que vous pouvez appliquer à n'importe quel assistant shopping IA, y compris le nôtre.
Les quatre barreaux de l'échelle du revenu
Chaque affirmation sur le revenu généré par l'IA repose sur l'un de ces quatre barreaux. Monter dans l'échelle, c'est passer de l'activité vers la causalité.
- Suivi (tracked). L'assistant a fait quelque chose de mesurable : un client l'a ouvert, a posé une question, a vu une recommandation. C'est de l'engagement, pas du revenu.
- Attribué (attributed). Une règle attribue une commande à l'assistant parce qu'une interaction a eu lieu dans la même session ou le même parcours. C'est là que s'arrêtent la plupart des tableaux de bord, et là que commence le surcomptage.
- Assisté (assisted). Une version plus stricte de l'attribution : le client a vraiment interagi avec l'assistant avant d'acheter. Utile pour la facturation et le reporting, mais toujours pas une preuve.
- Incrémental (incremental). La commande a eu lieu parce que l'assistant était là, et n'aurait pas eu lieu autrement. C'est le seul barreau qui répond à la vraie question de votre direction financière.
L'attribution et le revenu assisté vivent sur les deuxième et troisième barreaux. Ils vous disent ce que l'assistant a touché. Ils ne peuvent pas vous dire ce qu'il a changé.
Pourquoi l'attribution surcompte
Prenons un client qui a déjà un produit dans son panier, ouvre l'assistant pour confirmer un détail de livraison, puis passe commande. L'attribution enregistre une victoire. Mais cette commande allait avoir lieu. L'assistant était présent, pas décisif.
Multipliez ce cas à l'échelle d'un catalogue et vous obtenez un chiffre techniquement vrai et concrètement inutile. L'attribution récompense l'assistant pour sa simple présence. Elle ne peut pas soustraire les commandes que vous auriez remportées de toute façon, parce qu'elle n'a rien à quoi les comparer.
Ce « à quoi » est tout l'enjeu. Sans groupe de contrôle, il n'y a pas de contrefactuel, et sans contrefactuel, il n'y a pas de preuve.
L'Assisted Net Revenue est une base de facturation, pas une preuve
Nous mesurons l'Assisted Net Revenue (ANR), le revenu net assisté : le revenu net des commandes où un client a réellement sollicité l'assistant avant d'acheter, retours et annulations déduits. L'ANR est honnête sur ce qu'il est. C'est une base propre et auditable pour la tarification et le reporting, calculée de la même manière à chaque période.
Mais l'ANR est une base de facturation, pas une preuve d'incrémentalité. Il se situe sur le barreau « assisté ». Il décrit une association, pas une causalité. Tout fournisseur qui vous tend un chiffre de revenu assisté en l'appelant votre ROI vous demande de faire confiance à une corrélation.
Nous ne nous attribuons pas le revenu. Nous le prouvons, avec un holdout.
Un holdout est une part de vos clients tirée au sort qui ne voit jamais l'assistant. Ils parcourent le même catalogue, les mêmes prix, le même site. La seule différence, c'est que l'assistant shopping IA est désactivé pour eux.
Parce que l'affectation est aléatoire et persistante, les deux groupes sont statistiquement identiques en tout, sauf l'exposition. Donc lorsque le groupe exposé ajoute plus souvent au panier, convertit à un taux plus élevé ou dépense davantage par commande, l'écart est causal. Cet écart, c'est votre lift incrémental. C'est le chiffre qui mérite sa place dans une présentation au comité.
Un holdout crédible possède quatre propriétés :
- Natif. Intégré au déploiement, exécuté sur votre propre trafic et vos propres commandes, pas modélisé après coup.
- Toujours actif. Permanent, pas un test d'une semaine. La saisonnalité, les promotions et le mix de trafic changent en permanence ; un groupe de contrôle permanent absorbe ce bruit.
- Aléatoire et persistant. Un client affecté au holdout y reste, ce qui élimine l'auto-sélection et les fuites.
- Mesuré sur les résultats qui comptent. Ajout au panier, taux de conversion et panier moyen incrémentaux, groupe contre groupe, et non session contre session.
Le marchand n'a pas à faire confiance au fournisseur. Vous lisez vos propres données, depuis votre propre boutique, avec une méthode que vous pouvez auditer.
Un cadre pratique à appliquer
Vous n'avez pas besoin d'une équipe de data science pour tenir un fournisseur à ce niveau d'exigence. Suivez ces étapes :
- Nommez les quatre barreaux à voix haute. Demandez au fournisseur d'étiqueter chaque chiffre qu'il vous présente : suivi, attribué, assisté ou incrémental. Observez à quelle vitesse les chiffres impressionnants descendent dans l'échelle.
- Séparez la base de facturation de la preuve. Acceptez une métrique assistée comme l'ANR pour ce qu'elle est, un moyen de tarifer le service, et exigez un holdout pour la question du ROI.
- Exigez un groupe de contrôle natif et permanent. Si l'assistant ne peut pas être retiré à une part de trafic tirée au sort, le fournisseur ne peut pas prouver l'incrémentalité, seulement l'affirmer.
- Choisissez les résultats avant le lancement. Mettez-vous d'accord sur l'ajout au panier, la conversion et le panier moyen incrémentaux comme tableau de bord. Fixez la fenêtre de mesure à l'avance pour que personne ne sélectionne une bonne semaine après coup.
- Laissez tourner sur un cycle complet. Donnez au holdout le temps de lisser les promotions et la saisonnalité avant de lire le verdict.
Ce cadre est délibérément sans chiffres. Le but n'est pas de promettre un lift ; c'est de garantir que le chiffre que vous verrez un jour aura été gagné face à un groupe de contrôle plutôt qu'assemblé à partir d'interactions.
La preuve dépend des fondations qui la soutiennent. Notre Certified Catalog ancre l'assistant dans vos propres données produit certifiées, pour que les recommandations à l'origine de votre lift reposent sur une source vérifiée plutôt que sur des suppositions. L'AI-Powered Shopping Assistant est la surface avec laquelle vos clients interagissent vraiment. Le GEO-Ready Discovery prépare votre catalogue à être éligible et lisible lorsque les moteurs de réponse IA cherchent des produits. Le GEO relève de l'éligibilité et de la préparation, pas d'un placement garanti ; personne, nous compris, ne contrôle la manière dont un moteur tiers vous classe ou vous mentionne.
Cette distinction compte aujourd'hui. À mesure que les clients demandent de plus en plus à des assistants comme Rufus d'Amazon (renommé Alexa for Shopping en mai 2026) quoi acheter, la tentation de s'attribuer le mérite de chaque commande liée à l'IA ne fera que grandir. La préparation vous fait entrer dans ces conversations. Un holdout reste la seule chose qui prouve que la conversation a rapporté. Vous pouvez voir comment ces pièces s'assemblent sur notre présentation produit.
Questions fréquentes
Un holdout signifie-t-il perdre des ventes au profit du groupe de contrôle ?
Une petite part de trafic tirée au sort fonctionne sans l'assistant. C'est le prix de la vérité. La plupart des marchands constatent que mesurer une seule fois l'incrémentalité réelle, plutôt que de deviner indéfiniment, compense largement la part retenue, et le holdout peut être dimensionné pour garder ce compromis modeste.
Le revenu assisté ne suffit-il pas pour le reporting ?
Pour le reporting et la facturation, si. L'Assisted Net Revenue est une base propre et cohérente. Ne le confondez simplement pas avec une preuve. Dès que quelqu'un demande « ces commandes auraient-elles eu lieu de toute façon ? », seul le holdout peut répondre.
Et si un fournisseur ne peut pas proposer de holdout ?
Alors il peut vous montrer de l'attribution, mais pas de l'incrémentalité. Vous êtes libre d'acheter sur la base de l'attribution ; sachez simplement sur quel barreau de l'échelle vous vous tenez, et tarifez le risque en conséquence.
Vous voulez voir une mesure honnête en pratique ? Réservez une démonstration et nous vous montrerons le holdout, l'échelle et le mode de calcul de l'ANR. Si vous préférez le prouver sur votre propre trafic, le programme Design Partner intègre un holdout à votre déploiement dès le premier jour.