Pourquoi nous exécutons un holdout permanent sur chaque déploiement
Chaque déploiement Querytail embarque un groupe de contrôle permanent. Pourquoi un holdout permanent, et non un test ponctuel, est la seule façon honnête de prouver le revenu incrémental.
Querytail exécute un holdout permanent, toujours actif, sur chaque déploiement, car un test A/B ponctuel répond à la question une seule fois, puis se périme discrètement. Un petit groupe de vos acheteurs, sélectionné au hasard, ne voit jamais l'assistant d'achat propulsé par l'IA : vous disposez ainsi d'un groupe de contrôle vivant qui continue de prouver le revenu incrémental à mesure que la saisonnalité, le catalogue et le trafic évoluent. Nous ne nous attribuons pas le revenu. Nous le prouvons, avec un holdout.
Pourquoi un test ponctuel se périme
Un test A/B est un instantané. Vous partagez le trafic, vous le laissez tourner quelques semaines, vous lisez le résultat, puis vous déployez. C'est très bien pour la couleur d'un bouton. Ça ne l'est pas pour un système dont l'impact évolue avec votre activité.
Dès que le test se termine, le chiffre commence à vieillir. Votre collection de printemps cède la place à l'automne. Un produit phare est en rupture. Votre mix de trafic payant change. Un concurrent modifie ses prix. Chacun de ces mouvements déplace la référence à laquelle l'assistant est comparé, et un test réalisé en mars n'en voit rien. Lorsque votre directeur financier demande si l'assistant fonctionne toujours, la réponse honnête d'un test ponctuel est « oui, à un moment donné ».
Un holdout permanent n'a jamais ce problème. Comme le groupe de contrôle est toujours actif, la comparaison est toujours à jour. La hausse que vous rapportez ce mois-ci est mesurée face aux acheteurs de ce mois-ci, au catalogue de ce mois-ci et au trafic de ce mois-ci.
Le mécanisme est volontairement simple, car ce qui est simple est auditable.
Une petite part de vos visiteurs, sélectionnée au hasard, est assignée à un groupe de contrôle et ne voit jamais l'assistant. Tous les autres bénéficient de l'expérience complète. L'assignation est aléatoire et persistante : un acheteur placé dans le holdout y reste pour toute la fenêtre de mesure, de sorte que vous comparez toujours ce qui est comparable, sans courir après une cible mouvante.
Nous comparons ensuite les deux groupes sur les indicateurs qui comptent, notamment le taux de conversion, le panier moyen, le revenu par visiteur et le taux de retour, et l'écart entre eux constitue la contribution incrémentale de l'assistant. Pas le revenu qu'il a touché. Le revenu qui n'aurait pas existé sans lui.
Deux éléments rendent ce chiffre digne de confiance :
- Il se réconcilie avec vos propres données. Le holdout se mesure face aux données de commandes du marchand, les mêmes commandes qui parviennent à votre système financier, et non à un chiffre parallèle que nous serions seuls à voir.
- Il est ancré dans une vérité produit certifiée. L'expérience reçue par le groupe traité repose uniquement sur vos données produit approuvées : la hausse que vous mesurez provient donc d'un assistant que vous pouvez assumer.
Vous conservez le checkout. Vous conservez les données. Vous conservez votre voix de marque. Le holdout se place sous l'ensemble comme un instrument de mesure, et non comme une refonte de votre boutique.
Le revenu assisté n'est pas le revenu incrémental
La plupart des fournisseurs rapportent le revenu assisté : chaque commande où un acheteur a, par hasard, touché l'assistant. C'est un chiffre imposant et flatteur, et une grande partie n'est pas due au produit. Beaucoup de ces acheteurs auraient acheté de toute façon.
Un holdout permanent vous permet de séparer les deux, et de les garder séparés dans le temps. Le revenu assisté vous dit quelle activité est passée par l'assistant. Le holdout vous dit quel revenu existe grâce à lui. En surveillant les deux, mois après mois, vous repérez le moment où le revenu assisté continue de grimper alors que le revenu incrémental stagne, le signal que vous commencez à payer pour des commandes que vous alliez déjà remporter.
C'est tout l'intérêt de notre promesse : Un revenu incrémental prouvé, pas un revenu attribué.
Ce qu'un holdout permanent vous apporte
- Un chiffre vivant, pas périmé — une hausse mesurée face à la saisonnalité, au catalogue et au trafic actuels, chaque mois.
- Un fournisseur que vous pouvez auditer — des résultats qui se réconcilient avec vos propres données de commandes, et non un tableau de bord que le fournisseur contrôle seul.
- L'assisté séparé de l'incrémental — vous savez toujours quelle part du revenu est réellement due à l'assistant.
- Une protection contre la dérive — changements de prix, variations saisonnières et évolutions du mix de trafic sont absorbés par le groupe de contrôle au lieu de gonfler discrètement votre résultat.
- Une réponse prête pour le directeur financier — « est-ce que ça marche toujours ? » a une réponse actuelle et défendable à tout moment, pas seulement dans les semaines suivant le lancement.
Pourquoi c'est important maintenant
Les assistants d'achat propulsés par l'IA deviennent une part normale de la façon dont les gens achètent, aussi bien sur les sites marchands que sur les grandes plateformes. L'assistant d'achat d'Amazon, Rufus, a été renommé Alexa for Shopping en mai 2026. À mesure que la catégorie se remplit, « notre IA a généré du revenu » sera affirmé partout. Un holdout permanent est ce qui vous permet de distinguer un vrai chiffre d'un chiffre marketing, y compris de notre part. Vous pouvez voir comment la mesure s'intègre au reste de la plateforme sur la page produit.
FAQ
Le holdout signifie-t-il que certains acheteurs ont une expérience dégradée ?
Non. Le groupe de contrôle voit votre site standard, la même expérience que celle de tous les acheteurs avant votre déploiement. Rien n'est dégradé ; un petit groupe ne reçoit simplement pas l'assistant, afin de toujours disposer d'une référence propre pour la mesure.
Pouvons-nous modifier la taille du holdout, ou le désactiver ?
Oui. Le groupe de contrôle est configurable, et vous pouvez l'ajuster à mesure que votre confiance grandit. Nous recommandons de conserver un holdout permanent précisément pour que la preuve ne se périme jamais, mais le choix, et les données, vous appartiennent.
Un holdout permanent n'est-il pas simplement un test A/B ?
C'est la même idée statistique, mais toujours active. Un test A/B a un début et une fin : sa réponse expire le jour où il s'arrête. Un holdout permanent maintient le résultat à jour aussi longtemps que l'assistant est en service.
Envie de voir le holdout tourner sur votre propre catalogue ? Réservez une démo guidée, ou collaborez directement avec nous via le programme Design Partner.