Cómo probar de verdad el ROI del comercio agéntico
Los paneles de atribución reclaman ingresos que habrían ocurrido igualmente. Cómo un holdout nativo prueba el ROI incremental de un asistente de compras con IA, no solo el ingreso atribuido.
La mayoría de las cifras de ROI del comercio agéntico están infladas. Los paneles de atribución reclaman pedidos que habrían ocurrido igualmente: el ingreso que muestran parece impresionante y no prueba casi nada. La única forma honesta de probar el ROI es un holdout nativo y permanente: un grupo de compradores elegido al azar que nunca se encuentra con el asistente, comparado con quienes sí lo hacen, para medir el añadido al carrito, la conversión y el ticket medio incrementales que el asistente crea realmente.
Esa es la diferencia entre contar y probar. Aquí le explicamos cómo distinguirlos, y un marco práctico que puede aplicar a cualquier asistente de compras con IA, incluido el nuestro.
Los cuatro peldaños de la escalera del ingreso
Toda afirmación sobre ingresos generados por IA se apoya en uno de estos cuatro peldaños. Subir por la escalera es pasar de la actividad hacia la causalidad.
- Registrado (tracked). El asistente hizo algo medible: un comprador lo abrió, hizo una pregunta, vio una recomendación. Eso es interacción, no ingreso.
- Atribuido (attributed). Una regla asigna un pedido al asistente porque hubo un contacto en la misma sesión o recorrido. Aquí es donde se detienen la mayoría de los paneles, y donde empieza el sobreconteo.
- Asistido (assisted). Una versión más estricta de la atribución: el comprador interactuó de verdad con el asistente antes de comprar. Útil para facturación y reporting, pero todavía no es una prueba.
- Incremental (incremental). El pedido ocurrió porque el asistente estaba, y no habría ocurrido de otro modo. Es el único peldaño que responde a la verdadera pregunta de su director financiero.
La atribución y el ingreso asistido viven en el segundo y tercer peldaño. Le dicen qué tocó el asistente. No pueden decirle qué cambió.
Por qué la atribución sobrecuenta
Piense en un comprador que ya tiene un producto en el carrito, abre el asistente para confirmar un detalle de envío y luego finaliza la compra. La atribución registra una victoria. Pero ese pedido iba a suceder. El asistente estuvo presente, no fue decisivo.
Multiplique ese caso por todo un catálogo y obtiene una cifra técnicamente cierta y prácticamente inútil. La atribución premia al asistente por estar en la sala. No puede restar los pedidos que habría ganado igualmente, porque no tiene nada contra qué restarlos.
Ese «contra qué» es lo que está en juego. Sin grupo de control no hay contrafactual, y sin contrafactual no hay prueba.
El Assisted Net Revenue es una base de facturación, no una prueba
Medimos el Assisted Net Revenue (ANR), el ingreso neto asistido: el ingreso neto de los pedidos en los que un comprador recurrió de verdad al asistente antes de comprar, descontadas devoluciones y cancelaciones. El ANR es honesto sobre lo que es. Es una base limpia y auditable para la tarificación y el reporting, calculada de la misma manera en cada período.
Pero el ANR es una base de facturación, no una prueba de incrementalidad. Se sitúa en el peldaño «asistido». Describe una asociación, no una causalidad. Cualquier proveedor que le entregue una cifra de ingreso asistido y la llame su ROI le está pidiendo que confíe en una correlación.
No nos atribuimos los ingresos. Los probamos, con un holdout.
El holdout: cómo funciona realmente la prueba
Un holdout es una parte de sus compradores elegida al azar que nunca ve el asistente. Recorren el mismo catálogo, los mismos precios, el mismo sitio. La única diferencia es que el asistente de compras con IA está apagado para ellos.
Como la asignación es aleatoria y persistente, los dos grupos son estadísticamente idénticos en todo salvo en la exposición. Así que cuando el grupo expuesto añade al carrito con más frecuencia, convierte a mayor tasa o gasta más por pedido, la diferencia es causal. Esa diferencia es su lift incremental. Es la cifra que merece un lugar en una presentación al consejo.
Un holdout creíble tiene cuatro propiedades:
- Nativo. Integrado en el despliegue, ejecutado sobre su propio tráfico y sus propios pedidos, no modelado a posteriori.
- Siempre activo. Permanente, no una prueba de una semana. La estacionalidad, las promociones y la mezcla de tráfico cambian constantemente; un grupo de control permanente absorbe ese ruido.
- Aleatorio y persistente. Un comprador asignado al holdout permanece en él, lo que elimina la autoselección y las fugas.
- Medido sobre los resultados que importan. Añadido al carrito, tasa de conversión y ticket medio incrementales, grupo contra grupo, y no sesión contra sesión.
El comerciante no tiene que confiar en el proveedor. Usted lee sus propios datos, desde su propia tienda, con un método que puede auditar.
Un marco práctico que puede aplicar
No necesita un equipo de ciencia de datos para exigir este estándar a un proveedor. Siga estos pasos:
- Nombre los cuatro peldaños en voz alta. Pida al proveedor que etiquete cada cifra que le muestre: registrada, atribuida, asistida o incremental. Observe con qué rapidez las cifras impresionantes bajan por la escalera.
- Separe la base de facturación de la prueba. Acepte una métrica asistida como el ANR por lo que es, una forma de tarificar el servicio, y exija un holdout para la pregunta del ROI.
- Exija un grupo de control nativo y permanente. Si el asistente no puede retirarse a una parte del tráfico elegida al azar, el proveedor no puede probar la incrementalidad, solo afirmarla.
- Elija los resultados antes del lanzamiento. Acuerde el añadido al carrito, la conversión y el ticket medio incrementales como cuadro de mando. Fije la ventana de medición de antemano para que nadie escoja una buena semana a posteriori.
- Déjelo correr un ciclo completo. Dé al holdout tiempo suficiente para suavizar promociones y estacionalidad antes de leer el veredicto.
Este marco es deliberadamente libre de cifras. El objetivo no es prometer un lift; es asegurar que la cifra que vea algún día se haya ganado frente a un grupo de control, en lugar de ensamblarse a partir de contactos.
Cómo encaja con el resto del stack
La prueba depende de los cimientos que la sostienen. Nuestro Certified Catalog ancla el asistente en sus propios datos de producto certificados, para que las recomendaciones detrás de su lift descansen sobre una fuente verificada y no sobre conjeturas. El AI-Powered Shopping Assistant es la superficie con la que sus compradores realmente interactúan. El GEO-Ready Discovery prepara su catálogo para ser elegible y legible cuando los motores de respuesta con IA buscan productos. El GEO es cuestión de elegibilidad y preparación, no de una colocación garantizada; nadie, nosotros incluidos, controla cómo un motor de terceros le clasifica o le menciona.
Esa distinción importa hoy. A medida que los compradores preguntan cada vez más a asistentes como Rufus de Amazon (renombrado Alexa for Shopping en mayo de 2026) qué comprar, la tentación de atribuirse el mérito de cada pedido cercano a la IA solo crecerá. La preparación le mete en esas conversaciones. Un holdout sigue siendo lo único que prueba que la conversación dio fruto. Puede ver cómo encajan estas piezas en nuestra presentación de producto.
Preguntas frecuentes
¿Un holdout significa perder ventas a manos del grupo de control?
Una pequeña parte del tráfico elegida al azar funciona sin el asistente. Ese es el precio de saber la verdad. La mayoría de los comerciantes descubren que medir una vez la incrementalidad real, en lugar de adivinar para siempre, compensa con creces la porción retenida, y el holdout puede dimensionarse para mantener ese compromiso modesto.
¿No basta el ingreso asistido para el reporting?
Para reporting y facturación, sí. El Assisted Net Revenue es una base limpia y consistente. Solo no lo confunda con una prueba. En cuanto alguien pregunta «¿habrían ocurrido estos pedidos igualmente?», solo el holdout puede responder.
¿Y si un proveedor no puede ofrecer un holdout?
Entonces puede mostrarle atribución, pero no incrementalidad. Es libre de comprar sobre la base de la atribución; solo sepa en qué peldaño de la escalera está, y tarifique el riesgo en consecuencia.
¿Quiere ver la medición honesta en la práctica? Reserve una demostración y le mostraremos el holdout, la escalera y cómo se calcula el ANR. Si prefiere probarlo sobre su propio tráfico, el programa Design Partner integra un holdout en su despliegue desde el primer día.