Al cerrar una tanda de contenido, la pregunta que se hace todo el mundo es cuál funcionó mejor. Es una pregunta natural y produce una respuesta inútil, porque el rendimiento de una pieza concreta mezcla tres cosas que no se pueden separar mirando esa pieza: lo que dice, dónde y cuándo se mostró, y el azar.
La pregunta que sí produce aprendizaje es distinta: qué tipo de enfoque funciona con este público. Y para responderla hay que haber diseñado el lote antes de producirlo.
Un lote es un conjunto de piezas con una hipótesis
Agrupar por hipótesis significa decidir, antes de encargar, qué se quiere poner a prueba. Por ejemplo: si conviene abrir mostrando el problema o mostrando el resultado; si conviene una demostración o un testimonio; si conviene mencionar el precio o no mencionarlo.
Cada hipótesis define un grupo. Dentro del grupo, las piezas comparten el enfoque y varían en creador y en ejecución. Así, la comparación entre grupos aísla razonablemente lo que se quería probar, y la variación dentro del grupo evita que un creador concreto arrastre la conclusión.
Esta decisión hay que tomarla en el encargo, porque después ya no se puede reconstruir. Un lote producido sin agrupación es un lote que sólo se puede leer pieza a pieza, que es como no leerlo.
| Observación | ¿Conclusión válida? | Por qué |
|---|---|---|
| Esta pieza rindió mucho mejor que las demás | No | Una pieza suelta recoge azar, momento y distribución en proporción desconocida |
| El grupo con apertura en primera persona rindió mejor que el grupo comparativo | Sí, con reservas | Es una comparación entre grupos, si las condiciones de publicación fueron equivalentes |
| El lote de este trimestre rindió peor que el del anterior | No, sin más | Cambiaron a la vez producto, temporada, presupuesto y público |
| Las piezas con este creador rinden mejor | Sólo con volumen suficiente | Con pocas piezas por creador, la diferencia no se distingue del ruido |
| El coste por pieza bajó | Sí | Es un dato de compra y no depende de la distribución |
| El material nuevo rinde mejor que el reutilizado | Con cautela | Puede reflejar agotamiento del estímulo y no calidad del contenido |
Marco de trabajo de la redacción. No es una medición de mercado, no procede de ningún estudio y no contiene tarifas de referencia.
Las condiciones de publicación deciden si la lectura vale
Si un grupo se publica en enero y otro en marzo, la comparación mide también la temporada. Si uno recibe el triple de presupuesto, mide el presupuesto. Si van a públicos distintos, mide el público.
Eso significa que buena parte de la calidad de la medición no depende del contenido sino de cómo lo distribuye el comprador, y esa parte es responsabilidad suya en exclusiva. Un proveedor de producción no puede comprometerse a resultados de rendimiento por la misma razón: no controla la variable que más pesa. Cualquier oferta que prometa un resultado está prometiendo algo ajeno a su ámbito, como se apunta en homologación de proveedores.
Elegir la métrica antes de ver los datos
Hay una tentación difícil de resistir: mirar los resultados y después decidir con qué métrica se juzga el lote. Si se hace así, siempre se encuentra una métrica que da la razón a lo que ya se pensaba.
La disciplina consiste en escribir en el plan de medición qué se va a mirar y en qué orden, antes de publicar. No hace falta una métrica sofisticada; hace falta que esté decidida de antemano y que sea la misma para todos los grupos.
Conviene además fijar cuántas piezas por grupo hacen falta para que la lectura no sea ruido. No hay una cifra universal que esta publicación pueda dar con respaldo, y la regla práctica es que si una sola pieza puede cambiar la conclusión del grupo, el grupo es demasiado pequeño.
Por qué aquí no hay cifras de referencia
La conversación del sector está llena de números: porcentajes de mejora del contenido de creador frente a la producción publicitaria, ratios de conversión típicos, umbrales de retención. Ninguno de esos números viene con una fuente que se pueda comprobar, y casi todos proceden de material comercial de quien vende el servicio.
Esta publicación no los reproduce. Lo que sí se puede afirmar sin forzar nada es el mecanismo: el formato consume creatividades deprisa, y por eso la ventaja del contenido de creador es de abastecimiento, no de persuasión. Esa ventaja es real, está disponible para cualquiera y por lo tanto no diferencia a nadie.
Cerrar el lote por escrito
Un lote termina con una conclusión escrita, aunque la conclusión sea que no se puede concluir nada porque las condiciones no fueron comparables. Escribirlo tiene dos efectos: evita que el mismo error se repita, y produce el documento que se adjunta al encargo siguiente.
Ese documento es lo que hace que el tercer lote sea mejor que el primero con el mismo proveedor y el mismo presupuesto. Y es lo que se pierde entero cuando se cambia de proveedor cada trimestre, según de la licitación trimestral al proceso repetible.
Devolver el resultado al proveedor
La última pieza del sistema es devolver al proveedor un resumen agregado. No hacen falta datos comerciales sensibles: basta con decir qué grupo funcionó mejor y qué se ha concluido.
Sin esa devolución, el proveedor produce a ciegas indefinidamente y el comprador se queja de que no mejora. Con ella, el encargo siguiente incorpora lo aprendido y la tasa de rechazo baja. Es un intercambio barato con un rendimiento alto, y es sorprendentemente raro.