Gradient Boosting vs Random Forest: Cuándo Compensa Cada Uno

Antes de entrenar nada conviene ser honesto con la pregunta que dejamos abierta. Corregir en cadena suena, sobre el papel, estrictamente mejor que votar a la vez: un árbol que ve dónde se equivocó el anterior debería aprender más rápido que trescientos árboles ciegos entre sí. La intuición es razonable. También lo era la intuición de que un árbol individual ganaría al modelo lineal en el mundo con umbrales, y en el artículo anterior ese árbol perdía. Cada vez que la serie ha comprobado una intuición razonable contra el experimento, el experimento ha tenido matices que la intuición no traía. Esta vez no iba a ser distinto.

¿Gana de verdad corregir en cadena, o es otro caso de "depende"?

El random forest del artículo anterior funciona por votación: trescientos árboles entrenan en paralelo, cada uno sobre una remuestra distinta de leads y viendo solo un subconjunto de variables, y al final se promedia lo que opinan. Ningún árbol sabe nada de los demás mientras entrena. El gradient boosting cambia esa regla de raíz: entrena un árbol pequeño, mira en qué leads concretos se ha equivocado, y entrena el siguiente árbol para corregir justo ese error residual, no para predecir el resultado desde cero. El tercer árbol corrige lo que el segundo todavía dejó pasar, y así sucesivamente. Cada árbol es deliberadamente simple, a veces de apenas tres niveles, porque no tiene que resolver el problema entero: solo tiene que arreglar lo que quedó sin resolver.

Corregir en cadena, no votar a la vez

La diferencia mecánica tiene una consecuencia que conviene ver dibujada antes de entrenar nada. El bosque del artículo anterior combina trescientos árboles independientes que nunca se comunican entre sí; el boosting encadena árboles donde cada uno depende exactamente del error acumulado por todos los anteriores. Esa dependencia es lo que le permite, en teoría, concentrar esfuerzo con más precisión. También es lo que lo hace más frágil: si un árbol de la cadena se equivoca de forma sistemática, el siguiente hereda ese sesgo en vez de compensarlo por votación.

Cómo se entrena esto, en la práctica

El parámetro que gobierna toda esta receta es la tasa de aprendizaje, o learning_rate. En cada ronda, el árbol nuevo no corrige el error residual al cien por cien: lo corrige solo una fracción pequeña, típicamente entre el 2% y el 10%. Esa fracción se llama shrinkage, y existe a propósito para que ningún árbol individual tenga demasiado peso sobre la predicción final. Cuanto más baja la tasa, más rondas hacen falta para llegar al mismo sitio, pero el camino es más prudente.

from sklearn.ensemble import HistGradientBoostingClassifier

boosting = HistGradientBoostingClassifier(
    max_iter=300,       # rondas de corrección en cadena
    learning_rate=0.05, # cada ronda corrige solo un 5% del error
    max_depth=3,         # árboles deliberadamente simples
    random_state=42,
)
boosting.fit(X_train, y_train)

El resultado incómodo: con los datos de hoy, pierde

Con los 2.000 leads que Aura Commerce tiene hoy, entrenando trescientas rondas a una tasa de aprendizaje del 5%, el boosting marca 0,683 de AUC en test. Es exactamente la misma cifra que la regresión logística, y queda cinco centésimas por debajo del 0,733 del bosque del artículo anterior. La cadena de corrección no le saca ninguna ventaja al voto en paralelo con el volumen que hay hoy. Al contrario, con este mismo dataset pierde contra el modelo del artículo anterior.

El patrón se invierte en cuanto sube el volumen. Con 10.000 leads históricos el boosting ya saca casi dos centésimas al bosque, 0,704 frente a 0,687, y con 50.000 sigue por delante, 0,706 frente a 0,699. La cadena de corrección necesita más ejemplos para que cada ronda tenga una señal fiable sobre la que corregir; con pocos leads, esa señal es ruidosa, y encadenar árboles sobre ruido acumula el error en vez de reducirlo. Es la misma lógica que ya vimos con el árbol individual en el artículo sobre árboles de decisión, aplicada un escalón más arriba: la estructura más sofisticada no falla porque sea peor idea, falla porque necesita un volumen que Aura Commerce todavía no tiene.

Repetí el mismo experimento en el mundo aditivo, donde la lógica ya sabíamos que favorecía al modelo lineal desde el primer artículo de esta línea. Con 2.000 leads la logística marca 0,747 y el boosting se queda en 0,729; con 50.000, 0,718 frente a 0,715. El boosting nunca cruza a la logística en ese mundo, tampoco con más datos: confirma que lo que decide el resultado es la forma de la relación entre las variables, no el nivel de sofisticación del modelo.

¿Por qué hay que frenarlo, si el bosque nunca necesitó freno?

Hay una asimetría entre los dos modelos que merece la pena entender antes de tocar el learning_rate. Añadir más árboles a un bosque nunca lo empeora demasiado: cada árbol nuevo es independiente, así que en el peor caso el promedio simplemente deja de mejorar. Añadir más rondas a un boosting es distinto, porque cada ronda nueva sigue corrigiendo errores del train, incluidos los que son ruido y no señal real. Pasado cierto punto, el modelo deja de aprender el patrón y empieza a memorizar los 1.600 leads concretos de entrenamiento.

Bajar la tasa de aprendizaje cambia esa curva por completo. A una tasa del 30% el hueco entre entrenamiento y test llega a 0,322 tras trescientas rondas sin frenar. A una tasa del 2%, con el mismo número de rondas, el hueco se queda en 0,104 y el AUC de test sube hasta 0,703, el mejor resultado de todo el experimento sin usar ningún mecanismo de parada. El precio es que hacen falta las trescientas rondas completas para llegar ahí: una tasa baja aprende más despacio, pero también se resiste más a memorizar el ruido.

Lo que sí gana ya hoy: velocidad

El AUC no es la única cifra que le importa a un sistema de scoring, y aquí es donde el boosting recupera terreno incluso con los 2.000 leads de hoy. El bosque de trescientos árboles del artículo anterior tarda 73,4 milisegundos en puntuar los 400 leads del conjunto de test. El modelo de boosting, con las 58 rondas que eligió el early stopping, tarda 2,0 milisegundos sobre el mismo conjunto. Es 36 veces más rápido, porque en vez de recorrer trescientos árboles independientes solo tiene que recorrer 58, y cada uno de ellos es más simple.

Para un scoring que se recalcula una vez al día sobre el histórico de leads, esa diferencia es irrelevante. Para un scoring que se ejecuta en el momento en que un lead visita la web, cada milisegundo cuenta, y ahí el boosting entrega casi el mismo AUC que la regresión logística con una latencia que ni el árbol individual ni el bosque pueden igualar.

SHAP: recuperar lo que el bosque no podía explicar

El artículo anterior terminaba con una advertencia incómoda: el bosque de trescientos árboles acumulaba casi 20.000 hojas repartidas entre todos ellos, y ninguna regla individual explicaba ya por qué un lead concreto había puntuado como puntuó. El boosting hereda el mismo problema, con menos hojas pero la misma opacidad de fondo. Lo que cambia es que existe una herramienta pensada exactamente para este tipo de modelo: SHAP, que reparte la predicción de cada lead entre sus variables, asignando a cada una la parte de la puntuación que le corresponde a ella y solo a ella.

import numpy as np, shap

explainer = shap.TreeExplainer(boosting)
valores_shap = explainer.shap_values(X_test)

# importancia global: media del valor absoluto por variable
importancia = np.abs(valores_shap).mean(axis=0)

Sobre una muestra de 400 leads de test, las variables que más pesan en conjunto son exactamente las que la serie lleva señalando desde el artículo sobre árboles de decisión: los días desde el primer contacto (peso medio de 0,276) y las páginas visitadas (0,198), por delante del tamaño de empresa, los emails abiertos y el canal de origen. SHAP no descubre variables nuevas; confirma, con una métrica distinta, la misma historia que ya contaban la ventana de maduración y el umbral de páginas.

Lo interesante no es la importancia global, que ya la teníamos de otras formas, sino la explicación lead a lead. Tomo dos leads reales del conjunto de test. El primero, con la puntuación más alta de la muestra, lleva 33 días desde el primer contacto (dentro de la ventana de maduración que se centra en el día 25), ha visitado 13 páginas (por encima del umbral de intención) y ha abierto 7 emails: SHAP reparte su puntuación asignando +0,613 a las páginas visitadas y +0,409 a los días, las dos variables que más empujan hacia arriba. El segundo, con la puntuación más baja, lleva 63 días desde el primer contacto, muy fuera de la ventana, y llegó por un canal de pago siendo una empresa micro, la combinación que ya identificamos antes como la peor de todas: SHAP le asigna −1,571 solo a los días, un peso que por sí solo explica casi toda la caída.

Cuándo subir a boosting, con números

Aplicado a Aura Commerce, con sus 2.000 leads históricos, la conclusión no es que el boosting haya llegado a sustituir al bosque del artículo anterior: hoy no lo hace, y cualquier titular que dijera lo contrario estaría maquillando la tabla de resultados. Lo que sí cambia es que, en cuanto el histórico cruce el umbral de los diez mil leads, o en cuanto el scoring necesite responder en el momento en que el lead entra en la web, el modelo que corrige en cadena ya está listo, probado y con la forma de explicarlo lead a lead que el bosque había dejado pendiente.

Preguntas frecuentes sobre gradient boosting y random forest

La pregunta que abre el siguiente artículo

Entre esta pieza y las tres anteriores de esta línea, Aura Commerce ya tiene cuatro formas distintas de puntuar a un lead, y sabe exactamente en qué condiciones conviene cada una. Sabe también, gracias a SHAP, por qué un lead concreto puntúa como puntúa: la ventana de días, las páginas visitadas, el canal de origen. Toda esta serie ha estado resolviendo una única pregunta, "¿qué lead vale la pena?", cada vez con más precisión. Queda la pregunta que de verdad mueve el negocio: sabiendo qué lead vale la pena y por qué, ¿qué hace Aura Commerce con esa información antes de que el lead se enfríe?