Random Forest vs Árbol de Decisión: Cuándo Compensa Subir de Modelo

Por qué un solo árbol tiembla ante un puñado de leads distintos

En el artículo anterior vimos algo que merece la pena recordar antes de seguir. Un árbol de decisión sin límite de profundidad clasificaba a la perfección los 1.600 leads de entrenamiento, con un AUC de 1,000, y cuando le llegaban leads nuevos se hundía hasta 0,617. El árbol de siete niveles que sí sobrevivía a la validación cruzada se quedaba en 67 hojas y en un AUC de test de 0,648, todavía por debajo del 0,683 de la regresión logística.

El diagnóstico de fondo no era que el árbol razonara mal. Cada corte que elegía tenía sentido con los datos que tenía delante. El problema es que esos datos eran pocos, y un árbol construido sobre 1.600 leads concretos depende demasiado de cuáles fueran exactamente esos 1.600 leads. Cámbialos un poco (quita cien, añade otros cien parecidos) y el árbol que sale puede ser bastante distinto, con cortes en sitios distintos y una opinión distinta sobre qué leads van a comprar. A eso se le llama varianza, y es un problema separado de si el modelo es lo bastante listo.

¿Y si cada árbol se equivoca de una forma distinta?

Esa es la apuesta de un Random Forest: en vez de un árbol entrenado con cuidado sobre todos los datos, entrenar muchos árboles sobre remuestras ligeramente distintas y quedarte con el promedio de lo que opinan. Lo comprobé entrenando sesenta árboles con la misma profundidad de siete niveles, cada uno sobre una remuestra con reemplazo de los 1.600 leads de entrenamiento. Esa técnica de remuestreo se llama bootstrap, y consiste sencillamente en sacar leads al azar permitiendo que el mismo lead pueda salir elegido varias veces. El resultado individual fue flojo: un AUC medio de 0,606, con una desviación de 0,027, moviéndose entre 0,524 en el peor caso y 0,660 en el mejor. Ni uno solo de los sesenta superó el 0,683 de la regresión logística.

Pero mira qué pasa cuando, en lugar de fiarte de uno, promedias lo que dicen varios a la vez.

Con sesenta árboles el promedio empata a la regresión logística. Con trescientos la supera, con un AUC de 0,691. Ningún árbol individual del conjunto sabe esto: cada uno sigue siendo, por su cuenta, peor que el modelo lineal. Lo que cambia el resultado es que sus errores no apuntan todos en la misma dirección, así que al promediar se van cancelando y sobrevive la señal que sí comparten.

Cómo construye scikit-learn un Random Forest, en la práctica

El experimento anterior usaba solo la mitad de la receta: remuestrear los leads con bootstrap. Un Random Forest añade una segunda capa de aleatoriedad que el bootstrap por sí solo no tiene, y esa segunda capa resulta ser la que más rinde.

from sklearn.ensemble import RandomForestClassifier

bosque = RandomForestClassifier(
    n_estimators=300,     # cuántos árboles promediar
    max_depth=7,           # misma profundidad que usamos en el artículo anterior
    max_features="sqrt",   # en cada corte, solo puede mirar una raíz cuadrada
                            # de las variables disponibles, elegidas al azar
    bootstrap=True,      # y cada árbol entrena sobre una remuestra distinta
    random_state=42,
)
bosque.fit(X_train, y_train)

El parámetro que marca la diferencia es max_features. Con quince variables disponibles tras el one-hot encoding, cada corte del árbol solo puede elegir entre una raíz cuadrada de ellas, unas cuatro, sorteadas de nuevo en cada división. Un árbol que no puede ver todas las variables a la vez toma, casi por definición, decisiones distintas de otro árbol al que le tocó ver un subconjunto diferente. Es una debilidad impuesta a propósito en cada árbol individual, precisamente para que el conjunto gane en diversidad lo que cada miembro pierde en potencia.

El efecto se nota incluso en el caso extremo de un bosque de un solo árbol. Entrenar un RandomForestClassifier con n_estimators=1 da un AUC de 0,558, peor que el 0,606 medio de los árboles con bootstrap puro del apartado anterior, y peor todavía que el 0,648 de un árbol completo sin restricción de variables. Ese único árbol del bosque está deliberadamente debilitado dos veces: ve menos leads y ve menos variables por corte. Solo cuando se suman cientos de esas versiones debilitadas, cada una equivocándose por su lado, el conjunto empieza a rendir.

¿Por qué no basta con remuestrear los leads?

Para aislar lo que aporta exactamente ese sorteo de variables, entrené dos conjuntos de árboles sobre el mismo dataset: un bagging clásico, que solo remuestrea leads, y un Random Forest completo, que además sortea variables en cada corte. Si el sorteo de variables no aportara nada, los dos deberían rendir igual.

El bagging se estanca alrededor de 0,700 por muchos árboles que le añadas, mientras que el Random Forest sigue subiendo hasta 0,733. La correlación media entre pares de árboles del bagging ronda 0,21-0,23; la de los árboles del Random Forest baja a 0,13-0,16. Menos correlación significa que los árboles se equivocan en sitios más distintos entre sí, y esa es la materia prima que el promedio necesita para funcionar: si todos los árboles cometieran el mismo error, promediarlos no arreglaría nada. El sorteo de variables no es un detalle menor de implementación: constituye la mitad del mecanismo que hace funcionar todo el conjunto.

El experimento completo sobre Aura Commerce

En el mundo aditivo el bosque nunca llega a cruzar a la regresión logística, por muchos árboles que le añadas: sube de 0,552 con un solo árbol hasta 0,743 con quinientos, y se queda a cuatro milésimas del 0,747 de la logística sin llegar a superarlo. Es la misma historia que ya contamos con el árbol individual, ahora confirmada también para el conjunto: cuando las relaciones son aditivas y monótonas, ni un árbol ni trescientos árboles inventan patrones que no existen.

En el mundo con umbrales la historia se invierte pronto. Con solo diez árboles el bosque ya marca 0,708 y supera el 0,683 de la logística. La ganancia se estabiliza sobre 0,73 a partir de cien árboles, y añadir más allá de trescientos apenas mueve la aguja: 0,733 con trescientos, 0,734 con quinientos. El experimento confirma algo práctico y ahorra dinero en computación: no hace falta perseguir bosques enormes, con un par de cientos de árboles el conjunto ya ha entregado casi todo lo que tiene que dar.

La ventaja es mayor justo cuando menos datos tienes

Aquí aparece el resultado que menos esperaba, y va en contra de la intuición habitual de que los métodos de conjunto necesitan mucho volumen para lucirse.

Con los 2.000 leads que Aura Commerce tiene hoy, el bosque le saca ocho centésimas y media de AUC al árbol individual. Con diez mil leads la ventaja se reduce a poco más de una centésima, y con cincuenta mil apenas se mueve. Cuantos más datos le das a un árbol individual, menos depende de qué leads concretos le tocaron, así que menos necesita el promediado que aporta el bosque. La ventaja del Random Forest no crece con el volumen, se diluye. Eso significa que precisamente en el punto en el que está hoy Aura Commerce, con datos históricos limitados, es donde subir a un conjunto de árboles compensa más, no menos.

El precio que no sale en la diapositiva de resultados

Todo lo anterior compara AUC contra AUC, y con esa única vara de medir el bosque gana con claridad en el mundo que más se parece al comportamiento real de compra. Pero el AUC no es la única cosa que le importa al negocio, y aquí es donde conviene ser honesto con lo que cuesta subir de complejidad.

Cuándo subir a un bosque, con números

Aplicado a Aura Commerce, este experimento afina la conclusión del artículo anterior más de lo que la contradice. Si el equipo comercial necesita seguir viendo por qué un lead puntúa alto, la regresión logística con las variables bien construidas sigue siendo la opción a operar. Pero si lo que importa es exprimir hasta la última centésima de AUC y se puede vivir con un modelo que nadie puede leer entero, el Random Forest ya está listo para entrar en producción con los datos que hay hoy, sin esperar a acumular más leads.

La pregunta que abre el siguiente artículo

Los trescientos árboles de este bosque no saben nada unos de otros. Se entrenan todos a la vez, en paralelo, cada uno ciego a lo que hicieron los demás, y solo se ponen de acuerdo al final, votando. Funciona, como hemos visto, pero deja una pregunta abierta: ¿qué pasaría si en vez de entrenar trescientos árboles ciegos entre sí, cada árbol nuevo se entrenara mirando en qué leads concretos se equivocó el árbol anterior, y se dedicara solo a corregir ese error? Serían árboles corrigiéndose en cadena, uno detrás de otro, en vez de árboles votando todos a la vez. Esa idea tiene nombre, y es la que abre la siguiente pieza de esta serie.