Un ranking que se equivoca de respuesta
Se extrajeron quinientos valores de una distribución lognormal. Phitter ajustó 63 distribuciones continuas sobre ellos. El resultado, ordenado tal como lo devuelve la librería:
| Puesto | Distribución | AIC | KS | AD | χ² p |
|---|---|---|---|---|---|
| 1 | inverse_gaussian | 1976.32 | 0.0352 | 0.5356 | 0.0832 |
| 2 | lognormal | 1976.43 | 0.0305 | 0.3296 | 0.1678 |
| 3 | inverse_gamma_3p | 1978.62 | 0.0281 | 0.3105 | 0.3054 |
El modelo verdadero quedó segundo. La ejecución completa está documentada en un ajuste reproducible, semilla incluida, así que no es un caso hipotético.
Nada falló. El ranking respondió a la pregunta que se le hizo; esa pregunta no era «¿qué distribución generó esta muestra?».
La diferencia que decide el primer puesto
La diferencia de AIC entre el primero y el segundo es de 0.11, sobre valores cercanos a 1976: una diferencia relativa del 0.006%. Al reajustar sobre otra muestra del mismo proceso, el orden se invertiría con toda probabilidad.
La convención en selección de modelos es que una diferencia de criterio de información menor que 2, aproximadamente, no ofrece fundamento para preferir un modelo sobre otro. Una brecha de 0.11 no es una victoria estrecha: es un empate que el ordenamiento tuvo que deshacer de algún modo.
De ahí que la primera pregunta ante cualquier ranking no sea qué está arriba sino por cuánto. Una tabla ordenada por un criterio continuo siempre produce una primera fila, la justifiquen los datos o no.
El ganador puntúa peor en las tres pruebas
Comparación de las dos primeras filas en los estadísticos de bondad de ajuste — en los tres, menor es mejor:
| inverse_gaussian | lognormal | |
|---|---|---|
| Kolmogorov–Smirnov | 0.0352 | 0.0305 |
| Anderson–Darling | 0.5356 | 0.3296 |
| Chi-cuadrado | 25.5446 | 22.4568 |
El segundo clasificado está más cerca de los datos según las tres medidas. Queda por debajo porque el criterio de ordenamiento no es ninguna de ellas.
Los criterios de información como AIC y BIC combinan verosimilitud con una penalización por el número de parámetros. Los estadísticos de bondad de ajuste miden la distancia entre la distribución empírica y la ajustada. Son preguntas distintas y pueden discrepar, como ocurre aquí. Un ranking tiene que elegir una; saber cuál eligió es la diferencia entre leer la tabla y malinterpretarla.
El efecto se ve más claro algo más abajo. burr_4p tiene el mejor estadístico Kolmogorov–Smirnov en bruto (0.0266) y el mejor Anderson–Darling (0.2124) de toda la ejecución. Ocupa el sexto puesto porque BIC le cobra sus cuatro parámetros. Si esa penalización es adecuada depende del objetivo — normalmente lo es, pero es una decisión de modelado, no un hecho sobre los datos.
«Pasa las pruebas» no es un filtro
De las 63 distribuciones ajustadas, 20 no fueron rechazadas por ninguna de las tres pruebas al nivel del 95%.
Ese número debería cambiar la forma de leer la tabla. Pasar no es evidencia de estar en lo correcto; con n = 500 es la condición normal para cualquier modelo con la forma aproximadamente adecuada. Las pruebas responden a «¿hay evidencia suficiente para descartar esto?» y la respuesta, para un tercio del catálogo, es que no.
Hay un segundo problema escondido en el mismo número. Ejecutar 63 pruebas al nivel del 95% implica que, aunque todas las candidatas fueran incorrectas, algunas sobrevivirían por azar. Un ranking presenta esto como una lista de aciertos. Se parece más a una lista de modelos que la muestra es demasiado pequeña para eliminar.
Para qué sirve realmente el ranking
Reduce 63 candidatas a un puñado que merece examen. Ese es un servicio real y es todo el servicio. La decisión sale de preguntas que la tabla no responde:
- ¿El soporte es correcto? Un modelo que asigna probabilidad a valores imposibles queda descartado sin importar su puesto: duraciones negativas, conteos fraccionarios, valores por encima de un máximo físico.
- ¿Los parámetros son verosímiles? En la ejecución anterior, la lognormal recuperó
mu=1.1891, sigma=0.5384frente a los valores verdaderos 1.2 y 0.55. Unos parámetros estimados que no tienen sentido para el proceso son una señal más fuerte que cualquier puntuación. - ¿Dónde discrepa el modelo? Un gráfico Q–Q muestra la ubicación y la dirección de la desviación. Dos modelos con estadísticos casi idénticos pueden fallar en colas opuestas.
- ¿Importa la diferencia para el uso previsto? Esta es la pregunta decisiva y queda por completo fuera de la tabla.
Cuándo importa el empate y cuándo no
Los dos primeros modelos de esta ejecución son casi indistinguibles en todo el rango observado. En la mediana difieren un 0.7%; en el percentil 95, un 1.2%.
En la cola lejana se separan. La probabilidad estimada de superar 20 es 0.0002 con la gaussiana inversa y 0.0004 con la lognormal — un factor de dos, sobre un evento que ninguno de los dos modelos observó, ya que el máximo muestral fue 16.49.
Si el objetivo es resumir el tiempo de reparación típico, la elección entre ambos es irrelevante y no merece dedicarle una tarde. Si el objetivo es dimensionar un colchón frente a desbordes raros, la elección es el análisis entero y el ranking no ha ayudado a tomarla. Ajuste para Monte Carlo trata qué hacer en el segundo caso.
Una regla de trabajo
Tratar la primera fila como una candidata, no como una conclusión. Leer el grupo de cabeza en lugar de la línea de cabeza: todos los modelos dentro de unos 2 puntos de AIC respecto al líder. Comprobar soporte y verosimilitud de los parámetros antes que las puntuaciones. Después, preguntar para qué sirve el modelo y si las candidatas de ese grupo discrepan sobre ello. Si no discrepan, sirve cualquiera. Si discrepan, la discrepancia es el resultado, y presentar un único ganador la oculta.