Qué preguntan las tres
Kolmogorov–Smirnov, Anderson–Darling y chi-cuadrado responden a versiones de la misma pregunta: si la muestra proviniera realmente de esta distribución ajustada, ¿qué tan inusual sería la discrepancia que se observa?
Ese planteamiento tiene una consecuencia que conviene establecer antes de cualquier detalle. Un p-valor alto no es evidencia de que el modelo sea correcto. Significa que la muestra es demasiado pequeña, o la discrepancia demasiado leve, para descartarlo. No rechazar es una conclusión débil, y se debilita más a medida que la muestra se reduce.
Las tres comparten además un problema más sutil. Sus valores críticos estándar suponen que la distribución se especificó antes de ver los datos. En un ajuste, los parámetros se estiman de la misma muestra que se está probando, lo que hace que el modelo encaje mejor de lo que debería y que los p-valores resulten optimistas. Las pruebas siguen siendo útiles para comparar candidatas entre sí; son menos fiables como veredictos absolutos.
Kolmogorov–Smirnov: la mayor brecha individual
KS toma la distribución acumulada empírica de la muestra, la distribución acumulada ajustada y mide la mayor distancia vertical entre ambas.
Como reporta un máximo, una sola ubicación determina todo el estadístico. Y como la función acumulada empírica está restringida cerca de 0 y de 1 en los extremos, esa ubicación cae casi siempre cerca del centro de la distribución.
- Sensible a: desplazamientos de localización, discrepancias en el cuerpo de la distribución.
- Ciega a: las colas. Un modelo puede equivocarse gravemente sobre los valores extremos y aun así obtener un excelente estadístico KS.
- Útil para: una verificación rápida de que el grueso de la distribución es correcto.
Anderson–Darling: distancia ponderada hacia las colas
AD integra la distancia cuadrática entre ambas funciones acumuladas en todo el rango, ponderando cada punto por 1 / (F(x)(1 − F(x))). Ese peso crece sin límite cuando F(x) se acerca a 0 o a 1, de modo que la discrepancia en las colas cuenta mucho más que la discrepancia en el centro.
Eso la convierte en la más aguda de las dos para la mayoría del trabajo práctico, y en la preferible siempre que importen los valores extremos.
- Sensible a: el comportamiento de las colas y a errores de forma en cualquier punto.
- Ciega a: menos cosas que las otras, razón por la que suele rechazar primero.
- Útil para: análisis de riesgo, dimensionamiento de capacidad, cualquier caso donde la cola sea el objetivo.
Chi-cuadrado: comparar conteos por intervalos
Chi-cuadrado divide el rango en intervalos, compara los conteos observados con los que predice el modelo y suma las diferencias cuadráticas normalizadas.
La partición en intervalos es a la vez su debilidad y su fortaleza exclusiva. Es la única de las tres que se aplica de forma natural a datos discretos, donde los valores se repiten y la acumulada empírica es una función escalonada con pocos escalones. Pero para datos continuos el resultado depende de una decisión propia y no solo de los datos: al cambiar el número de intervalos, cambia el estadístico.
- Sensible a: desajustes sistemáticos en regiones amplias; aplicable a datos discretos.
- Ciega a: estructuras más finas que el ancho del intervalo. Necesita conteos esperados suficientes por intervalo — la regla habitual es al menos cinco.
- Útil para: ajustes discretos y como contraste sobre los continuos.
Discrepan, y la discrepancia informa
De un ajuste real de 63 distribuciones continuas sobre 500 observaciones lognormales (ejecución completa aquí):
| Distribución | KS | AD | χ² | Puesto |
|---|---|---|---|---|
| inverse_gaussian | 0.0352 | 0.5356 | 25.5446 | 1 |
| lognormal | 0.0305 | 0.3296 | 22.4568 | 2 |
| burr_4p | 0.0266 | 0.2124 | 19.6533 | 6 |
Tres pruebas, tres estadísticos, y el orden que implican no es el orden que da el ranking, porque el ranking ordena por criterios de información. burr_4p gana en las tres pruebas y queda sexta, tras habérsele cobrado sus cuatro parámetros.
Leídas en conjunto, las tres pruebas indican dónde difieren los modelos. Leída por separado, cualquiera de ellas puede quedar satisfecha con un modelo que se equivoca en un lugar que esa prueba no mira.
El número que importa más que cualquier prueba
En esa misma ejecución, 20 de las 63 distribuciones ajustadas no fueron rechazadas por ninguna de las tres pruebas al nivel del 95%.
Pasar no es una distinción. Es el desenlace normal para cualquier candidata con la forma aproximadamente correcta, porque las pruebas preguntan si hay evidencia suficiente para descartar el modelo — y con n = 500, para modelos que solo difieren en sus colas, no la hay.
Esto plantea además un problema de comparaciones múltiples que las pruebas nunca fueron diseñadas para manejar. Al evaluar 63 candidatas al nivel del 95%, unas cuantas sobrevivirán solo por azar. Una lista de modelos que «pasaron» se parece más a una lista de modelos que la muestra no puede eliminar.
Orden práctico de lectura
- Revisar primero el soporte. Un modelo que asigna masa de probabilidad a valores imposibles queda descartado, digan lo que digan sus p-valores.
- Leer Anderson–Darling primero entre las tres. Es la más sensible y, en la mayoría de los contextos aplicados, sensible en el lugar correcto.
- Usar KS como verificación del cuerpo. Un buen AD con un KS pobre señala un problema en el centro de la distribución.
- Usar chi-cuadrado para datos discretos, y registrar el número de intervalos junto al resultado: sin él no es reproducible.
- Mirar un gráfico Q–Q. Los tres estadísticos comprimen una función entera en un solo número. El gráfico muestra dónde se desvía el modelo y en qué dirección, que es la información necesaria para decidir si la desviación importa.
- No detenerse en «no rechazado». La pregunta es qué modelo es defendible para el proceso, no cuál sobrevivió.
Phitter reporta las tres, con estadístico de prueba, valor crítico, p-valor y decisión de rechazo para cada una, en df_sorted_distributions. Que aparezcan una junto a otra es deliberado: la comparación entre ellas contiene más información que cualquier columna aislada.