6. Conceptos estadísticos básicos para el aprendizaje automático
Cuando hablamos de Machine Learning (ML) y Deep Learning (DL), entramos en un territorio donde las estadísticas juegan un papel crucial. Comprender conceptos estadísticos básicos es esencial para desarrollar modelos que no sólo sean eficientes sino también confiables. En este capítulo, cubriremos algunos de los conceptos estadísticos fundamentales que todo profesional de ML y DL debería conocer.
Variables aleatorias y distribuciones de probabilidad
Una variable aleatoria es una variable cuyos valores posibles son el resultado de un fenómeno aleatorio. Hay dos tipos de variables aleatorias: discretas, que toman un número contable de valores, y continuas, que toman cualquier valor en un intervalo o colección de intervalos. Comprender las variables aleatorias es importante para modelar la incertidumbre y hacer predicciones en ML.
Asociada a cada variable aleatoria, existe una distribución de probabilidad que describe cómo se distribuyen las probabilidades entre los posibles valores de la variable. Algunas de las distribuciones más comunes incluyen la distribución normal (o gaussiana), la distribución binomial y la distribución de Poisson, entre otras. Elegir la distribución correcta es esencial para modelar adecuadamente los datos y hacer inferencias estadísticas correctas.
Medidas de Tendencia Central y Dispersión
Las medidas de tendencia central incluyen la media, la mediana y la moda. Se utilizan para identificar el centro de los datos. El promedio es la suma de todos los valores dividida por el número de valores. La mediana es el valor medio cuando se ordenan los datos y la moda es el valor más frecuente. Estas mediciones le ayudan a comprender dónde están sus datos, pero no cuentan la historia completa.
Medidas de dispersión, como la desviación estándar, la varianza, el rango y el rango intercuartil, proporcionan información sobre la variación o dispersión de los datos alrededor de la tendencia central. La desviación estándar y la varianza son particularmente importantes ya que cuantifican el grado de dispersión de los datos y son fundamentales para entrenar y evaluar modelos de ML.
Teorema del límite central y ley de los números grandes
El Teorema del Límite Central (TLC) es uno de los pilares de la estadística. Afirma que para una muestra suficientemente grande, la distribución de las medias muestrales se aproximará a una distribución normal, independientemente de la distribución de los datos originales. Esto es extremadamente útil en ML ya que muchos métodos estadísticos suponen que los datos siguen una distribución normal.
La Ley de los Grandes Números (LGN) dice que a medida que aumenta el tamaño de la muestra, la media muestral se acerca a la media poblacional. Esto significa que podemos obtener estimaciones más precisas a medida que recopilamos más datos. En ML, esto es relevante para el entrenamiento de modelos, ya que cuantos más datos tengamos, más sólido será el modelo.
Inferencia estadística
La inferencia estadística es el proceso de sacar conclusiones sobre una población basándose en una muestra de datos. Esto incluye estimar parámetros, realizar pruebas de hipótesis y construir intervalos de confianza. En ML, la inferencia estadística se utiliza para validar modelos y hacer predicciones.
La prueba de hipótesis se utiliza para determinar si un resultado es estadísticamente significativo o se produjo por casualidad. Esto es crucial para evitar sobreinterpretar patrones en los datos que pueden no ser significativos.
Los intervalos de confianza proporcionan un rango dentro del cual esperamos que se encuentre el valor real del parámetro poblacional, con un cierto nivel de confianza. Esto es importante para comprender la precisión de nuestras estimaciones.
Correlación y causalidad
Lacorrelación mide la fuerza y la dirección de la relación lineal entre dos variables. El coeficiente de correlación varía de -1 a 1, donde 1 indica una correlación positiva perfecta, -1 indica una correlación negativa perfecta y 0 indica ninguna correlación. En ML, el análisis de correlación se utiliza para seleccionar características y comprender las relaciones entre variables.
Sin embargo, es fundamental comprender que la correlación no implica causalidad. La causalidad indica que una variable influye directamente en otra, lo cual es un concepto más sólido que la simple correlación. En ML, es importante no confundir los dos, ya que esto puede llevar a conclusiones erróneas sobre la influencia de las características en los resultados previstos.
Regresión y análisis de varianza (ANOVA)
Regresión es una técnica estadística utilizada para modelar y analizar relaciones entre variables. En ML, la regresión se utiliza a menudo para predecirvalores continuos. El análisis de regresión le ayuda a comprender cómo cambia el valor de la variable dependiente cuando varía cualquiera de las variables independientes.
El Análisis de Varianza (ANOVA) es una técnica que se utiliza para comparar las medias de tres o más grupos para ver si al menos uno de ellos es estadísticamente diferente de los demás. ANOVA es particularmente útil en situaciones de ML donde necesitamos probar la efectividad de diferentes algoritmos o parámetros.
En resumen, los conceptos estadísticos básicos son la columna vertebral del aprendizaje automático y el aprendizaje profundo. Proporcionan las herramientas necesarias para recopilar, analizar e interpretar datos, lo que permite que los modelos aprendan de los datos y hagan predicciones precisas. Por lo tanto, una comprensión sólida de estos conceptos es indispensable para cualquiera que quiera trabajar con ML y DL usando Python.
