Mínimos cuadrados

De Wikipedia, la enciclopedia libre

Se ha sugerido que este artículo o sección sea fusionado con Método de mínimos cuadrados. (Discusión).

Mínimos cuadrados es una técnica de optimización matemática que, dada una serie de mediciones, intenta encontrar una función que se aproxime a los datos (un "mejor ajuste"). Intenta minimizar la suma de cuadrados de las diferencias ordenadas (llamadas residuos) entre los puntos generados por la función y los correspondientes en los datos. Específicamente, se llama mínimos cuadrados promedio (LMS) cuando el número de datos medidos es 1 y se usa el método de descenso por gradiente para minimizar el residuo cuadrado. Se sabe que LMS minimiza el residuo cuadrado esperado, con el mínimo de operaciones (por iteración). Pero requiere un gran número de iteraciones para converger.

Un requisito implícito para que funcione el método de mínimos cuadrados es que los errores de cada medida estén distribuidos de forma aleatoria. El teorema de Gauss-Markov prueba que los estimadores mínimos cuadráticos carecen de sesgo y que el muestreo de datos no tiene que ajustarse, por ejemplo, a una distribución normal. También es importante que los datos recogidos estén bien escogidos, para que permitan visibilidad en las variables que han de ser resueltas (para dar más peso a un dato en particular, véase mínimos cuadrados ponderados).

La técnica de mínimos cuadrados se usa comúnmente en el ajuste de curvas. Muchos otros problemas de optimización pueden expresarse también en forma de mínimos cuadrados, minimizando la energía o maximizando la entropía

[editar] Historia

Carl Friedrich Gauss

El día de Año Nuevo de 1801, el astrónomo italiano Giuseppe Piazzi descubrió el asteroide Ceres. Fue capaz de seguir su órbita durante 40 días. Durante el curso de ese año, muchos científicos intentaron estimar su trayectoria en base a las observaciones de Piazzi (resolver las ecuaciones no lineales de Kepler de movimiento es muy difícil). La mayoría de evaluaciones fueron inútiles; el único cálculo suficientemente preciso para permitir a Zach, astrónomo alemán, reencontrar a Ceres al final del año fue el de un Carl Friedrich Gauss de 24 años (los fundamentos de su enfoque ya los había plantado en 1795, cuando aún tenía 18 años). Pero su método de mínimos cuadrados no se publicó hasta 1809, apareciendo en el segundo volumen de su trabajo sobre mecánica celeste, Theoria Motus Corporum Coelestium in sctionibus conicis solem ambientium. El francés Adrien-Marie Legendre desarrolló el mismo método de forma independiente en 1805.

En 1829 Gauss fue capaz de establecer la razón del éxito maravilloso de este procedimiento: simplemente, el método de mínimos cuadrados es óptimo en muchos aspectos. El argumento concreto se conoce como teorema de Gauss-Markov.

[editar] Formulación del problema

Supóngase que el conjunto de datos consiste en los puntos (x_i,y_i) siendo . Queremos encontrar una función f tal que .

Para llegar a este objetivo, suponemos que la función f es de una forma particular que contenga algunos parámetros que necesitamos determinar. Por ejemplo, supongamos que es cuadrática, lo que quiere decir que f(x) = ax² + bx + c, donde no conocemos aún a, b y c. Ahora buscamos los valores de a, b y c que minimicen la suma de los cuadrados de los residuos (S):

Esto explica el nombre de mínimos cuadrados.

[editar] Solución del problema de los mínimos cuadrados

En el ejemplo anterior, f es lineal para los parámetros a, b y c. El problema se simplifica considerablemente en este caso y esencialmente se reduce a un sistema lineal de ecuaciones. Esto se explica en el artículo de los mínimos cuadrados lineales.

El problema es más complejo si f no es lineal para los parámetros a ser determinados. Entonces necesitamos resolver un problema de optimización general (sin restricciones). Se puede usar cualquier algoritmo para tal problema, como el método de Newton y el descenso por gradiente. Otra posibilidad es aplicar un algoritmo desarrollado especialmente para tratar con los problemas de mínimos cuadrados, como por ejemplo el algoritmo de Gauss-Newton o el algoritmo de Levenberg-Marquardt.

[editar] Mínimos cuadrados y análisis de regresión

En el análisis de regresión, se sustituye la relación

por

siendo el término de perturbación ε una variable aleatoria con media cero. Obśervese que estamos asumiendo que los valores x son exactos, y que todos los errores están en los valores y. De nuevo, distinguimos entre regresión lineal, en cuyo caso la función f es lineal para los parámetros a ser determinados (ej., f(x) = ax² + bx + c), y regresión no lineal. Como antes, la regresión lineal es mucho más sencilla que la no lineal. (Es tentador pensar que la razón del nombre regresión lineal es que la gráfica de la función f(x) = ax + b es una línea. Ajustar una curva f(x) = ax² + bx + c, estimando a, b y c por mínimos cuadrados es un ejemplo de regresión lineal porque el vector de estimadores mínimos cuadráticos de a, b y c es una transformación lineal del vector cuyos componentes son f(x_i) + ε_i).

Los parámetros (a, b y c en el ejemplo anterior) se estiman con frecuencia mediante mínimos cuadrados: se toman aquellos valores que minimicen la suma S. El teorema de Gauss-Markov establece que los estimadores mínimos cuadráticos son óptimos en cierto sentido, si tomamos f(x) = ax + b estando a y b por determinar y con los términos de perturbación ε independientes y distribuidos idénticamente (véase el artículo si desea una explicación más detallada y con condiciones menos restrictivas sobre los términos de perturbación).

La estimación de mínimos cuadrados para modelos lineales es notoria por su falta de robustez frente a valores atípicos (outliers). Si la distribución de los atípicos es asimétrica, los estimadores pueden estar sesgados. En presencia de cualquier valor atípico, los estimadores mínimos cuadráticos son ineficientes y pueden serlo en extremo. Si aparecen valores atípicos en los datos, son más apropiados los métodos de regresión robusta.

[editar] Referencias

• Abdi, H: "[1] (2003). Least-squares.", en M. Lewis-Beck, A. Bryman, T. Futing (Eds): Encyclopedia for research methods for the social sciences. Thousand Oaks (CA): Sage. pp. 792-795..-

2003.-

[editar] Véase también

• Regresión isotónica
• Filtro de mínimos cuadrados promedio
• Estimación de mínimos cuadrados de coeficientes para regresión lineal
• Regresión lineal
• Mínimos cuadrados móviles
• Análisis de regresión
• Regresión robusta
• Valor eficaz
• Mínimos cuadrados totales
• Mínimos cuadrados ponderados

[editar] Enlaces externos

En inglés

• http://www.physics.csbsju.edu/stats/least_squares.html
• Zunzun.com - Ajuste de curvas y superficies en línea
• http://www.orbitals.com/self/least/least.htm
• Mínimos cuadrados en PlanetMath