Méthode des moindres carrés : Méthode qui consiste à minimiser la somme des carrés des écarts entre les valeurs observées et les valeurs prédites par la droite d'ajustement.
- Calculer les moyennes \(\bar{x}\) et \(\bar{y}\)
- Calculer la covariance \(cov(X,Y)\) et la variance \(var(X)\)
- Déterminer la pente \(a = \frac{cov(X,Y)}{var(X)}\)
- Calculer l'ordonnée à l'origine \(b = \bar{y} - a\bar{x}\)
- Écrire l'équation de la droite : \(y = ax + b\)
Points : (1,2), (2,4), (3,6), (4,8)
N = 4
\(\bar{x} = \frac{1 + 2 + 3 + 4}{4} = \frac{10}{4} = 2.5\)
\(\bar{y} = \frac{2 + 4 + 6 + 8}{4} = \frac{20}{4} = 5\)
\(var(X) = \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})^2\)
\(var(X) = \frac{1}{4}[(1-2.5)^2 + (2-2.5)^2 + (3-2.5)^2 + (4-2.5)^2]\)
\(var(X) = \frac{1}{4}[(-1.5)^2 + (-0.5)^2 + (0.5)^2 + (1.5)^2]\)
\(var(X) = \frac{1}{4}[2.25 + 0.25 + 0.25 + 2.25] = \frac{5}{4} = 1.25\)
\(cov(X,Y) = \frac{1}{N} \sum_{i=1}^{N} (x_i - \bar{x})(y_i - \bar{y})\)
\(cov(X,Y) = \frac{1}{4}[(1-2.5)(2-5) + (2-2.5)(4-5) + (3-2.5)(6-5) + (4-2.5)(8-5)]\)
\(cov(X,Y) = \frac{1}{4}[(-1.5)(-3) + (-0.5)(-1) + (0.5)(1) + (1.5)(3)]\)
\(cov(X,Y) = \frac{1}{4}[4.5 + 0.5 + 0.5 + 4.5] = \frac{10}{4} = 2.5\)
\(a = \frac{cov(X,Y)}{var(X)} = \frac{2.5}{1.25} = 2\)
\(b = \bar{y} - a\bar{x} = 5 - 2 \times 2.5 = 5 - 5 = 0\)
\(y = 2x + 0\)
Soit : \(y = 2x\)
L'équation de la droite d'ajustement par la méthode des moindres carrés est \(y = 2x\).
• Méthode des moindres carrés : Minimise la somme des carrés des résidus
• Pente : \(a = \frac{cov(X,Y)}{var(X)}\)
• Ordonnée à l'origine : \(b = \bar{y} - a\bar{x}\)
Coefficient de corrélation linéaire : Mesure l'intensité et le sens de la liaison linéaire entre deux variables. Il varie entre -1 et 1.
Points : (1,3), (2,5), (3,7), (4,9), (5,11)
N = 5
\(\bar{x} = \frac{1 + 2 + 3 + 4 + 5}{5} = \frac{15}{5} = 3\)
\(\bar{y} = \frac{3 + 5 + 7 + 9 + 11}{5} = \frac{35}{5} = 7\)
\(cov(X,Y) = \frac{1}{5}[(1-3)(3-7) + (2-3)(5-7) + (3-3)(7-7) + (4-3)(9-7) + (5-3)(11-7)]\)
\(cov(X,Y) = \frac{1}{5}[(-2)(-4) + (-1)(-2) + (0)(0) + (1)(2) + (2)(4)]\)
\(cov(X,Y) = \frac{1}{5}[8 + 2 + 0 + 2 + 8] = \frac{20}{5} = 4\)
\(var(X) = \frac{1}{5}[(1-3)^2 + (2-3)^2 + (3-3)^2 + (4-3)^2 + (5-3)^2]\)
\(var(X) = \frac{1}{5}[4 + 1 + 0 + 1 + 4] = \frac{10}{5} = 2\)
\(var(Y) = \frac{1}{5}[(3-7)^2 + (5-7)^2 + (7-7)^2 + (9-7)^2 + (11-7)^2]\)
\(var(Y) = \frac{1}{5}[16 + 4 + 0 + 4 + 16] = \frac{40}{5} = 8\)
\(\sigma_X = \sqrt{var(X)} = \sqrt{2}\)
\(\sigma_Y = \sqrt{var(Y)} = \sqrt{8} = 2\sqrt{2}\)
\(r = \frac{cov(X,Y)}{\sigma_X \sigma_Y} = \frac{4}{\sqrt{2} \times 2\sqrt{2}} = \frac{4}{2 \times 2} = \frac{4}{4} = 1\)
Le coefficient de corrélation \(r = 1\) indique une corrélation linéaire parfaite positive.
Cela signifie que les points sont parfaitement alignés sur une droite de pente positive.
Le coefficient de corrélation linéaire est \(r = 1\), ce qui indique une corrélation parfaite positive.
• Corrélation : \(r = \frac{cov(X,Y)}{\sigma_X \sigma_Y}\)
• Valeur de r : Entre -1 et 1, avec 1 pour corrélation parfaite positive
• Interprétation : Plus |r| est proche de 1, meilleure est la corrélation
Ajustement quadratique : Ajustement d'une fonction de la forme \(y = ax^2 + bx + c\) aux données expérimentales par la méthode des moindres carrés.
Points : (0,1), (1,3), (2,7), (3,13), (4,21)
N = 5
On cherche \(y = ax^2 + bx + c\) qui minimise la somme des carrés des écarts.
Le système à résoudre est :
\(\sum y = a\sum x^2 + b\sum x + Nc\)
\(\sum xy = a\sum x^3 + b\sum x^2 + c\sum x\)
\(\sum x^2y = a\sum x^4 + b\sum x^3 + c\sum x^2\)
\(\sum x = 0 + 1 + 2 + 3 + 4 = 10\)
\(\sum y = 1 + 3 + 7 + 13 + 21 = 45\)
\(\sum x^2 = 0 + 1 + 4 + 9 + 16 = 30\)
\(\sum x^3 = 0 + 1 + 8 + 27 + 64 = 100\)
\(\sum x^4 = 0 + 1 + 16 + 81 + 256 = 354\)
\(\sum xy = 0 \times 1 + 1 \times 3 + 2 \times 7 + 3 \times 13 + 4 \times 21 = 0 + 3 + 14 + 39 + 84 = 140\)
\(\sum x^2y = 0 \times 1 + 1 \times 3 + 4 \times 7 + 9 \times 13 + 16 \times 21 = 0 + 3 + 28 + 117 + 336 = 484\)
\(45 = 30a + 10b + 5c\) ... (1)
\(140 = 100a + 30b + 10c\) ... (2)
\(484 = 354a + 100b + 30c\) ... (3)
Divisons chaque équation par 5 pour simplifier :
\(9 = 6a + 2b + c\) ... (1')
\(28 = 20a + 6b + 2c\) ... (2')
\(96.8 = 70.8a + 20b + 6c\) ... (3')
De (1') : \(c = 9 - 6a - 2b\)
Substituons dans (2') : \(28 = 20a + 6b + 2(9 - 6a - 2b)\)
\(28 = 20a + 6b + 18 - 12a - 4b\)
\(10 = 8a + 2b\)
\(5 = 4a + b\) ... (4)
Substituons dans (3') : \(96.8 = 70.8a + 20b + 6(9 - 6a - 2b)\)
\(96.8 = 70.8a + 20b + 54 - 36a - 12b\)
\(42.8 = 34.8a + 8b\)
\(10.7 = 8.7a + 2b\) ... (5)
De (4) : \(b = 5 - 4a\)
Substituons dans (5) : \(10.7 = 8.7a + 2(5 - 4a)\)
\(10.7 = 8.7a + 10 - 8a\)
\(0.7 = 0.7a\)
\(a = 1\)
Donc : \(b = 5 - 4(1) = 1\)
Et : \(c = 9 - 6(1) - 2(1) = 1\)
\(y = x^2 + x + 1\)
Pour \(x = 0\) : \(y = 0 + 0 + 1 = 1\) ✓
Pour \(x = 1\) : \(y = 1 + 1 + 1 = 3\) ✓
Pour \(x = 2\) : \(y = 4 + 2 + 1 = 7\) ✓
Pour \(x = 3\) : \(y = 9 + 3 + 1 = 13\) ✓
Pour \(x = 4\) : \(y = 16 + 4 + 1 = 21\) ✓
L'équation de la parabole d'ajustement par la méthode des moindres carrés est \(y = x^2 + x + 1\).
• Ajustement quadratique : \(y = ax^2 + bx + c\)
• Système d'équations : 3 équations pour 3 inconnues (a, b, c)
• Méthode des moindres carrés : Minimise la somme des carrés des écarts
Prédiction : Utilisation d'une droite d'ajustement pour estimer une valeur inconnue à partir d'une valeur connue de la variable indépendante.
Points : (2,5), (4,9), (6,13), (8,17)
N = 4
Question : Trouver la valeur de y pour x = 6
\(\bar{x} = \frac{2 + 4 + 6 + 8}{4} = \frac{20}{4} = 5\)
\(\bar{y} = \frac{5 + 9 + 13 + 17}{4} = \frac{44}{4} = 11\)
\(var(X) = \frac{1}{4}[(2-5)^2 + (4-5)^2 + (6-5)^2 + (8-5)^2]\)
\(var(X) = \frac{1}{4}[9 + 1 + 1 + 9] = \frac{20}{4} = 5\)
\(cov(X,Y) = \frac{1}{4}[(2-5)(5-11) + (4-5)(9-11) + (6-5)(13-11) + (8-5)(17-11)]\)
\(cov(X,Y) = \frac{1}{4}[(-3)(-6) + (-1)(-2) + (1)(2) + (3)(6)]\)
\(cov(X,Y) = \frac{1}{4}[18 + 2 + 2 + 18] = \frac{40}{4} = 10\)
\(a = \frac{cov(X,Y)}{var(X)} = \frac{10}{5} = 2\)
\(b = \bar{y} - a\bar{x} = 11 - 2 \times 5 = 11 - 10 = 1\)
\(y = 2x + 1\)
\(y = 2(6) + 1 = 12 + 1 = 13\)
On remarque que le point (6,13) était déjà dans notre jeu de données original, donc notre prédiction est exacte.
La valeur prédite de y pour x = 6 est y = 13, en utilisant l'ajustement linéaire \(y = 2x + 1\).
• Prédiction : Substitution de la valeur de x dans l'équation de la droite
• Qualité de prédiction : Meilleure quand la corrélation est forte
• Extrapolation : Risquée en dehors de l'intervalle des données originales
Somme des carrés des résidus (SCR) : Mesure la qualité d'un ajustement, calculée comme la somme des carrés des écarts entre les valeurs observées et les valeurs prédites.
Points : (1,3), (2,5), (3,7), (4,9)
Deux droites proposées : \(y_1 = 2x + 1\) et \(y_2 = 1.8x + 2\)
Pour x = 1 : \(y_1 = 2(1) + 1 = 3\), résidu = 3 - 3 = 0
Pour x = 2 : \(y_1 = 2(2) + 1 = 5\), résidu = 5 - 5 = 0
Pour x = 3 : \(y_1 = 2(3) + 1 = 7\), résidu = 7 - 7 = 0
Pour x = 4 : \(y_1 = 2(4) + 1 = 9\), résidu = 9 - 9 = 0
SCR₁ = 0² + 0² + 0² + 0² = 0
Pour x = 1 : \(y_2 = 1.8(1) + 2 = 3.8\), résidu = 3 - 3.8 = -0.8
Pour x = 2 : \(y_2 = 1.8(2) + 2 = 5.6\), résidu = 5 - 5.6 = -0.6
Pour x = 3 : \(y_2 = 1.8(3) + 2 = 7.4\), résidu = 7 - 7.4 = -0.4
Pour x = 4 : \(y_2 = 1.8(4) + 2 = 9.2\), résidu = 9 - 9.2 = -0.2
SCR₂ = (-0.8)² + (-0.6)² + (-0.4)² + (-0.2)²
SCR₂ = 0.64 + 0.36 + 0.16 + 0.04 = 1.2
Pour la première droite (y₁ = 2x + 1) :
\(\bar{y} = \frac{3 + 5 + 7 + 9}{4} = \frac{24}{4} = 6\)
\(SCT = \sum(y_i - \bar{y})^2 = (3-6)^2 + (5-6)^2 + (7-6)^2 + (9-6)^2 = 9 + 1 + 1 + 9 = 20\)
\(SCR_1 = 0\)
\(R^2_1 = 1 - \frac{SCR_1}{SCT} = 1 - \frac{0}{20} = 1\)
Pour la deuxième droite (y₂ = 1.8x + 2) :
\(SCR_2 = 1.2\)
\(R^2_2 = 1 - \frac{SCR_2}{SCT} = 1 - \frac{1.2}{20} = 1 - 0.06 = 0.94\)
L'ajustement \(y_1 = 2x + 1\) a une SCR de 0, tandis que \(y_2 = 1.8x + 2\) a une SCR de 1.2.
Le premier ajustement est donc meilleur.
De plus, \(R^2_1 = 1\) contre \(R^2_2 = 0.94\), confirmant que le premier ajustement est meilleur.
L'équation \(y = 2x + 1\) est l'ajustement optimal par la méthode des moindres carrés pour ces données.
Elle passe exactement par tous les points (SCR = 0), ce qui est possible car les points sont alignés.
L'ajustement \(y = 2x + 1\) est meilleur que \(y = 1.8x + 2\), avec une somme des carrés des résidus de 0 contre 1.2.
• SCR : Somme des Carrés des Résidus, mesure la qualité de l'ajustement
• R² : Coefficient de détermination, mesure la proportion de variance expliquée
• Comparaison : Moins de SCR ou plus de R² indique un meilleur ajustement
- Étape 1 : Calculer les moyennes \(\bar{x}\) et \(\bar{y}\)
- Étape 2 : Calculer la covariance \(cov(X,Y)\) et la variance \(var(X)\)
- Étape 3 : Calculer la pente \(a = \frac{cov(X,Y)}{var(X)}\)
- Étape 4 : Calculer l'ordonnée à l'origine \(b = \bar{y} - a\bar{x}\)
- Étape 5 : Écrire l'équation de la droite : \(y = ax + b\)
- Étape 6 : Évaluer la qualité de l'ajustement (R², SCR)
- La droite de régression passe toujours par le point moyen \((\bar{x}, \bar{y})\)
- Le coefficient de corrélation varie entre -1 et 1
- Plus |r| est proche de 1, meilleure est la corrélation
- La méthode des moindres carrés minimise la somme des carrés des résidus
- Un R² proche de 1 indique un bon ajustement
- Coefficient de corrélation : \(r = \frac{cov(X,Y)}{\sigma_X \sigma_Y}\)
- SCR (Somme des Carrés des Résidus) : \(\sum(y_i - \hat{y}_i)^2\)
- R² (Coefficient de détermination) : \(R^2 = 1 - \frac{SCR}{SCT}\)
- Interprétation : R² = proportion de variance expliquée par le modèle
