Il metodo dei minimi quadrati è una delle applicazioni più importanti nell'approssimazione di funzioni. L'idea è di trovare una curva tale che, dato un insieme di coppie ordinate, questa funzione approssimi al meglio i dati. La funzione può essere una linea, una curva quadratica, una cubica, ecc.
L'idea del metodo consiste nel minimizzare la somma dei quadrati delle differenze nell'ordinata (componente Y), tra i punti generati dalla funzione scelta ed i punti appartenenti al set di dati.
Metodo dei minimi quadrati
Prima di dare il metodo, dobbiamo prima essere chiari su cosa significhi "approccio migliore". Supponiamo di cercare una retta y = b + mx che rappresenti al meglio un insieme di n punti, ovvero {(x1, y1), (x2, y2)…, (xn, yn)}.
Come mostrato nella figura precedente, se le variabili x e y fossero correlate dalla linea y = b + mx, allora per x = x1 il valore corrispondente di y sarebbe b + mx1. Tuttavia, questo valore è diverso dal valore vero di y, che è y = y1.
Ricorda che nell'aereo la distanza tra due punti è data dalla seguente formula:
In quest'ottica, per determinare il modo di scegliere la retta y = b + mx che meglio approssima il dato dato, sembra logico utilizzare come criterio la selezione della retta che minimizza la somma dei quadrati delle distanze tra i punti e il dritto.
Poiché la distanza tra i punti (x1, y1) e (x1, b + mx1) è y1- (b + mx1), il nostro problema si riduce a trovare i numeri me b tali che la seguente somma sia minima:
La retta che soddisfa questa condizione è nota come «approssimazione della retta dei minimi quadrati ai punti (x1, y1), (x2, y2),…, (xn, yn)».
Una volta ottenuto il problema, resta solo da scegliere un metodo per trovare l'approssimazione dei minimi quadrati. Se i punti (x1, y1), (x2, y2),…, (xn, yn) sono tutti sulla retta y = mx + b, avremmo che sono allineati y:
In questa espressione:
Infine, se i punti non sono collineari, allora y-Au = 0 e il problema può essere tradotto nel trovare un vettore u tale che la norma euclidea sia minima.
Trovare il vettore di minimizzazione u non è così difficile come potresti pensare. Poiché A è una matrice nx2 e u è una matrice 2 × 1, abbiamo che il vettore Au è un vettore in R n e appartiene all'immagine di A, che è un sottospazio di R n con una dimensione non maggiore di due.
Assumeremo che n = 3 per mostrare quale procedura seguire. Se n = 3, l'immagine di A sarà un piano o una linea passante per l'origine.
Sia v il vettore di minimizzazione. Nella figura osserviamo che y-Au è minimizzato quando è ortogonale all'immagine di A. Cioè, se v è il vettore minimizzante, allora accade che:
Quindi, possiamo esprimere quanto sopra in questo modo:
Questo può accadere solo se:
Infine, risolvendo per v, abbiamo:
È possibile farlo poiché A t A è invertibile fintanto che gli n punti dati come dati non sono allineati.
Ora, se invece di cercare una linea volessimo trovare una parabola (la cui espressione sarebbe della forma y = a + bx + cx 2 ) che sarebbe una migliore approssimazione agli n punti dati, la procedura sarebbe come descritta di seguito.
Se gli n punti dati fossero in questa parabola, avremmo:
Poi:
Allo stesso modo possiamo scrivere y = Au. Se tutti i punti non sono nella parabola, abbiamo che y-Au è diverso da zero per ogni vettore ue il nostro problema è ancora: trova un vettore u in R3 tale che la sua norma --y-Au-- sia la più piccola possibile .
Ripetendo la procedura precedente, possiamo arrivare a che il vettore ricercato è:
Esercizi risolti
Esercizio 1
Trova la linea che meglio si adatta ai punti (1,4), (-2,5), (3, -1) e (4,1).
Soluzione
Dobbiamo:
Poi:
Pertanto, concludiamo che la linea che meglio si adatta ai punti è data da:
Esercizio 2
Supponiamo che un oggetto venga lasciato cadere da un'altezza di 200 m. Man mano che cade, vengono eseguiti i seguenti passaggi:
Sappiamo che l'altezza di detto oggetto, trascorso un tempo t, è data da:
Se vogliamo ottenere il valore di g, possiamo trovare una parabola che è una migliore approssimazione ai cinque punti dati in tabella, e quindi avremmo che il coefficiente che accompagna t 2 sarà un'approssimazione ragionevole a (-1/2) g se il le misurazioni sono accurate.
Dobbiamo:
E più tardi:
Quindi i punti dati vengono adattati dalla seguente espressione quadratica:
Quindi, devi:
Questo è un valore ragionevolmente vicino alla correzione, che è g = 9,81 m / s 2 . Per ottenere un'approssimazione più esatta di g, sarebbe necessario partire da osservazioni più precise.
Cosa serve?
Nei problemi che si presentano nelle scienze naturali o sociali, è conveniente scrivere le relazioni che esistono tra le diverse variabili per mezzo di qualche espressione matematica.
Ad esempio, in economia possiamo mettere in relazione costo (C), reddito (I) e profitti (U) mediante una semplice formula:
In fisica, possiamo mettere in relazione l'accelerazione causata dalla gravità, il tempo in cui un oggetto è caduto e l'altezza dell'oggetto per legge:
Nell'espressione precedente s o è l'altezza iniziale di detto oggetto e v o è la sua velocità iniziale.
Tuttavia, trovare formule come queste non è un compito facile; di solito spetta al professionista di turno lavorare con molti dati ed eseguire ripetutamente diversi esperimenti (per verificare che i risultati ottenuti siano costanti) per trovare le relazioni tra i diversi dati.
Un modo comune per ottenere ciò è rappresentare i dati ottenuti in un piano come punti e cercare una funzione continua che approssimi in modo ottimale quei punti.
Uno dei modi per trovare la funzione che "meglio approssima" i dati forniti è il metodo dei minimi quadrati.
Inoltre, come abbiamo visto anche nell'esercizio, grazie a questo metodo possiamo ottenere approssimazioni abbastanza vicine alle costanti fisiche.
Riferimenti
- Algebra lineare di Charles W. Curtis. Springer Velarg
- Kai Lai Chung. Teoria elementare della proabilità con processi stocastici. Springer-Verlag New York Inc
- Richar L Burden e J.Douglas Faires. Analisi numerica (7ed). Thompson Learning.
- Stanley I. Grossman. Applicazioni dell'algebra lineare. MCGRAW-HILL / INTERAMERICANA DE MESSICO
- Stanley I. Grossman. Algebra lineare. MCGRAW-HILL / INTERAMERICANA DE MESSICO