Tavalliset pienimmät neliöt

AssumptionsEdit

Lineaarisen regressiomallin voi sijoittaa useaan eri kehykseen OLS-tekniikan soveltamiseksi. Kukin näistä asetuksista tuottaa samat kaavat ja samat tulokset. Ainoa ero on tulkinta ja oletukset, jotka on asetettava, jotta menetelmä antaisi mielekkäitä tuloksia. Sovellettavan kehyksen valinta riippuu enimmäkseen käsillä olevan datan luonteesta ja suoritettavasta päättelytehtävästä.

Yksi tulkintaerojen riveistä on, kohdellaanko regressoreita satunnaisina muuttujina tai ennalta määriteltyinä vakioina. Ensimmäisessä tapauksessa (satunnainen suunnittelu) regressorit xi ovat satunnaisia ja näytteitä otetaan yhdessä joidenkin populaatioiden yi: n kanssa, kuten havainnointitutkimuksessa. Tämä lähestymistapa mahdollistaa luonnollisemman tutkimuksen estimaattoreiden asymptoottisista ominaisuuksista. (kiinteä malli), regressoreita X käsitellään tunnetuina vakioina, jotka malli on asettanut, ja y: stä otetaan näyte ehdollisesti X: n arvojen mukaisesti, kuten kokeessa.Käytännön tarkoituksissa tämä ero on usein merkityksetön, koska estimointi ja päättely suoritetaan kun taas ehdollistetaan X: lle. Kaikki tässä artikkelissa mainitut tulokset ovat satunnaisessa suunnittelukehyksessä.

Klassinen lineaarisen regressiomallin muokkaus

Klassinen malli keskittyy ”äärellisen otoksen” estimointiin ja päättelyyn, mikä tarkoittaa, että havaintojen lukumäärä on kiinteä.Tämä on ristiriidassa muiden lähestymistapojen kanssa, joissa tutkitaan OLS: n asymptoottista käyttäytymistä ja joissa havaintojen määrän annetaan kasvaa äärettömyyteen. Eksogeenisuusolettamuksen syynä on, että virheiden keskiarvo on nolla: E = 0 ja että regressorit eivät ole korreloineet virheiden kanssa: E = 0. Eksogeenisuusoletus on kriittinen OLS-teorian kannalta. Jos se pitää paikkansa, regressiomuuttujia kutsutaan eksogeenisiksi. Jos se ei ”t”, niin niitä virhearvon kanssa korreloivia regresoreja kutsutaan endogeenisiksi, ja sitten OLS-estimaatit pätevät. Tällöin johtopäätösten suorittamiseen voidaan käyttää instrumentaalisten muuttujien menetelmää. Yleensä oletetaan myös, että että regressoreilla on äärellisiä hetkiä ainakin toiseen momenttiin asti. Sitten matriisi Qxx = E on äärellinen ja positiivinen puolidefiniitti. Kun tätä oletusta rikotaan, regressoreita kutsutaan lineaarisesti riippuvaisiksi tai täydellisesti monikolineaarisiksi. regressiokerrointa β ei voida oppia, vaikka y-arvojen ennustaminen on silti mahdollista regressorien uusille arvoille, jotka sijaitsevat samassa lineaarisesti riippuvaisessa alatilassa.

• Pallovirheet: Var ⁡ = σ 2 I n, {\ displaystyle \ operaattorin nimi {Var} = \ sigma ^ {2} I_ {n},}

jossa In on ulottuvuuden n identiteettimatriisi ja σ2 on parametri, joka määrittää kunkin havainnon varianssin. σ2: ta pidetään haittaparametrina mallissa yleensä se myös arvioidaan. Jos tätä oletusta rikotaan, OLS-arviot ovat edelleen voimassa, mutta eivät enää tehokkaita. Tämä oletus on tapana jakaa kahteen osaan:

• Homoscedastisuus: E = σ2, mikä tarkoittaa, että virhetermillä on sama varianssi σ2 kussakin havainnossa. Kun tätä vaatimusta rikotaan, tätä kutsutaan heteroskedastisuudeksi, tällöin tehokkaampi estimaattori painotettaisiin pienimmillä neliöillä. Jos virheillä on ääretön varianssi, OLS-estimaateilla on myös ääretön varianssi (vaikka suurten lukujen lain mukaan ne pyrkivät kuitenkin kohti todellisia arvoja niin kauan kuin virheiden keskiarvo on nolla). Tässä tapauksessa suositellaan vankkoja estimointitekniikoita.
• Ei autokorrelaatiota: virheet eivät korreloidu havaintojen välillä: E = 0 i ≠ j: lle. Tätä oletusta voidaan rikkoa aikasarjatietojen, paneelitietojen, klusterinäytteiden, hierarkkisten tietojen, toistuvien mittaustietojen, pitkittäistietojen ja muun riippuvuustiedon yhteydessä. Tällaisissa tapauksissa yleistetyt pienimmät neliöt tarjoavat paremman vaihtoehdon kuin OLS. Toinen autokorrelaation ilmaisu on sarjakorrelaatio.

Tätä oletusta ei tarvita OLS-menetelmän pätevyyteen, vaikka tietyt rajallisen näytteen lisäominaisuudet voidaankin todeta, jos se tapahtuu (etenkin hypoteesien testaus). Myös silloin, kun virheet ovat normaaleja, OLS-estimaattori vastaa suurimman todennäköisyyden estimaattoria (MLE), ja siksi se on asymptoottisesti tehokas kaikkien säännöllisten estimaattoreiden luokassa. Tärkeää on, että normaalisuusoletus koskee vain virhetermejä; vastoin yleistä väärinkäsitystä vastausmuuttujan (riippuvainen) ei tarvitse olla normaalisti jakautunut.

Riippumaton ja identtisesti jaettu (iid) Muokkaa

Joissakin sovelluksissa, erityisesti poikkileikkaustiedoissa, asetetaan lisäoletus – että kaikki havainnot ovat riippumattomia ja identtisesti jakautuneita.Tämä tarkoittaa, että kaikki havainnot otetaan satunnaisesta otoksesta, mikä tekee kaikista aiemmin luetelluista oletuksista yksinkertaisempia ja helpommin tulkittavia. Myös tämä kehys antaa mahdollisuuden ilmoittaa asymptoottiset tulokset (otoskokona n → ∞), jotka ymmärretään teoreettisena mahdollisuutena hakea uusia itsenäisiä havaintoja datan muodostusprosessista. Oletusten luettelo tässä tapauksessa on:

Aikasarjan malliEdit

Äärellisen näytteen ominaisuudetMuokkaa

Ensinnäkin OLS-estimaattorit β ^ {\ displaystyle \ scriptstyle {\ hat {\ beta}}} ja s2 ovat puolueettomia, mikä tarkoittaa, että niiden odotetut arvot yhtyvät parametrien todellisten arvojen kanssa:

E ⁡ = β, E ⁡ = σ 2. {\ displaystyle \ operaattorin nimi {E} = \ beta, \ quad \ operaattorin nimi {E} = \ sigma ^ {2}.}

Jos tiukka eksogeenisuus ei päde (kuten monien aikasarjamallien tapauksessa, joissa eksogeenisuus oletetaan vain suhteessa menneisiin sokkeihin, mutta ei tuleviin), niin nämä estimaattorit ovat puolueellisia äärellisissä näytteissä.

β ^ {\: n varianssi-kovarianssimatriisi (tai yksinkertaisesti kovarianssimatriisi) displaystyle \ scriptstyle {\ hat {\ beta}}} on yhtä suuri kuin

Var ⁡ = σ 2 (XTX) – 1 = σ 2 Q. {\ displaystyle \ operaattorinimi {Var} = \ sigma ^ {2} (X ^ {T} X) ^ {- 1} = \ sigma ^ {2} Q.}

Erityisesti kunkin kertoimen vakiovirhe β ^ j {\ displaystyle \ scriptstyle {\ hat {\ beta}} _ {j}} on yhtä suuri kuin tämän matriisin j: nnen diagonaalisen elementin neliöjuuri. Tämän standardivirheen estimaatti saadaan korvaamalla tuntematon määrä σ2 sen estimaatilla s2. Siten

s. e. ^ (β ^ j) = s 2 (XTX) jj – 1 {\ displaystyle {\ widehat {\ operaattorin nimi {s. \! e.}}} ({\ hat {\ beta}} _ {j}) = { \ sqrt {s ^ {2} (X ^ {T} X) _ {jj} ^ {- 1}}}} Cov ⁡ = 0. {\ displaystyle \ operaattorinimi {Cov} = 0.}

Gausit –Markovin lause toteaa, että pallovirheolettamuksen (eli virheiden tulisi olla korreloimattomia ja homoscedastisia) nojalla estimaattori β ^ {\ displaystyle \ scriptstyle {\ hat {\ beta}}} on tehokas lineaaristen puolueettomien estimaattorien luokassa. Tätä kutsutaan parhaaksi lineaariseksi puolueettomaksi estimaattoriksi (SININEN). Tehokkuus on ymmärrettävä siten, että löydämme jonkin muun estimaattorin β ~ {\ displaystyle \ scriptstyle {\ tilde {\ beta}}}, joka olisi lineaarinen y: ssä ja puolueeton, sitten

Var ⁡ – Var ⁡ ≥ 0 {\ displaystyle \ operaattorin nimi {Var} – \ operaattorin nimi {Var} \ geq 0}

siinä mielessä, että tämä on ei-negatiivinen-määritelty matriisi. Tämä lause vahvistaa optimaalisuuden vain lineaaristen puolueettomien estimaattorien luokassa, mikä on varsin rajoittava. Virhetermien ε jakautumisesta riippuen muut epälineaariset estimaattorit voivat tuottaa parempia tuloksia kuin OLS.

Olettaen, että normalityEdit

Kaikki tähän mennessä luetellut ominaisuudet ovat kelvollisia virhetermien taustalla oleva jakauma. Kuitenkin, jos olet valmis olettamaan, että normaaliolettama pätee (eli ε ~ N (0, σ2In)), voidaan ilmoittaa OLS-estimaattoreiden lisäominaisuudet.

Estimaattori β ^ {\ displaystyle \ scriptstyle {\ hat {\ beta}}} on tavallisesti jakautunut, keskiarvon ja varianssin kanssa kuten edellä on annettu:

β ^ ∼ N (β, σ 2 (XTX) – 1) {\ displaystyle {\ hattu {\ beta}} \ \ sim \ {\ mathcal {N}} {\ big (} \ beta, \ \ sigma ^ {2} (X ^ {\ mathrm {T}} X) ^ {- 1} { \ iso)}}

missä Q on kofaktorimatriisi. Tämä estimaattori saavuttaa malliin sitoutuneen Cramér – Rao-mallin ja on siten optimaalinen kaikkien puolueettomien estimaattorien luokassa. Huomaa, että toisin kuin Gauss – Markov-lause, tämä tulos varmistaa optimaalisuuden sekä lineaaristen että epälineaaristen estimaattoreiden välillä, mutta vain normaalisti jakautuneiden virhetermien tapauksessa.

Estimaattori s2 on verrannollinen kiteeseen neliöjakauma:

s 2 ∼ σ 2 n – p ⋅ χ n – p 2 {\ displaystyle s ^ {2} \ \ sim \ {\ frac {\ sigma ^ {2}} {np}} \ cdot \ chi _ {np} ^ {2}}

Tämän estimaattorin varianssi on yhtä suuri kuin 2σ4 / (n – p), mikä ei saavuta Cramér – Rao-rajaa 2σ4 / n. On kuitenkin osoitettu, että ei ole puolueettomia σ2-estimaattoreita, joiden varianssi on pienempi kuin estimaattorin s2. Jos olemme halukkaita sallimaan puolueelliset estimaattorit ja otamme huomioon estimaattoriluokan, joka on verrannollinen mallin neliösumman jäännösarvojen (SSR) summaan, niin tämän luokan paras (keskimääräisen neliövirheen merkityksessä) estimaattori on ~ σ2 = SSR / (n – p + 2), joka jopa päihittää Cramér – Rao-sidoksen, jos regressoria on vain yksi (p = 1).

Vaikuttavat havainnotMuokkaa

Kuten aiemmin mainittiin, estimaattori β ^ {\ displaystyle {\ hat {\ beta}}} on lineaarinen y: ssä, mikä tarkoittaa, että se edustaa lineaarista yhdistelmää riippuvaisista muuttujista yi. Tämän lineaarisen yhdistelmän painot ovat regressorien X toimintoja, ja yleensä ne ovat epätasaisia. Suuria painoja sisältäviä havaintoja kutsutaan vaikuttaviksi, koska niillä on selvempi vaikutus estimaattorin arvoon.

Analysoidaksemme, mitkä havainnot ovat vaikuttavia, poistamme tietyn j: nnen havainnon ja tarkastelemme, kuinka paljon arvioidut määrät muuttuvat (samalla tavalla kuin jackknife-menetelmä). Voidaan osoittaa, että OLS-estimaattorin muutos β: lle on yhtä suuri kuin

β ^ (j) – β ^ = – 1 1 – hj (XTX) – 1 xj T ε ^ j, {\ displaystyle { \ hat {\ beta}} ^ {(j)} – {\ hat {\ beta}} = – {\ frac {1} {1-h_ {j}}} (X ^ {\ mathrm {T}} X ) ^ {- 1} x_ {j} ^ {\ mathrm {T}} {\ hat {\ varepsilon}} _ {j} \ ,,}

missä hj = xjT (XTX) −1xj on j- hattu matriisin P diagonaalielementti ja xj on j: tä havaintoa vastaavien regressorien vektori. Vastaavasti ennustetun arvon muutos j: n havainnolle, joka johtuu kyseisen havainnon jättämisestä tietojoukosta, on yhtä suuri kuin

y ^ j (j) – y ^ j = xj T β ^ (j) – xj T β ^ = – hj 1 – hj ε ^ j {\ displaystyle {\ hat {y}} _ {j} ^ {(j)} – {\ hat {y}} _ {j} = x_ {j} ^ { \ mathrm {T}} {\ hat {\ beta}} ^ {(j)} – x_ {j} ^ {T} {\ hat {\ beta}} = – {\ frac {h_ {j}} {1 -h_ {j}}} \, {\ hat {\ varepsilon}} _ {j}}

Hattumatriisin ominaisuuksista 0 ≤ hj ≤ 1 ja ne summaavat p: n, joten keskimäärin hj ≈ p / n. Näitä määriä hj kutsutaan vipuvoimiksi ja havaintoja, joissa on korkea hj, kutsutaan vipupisteiksi. Yleensä korkean vipuvaikutuksen havainnot tulisi tutkia huolellisemmin, jos ne ovat virheellisiä, poikkeavia tai jollakin muulla tavoin epätyypillisiä muulle aineistolle.

Partitioned regressionEdit

Joskus regressiossa olevat muuttujat ja vastaavat parametrit voidaan jakaa loogisesti kahteen ryhmään siten, että regressio muotoutuu

y = X 1 β 1 + X 2 β 2 + ε, {\ displaystyle y = X_ {1 } \ beta _ {1} + X_ {2} \ beta _ {2} + \ varepsilon,}

missä X1: llä ja X2: lla on mitat n × p1, n × p2 ja β1, β2 ovat p1 × 1 ja p2 × 1 vektorit, joissa p1 + p2 = p.

M 1 y = M 1 X 2 β 2 + η, {\ displaystyle M_ {1} y = M_ {1} X_ {2} \ beta _ {2 } + \ eta \ ,,}

missä M1 on regressorien X1 annihilaattorimatriisi.

Lauseen avulla voidaan määrittää useita teoreettisia tuloksia. Esimerkiksi regressio vakion ja toisen regressorin kanssa vastaa keskiarvojen vähentämistä riippuvasta muuttujasta ja regressorista ja regressioiden suorittamista sitten tarkoittamattomille muuttujille ilman vakiotermiä.

Rajoitettu esteationEdit

Oletetaan, että tiedetään, että regressiossa olevat kertoimet tyydyttävät lineaarisen yhtälöjärjestelmän

A: QT β = c, {\ displaystyle A \ kaksoispiste \ quad Q ^ {T} \ beta = c, \,}

missä Q on täyden arvon ap × q-matriisi ja c on tunnettujen vakioiden aq × 1-vektori, jossa q < s. Tässä tapauksessa pienimmän neliösumman estimointi vastaa rajoituksen A kohteena olevan mallin neliösumman jäännösten summan minimointia. Rajoitettujen pienimpien neliöiden (CLS) estimaattori voidaan antaa eksplisiittisellä kaavalla:

β ^ c = β ^ – (XTX) – 1 Q (QT (XTX) – 1 Q) – 1 (QTp ^ – c). {\ displaystyle {\ hat {\ beta}} ^ {c} = {\ hat {\ beta}} – (X ^ {T} X) ^ {- 1} Q {\ Big (} Q ^ {T} ( X ^ {T} X) ^ {- 1} Q {\ Big)} ^ {- 1} (Q ^ {T} {\ hat {\ beta}} – c).}

Tämä rajoitetun lauseke estimaattori on voimassa niin kauan kuin matriisi XTX on käännettävä. Tämän artikkelin alusta oletettiin, että tämä matriisi on täydellä listalla, ja todettiin, että kun sijoitusedellytys epäonnistuu, β ei ole tunnistettavissa. Kuitenkin voi tapahtua, että rajoituksen A lisääminen tekee β: n tunnistettavaksi, jolloin halutaan löytää kaava estimaattorille. Estimaattori on yhtä suuri kuin

β ^ c = R (RTXTXR) – 1 RTXT y + (I p – R (RTXTXR) – 1 RTXTX) Q (QTQ) – 1 c, {\ displaystyle {\ hattu {\ beta}} ^ {c} = R (R ^ {T} X ^ {T} XR) ^ {- 1} R ^ {T} X ^ {T} y + {\ Big (} I_ {p} -R ( R ^ {T} X ^ {T} XR) ^ {- 1} R ^ {T} X ^ {T} X {\ Big)} Q (Q ^ {T} Q) ^ {- 1} c,}

jossa R on ap × (p – q) matriisi siten, että matriisi on ei-yksikkö, ja RTQ = 0. Tällainen matriisi löytyy aina, vaikka se ei yleensä ole ainutlaatuinen. Toinen kaava on sama kuin ensimmäinen, jos XTX on käänteinen.

Suuret otosominaisuudetMuokkaa

Pienimmän neliösumman estimaattorit ovat pisteestimaatteja lineaarisen regressiomallin parametreista β. Yleensä haluamme kuitenkin myös tietää, kuinka lähellä nämä arviot voivat olla parametrien todellisiin arvoihin. Toisin sanoen haluamme rakentaa intervalliarviot.

Koska emme ole olettaneet virhetermin εi jakautumista, estimaattoreiden β ^ {\ displaystyle jakaumaa on mahdotonta päätellä {\ hat {\ beta}}} ja σ ^ 2 {\ displaystyle {\ hat {\ sigma}} ^ {2}}. Voimme kuitenkin soveltaa keskirajalauseketta niiden asymptoottisten ominaisuuksien johtamiseen, kun näytekoko n menee Vaikka näytekoko on väistämättä rajallinen, on tapana olettaa, että n on ”riittävän suuri” niin, että OLS-estimaattorin todellinen jakauma on lähellä sen asymptoottista rajaa.

(β ^ – β) → d N (0, σ 2 Q xx – 1), {\ displaystyle ({\ hat {\ beta}} – \ beta) \ {\ xrightarrow {d}} \ { \ mathcal {N}} {\ iso (} 0, \; \ sigma ^ {2} Q_ {xx} ^ {- 1} {\ iso)},}

missä Q xx = XTX. {\ displaystyle Q_ {xx} = X ^ {T} X.}

IntervalsEdit

Tämän asymptoottisen jakauman käyttäminen , vektorin j: nnen komponentin likimääräiset kaksipuoliset luottamusvälit β ^ {\ displaystyle {\ hat {\ beta}}} voidaan muodostaa seuraavasti:

β j ∈ jj] {\ displaystyle \ beta _ { j} \ muodossa {\ bigg _ {jj}}} \ {\ bigg]}} 1 – α-luottamustasolla,

jossa q tarkoittaa normaalin normaalijakauman kvantiilifunktiota ja jj on j: s diagonaali matriisin elementti.

Vastaavasti pienimmän neliösumman estimaattori σ2: lle on myös johdonmukainen ja asymptoottisesti normaali (edellyttäen, että εi: n neljäs momentti on olemassa) rajoittavalla jakaumalla

(σ ^ 2 – σ 2 ) → d N (0, E ⁡ – σ 4). {\ displaystyle ({\ hat {\ sigma}} ^ {2} – \ sigma ^ {2}) \ {\ xrightarrow {d}} \ {\ mathcal {N}} \ left (0, \; \ operaattorinimi { E} \ vasen- \ sigma ^ {4} \ oikea).} (Y ^ 0 – y 0) → d N (0, σ 2 x 0 TQ xx – 1 x 0), {\ displaystyle \ vasen ({\ hattu {y}} _ {0} -y_ {0} \ oikea) \ {\ xrightarrow {d}} \ {\ mathcal {N}} \ vasen (0, \; \ sigma ^ {2} x_ {0} ^ {\ mathrm {T}} Q_ {xx} ^ {- 1} x_ {0} \ right),}

joka antaa mahdollisuuden rakentaa luottamusvälit keskivasteelle y 0 {\ displaystyle y_ {0}} :

y 0 ∈ {\ displaystyle y_ {0} \ in \ left} 1 – α-luottamustasolla.

HypoteesitestausMuokkaa

Kaksi hypoteesitestiä käytetään erityisen laajalti. Ensinnäkin haluaa tietää, onko arvioitu regressioyhtälö parempi kuin yksinkertaisesti ennustaa, että kaikki vastemuuttujan arvot ovat samat kuin sen otoskeskiarvo (jos ei, sillä ei sanota olevan selittävää voimaa). Arvioidun regression selittämättömän arvon nollahypoteesi testataan F-testillä. Jos lasketun F-arvon todetaan olevan riittävän suuri ylittämään kriittisen arvon ennalta valitulla merkitsevyystasolla, nollahypoteesi hylätään ja vaihtoehtoinen hypoteesi, jonka mukaan regressiolla on selittävä voima, hyväksytään. Muussa tapauksessa nullhypoteesi, jonka mukaan selitysvoimaa ei ole, hyväksytään.

Toiseksi jokaiselle kiinnostavalle selittävälle muuttujalle halutaan tietää, eroako sen arvioitu kerroin merkittävästi nollasta – eli onko tämä tietty selittävä muuttuja tosiasialla on selittävä voima ennustaa vastemuuttuja. Tällöin nollahypoteesi on, että todellinen kerroin on nolla. Tämä hypoteesi testataan laskemalla kerroin s-tilasto kertoimen estimaatin suhteena sen standardivirheeseen. Jos t-tilasto on suurempi kuin ennalta määrätty arvo, nollahypoteesi hylätään ja muuttujalla todetaan olevan selittävä voima, jonka kerroin poikkeaa merkittävästi nollasta. Muussa tapauksessa hyväksytään nollahypoteesi todellisen kertoimen nolla-arvosta.

Lisäksi Chow-testiä käytetään testaamaan, onko molemmilla alinäytteillä Kunkin osajoukon ja yhdistetyn tietojoukon regressioiden neliösumman jäännösten summaa verrataan laskemalla F-tilasto; jos tämä ylittää kriittisen arvon, nollahypoteesi, jossa ei ole eroa näiden kahden osajoukon välillä hylätään; muuten se hyväksytään.