Pamamaraan hindi bababa sa mga parisukat

Sa huling aralin ng paksa, makikilala natin ang pinakatanyag na aplikasyon FNP, na nakakahanap ng pinakamalawak na aplikasyon sa iba't ibang larangan ng agham at praktikal na gawain. Ito ay maaaring pisika, kimika, biology, ekonomiya, sosyolohiya, sikolohiya, at iba pa at iba pa. Sa pamamagitan ng kalooban ng kapalaran, madalas kong kailangang harapin ang ekonomiya, at samakatuwid ngayon ay ayusin ko para sa iyo ang isang paglalakbay sa isang kamangha-manghang bansa na tinatawag na Econometrics=) ...Paanong ayaw mo?! Napakaganda doon - kailangan mo lang magdesisyon! ...Ngunit ang malamang na gusto mo ay matutunan kung paano lutasin ang mga problema paraan ng least squares. At lalo na ang mga masisipag na mambabasa ay matututong lutasin ang mga ito hindi lamang nang tumpak, kundi pati na rin ng MABILIS ;-) Ngunit una pangkalahatang pahayag ng problema+ kasamang halimbawa:

Pag-aralan natin ang mga tagapagpahiwatig sa isang partikular na lugar ng paksa na may quantitative expression. Kasabay nito, mayroong bawat dahilan upang maniwala na ang tagapagpahiwatig ay nakasalalay sa tagapagpahiwatig. Ang pagpapalagay na ito ay maaaring isang siyentipikong hypothesis o batay sa pangunahing sentido komun. Iwanan natin ang agham, gayunpaman, at tuklasin ang higit pang mga lugar na kasiya-siya - ibig sabihin, mga grocery store. Tukuyin natin sa pamamagitan ng:

– retail area ng isang grocery store, sq.m.,
– taunang turnover ng isang grocery store, milyong rubles.

Ito ay ganap na malinaw na ang mas malaki ang lugar ng tindahan, mas malaki sa karamihan ng mga kaso ang turnover nito.

Ipagpalagay na pagkatapos magsagawa ng mga obserbasyon/eksperimento/kalkulasyon/sayaw gamit ang tamburin ay mayroon tayong numerical na data sa ating pagtatapon:

Sa mga grocery store, sa palagay ko ang lahat ay malinaw: - ito ang lugar ng 1st store, - ang taunang turnover nito, - ang lugar ng 2nd store, - ang taunang turnover nito, atbp. Sa pamamagitan ng paraan, hindi kinakailangan na magkaroon ng access sa mga classified na materyales - ang isang medyo tumpak na pagtatasa ng trade turnover ay maaaring makuha sa pamamagitan ng mga istatistika ng matematika . Gayunpaman, huwag tayong magambala, ang kurso ng komersyal na espiya ay binabayaran na =)

Ang data ng tabular ay maaari ding isulat sa anyo ng mga punto at ilarawan sa pamilyar na anyo Sistema ng Cartesian .

Sagutin natin ang isang mahalagang tanong: Ilang puntos ang kailangan para sa isang qualitative study?

Ang mas malaki, mas mabuti. Ang pinakamababang katanggap-tanggap na hanay ay binubuo ng 5-6 puntos. Bilang karagdagan, kapag maliit ang dami ng data, hindi maaaring isama sa sample ang mga "anomalyang" resulta. Kaya, halimbawa, ang isang maliit na elite na tindahan ay maaaring kumita ng mga order ng magnitude nang higit pa kaysa sa "mga kasamahan nito," at sa gayon ay binabaluktot ang pangkalahatang pattern na kailangan mong hanapin!

Upang ilagay ito nang napakasimple, kailangan nating pumili ng isang function, iskedyul na pumasa nang mas malapit hangga't maaari sa mga puntos . Ang function na ito ay tinatawag tinatantiya (approximation - approximation) o teoretikal na pag-andar . Sa pangkalahatan, ang isang malinaw na "contender" ay agad na lumilitaw dito - isang high-degree na polynomial, ang graph kung saan dumadaan sa LAHAT ng mga puntos. Ngunit ang pagpipiliang ito ay kumplikado at kadalasan ay hindi tama. (dahil ang graph ay "mag-loop" sa lahat ng oras at hindi maganda ang pagsasalamin sa pangunahing trend).

Kaya, ang hinahangad na function ay dapat na medyo simple at sa parehong oras ay sapat na sumasalamin sa pagtitiwala. Tulad ng maaari mong hulaan, ang isa sa mga pamamaraan para sa paghahanap ng mga naturang function ay tinatawag paraan ng least squares. Una, tingnan natin ang kakanyahan nito pangkalahatang pananaw. Hayaang gumana ang ilang tinatayang pang-eksperimentong data:


Paano suriin ang katumpakan ng pagtatantya na ito? Kalkulahin din natin ang mga pagkakaiba (paglihis) sa pagitan ng eksperimental at functional na kahulugan (pinag-aaralan namin ang pagguhit). Ang unang naiisip na nasa isip ay ang tantiyahin kung gaano kalaki ang kabuuan, ngunit ang problema ay ang mga pagkakaiba ay maaaring negatibo (Halimbawa, ) at ang mga paglihis bilang resulta ng naturang pagsusuma ay magkakansela sa isa't isa. Samakatuwid, bilang isang pagtatantya ng katumpakan ng pagtatantya, hinihiling nitong kunin ang kabuuan mga module mga paglihis:

o gumuho: (kung may hindi nakakaalam: ay ang sum icon, at – isang auxiliary na "counter" na variable, na kumukuha ng mga halaga mula 1 hanggang ) .

Sa pamamagitan ng pagtatantya ng mga pang-eksperimentong punto na may iba't ibang mga function, makakakuha tayo iba't ibang kahulugan, at malinaw naman, kung saan mas maliit ang halagang ito, mas tumpak ang function na iyon.

Ang ganitong paraan ay umiiral at ito ay tinatawag hindi bababa sa modulus na pamamaraan. Gayunpaman, sa pagsasagawa ito ay naging mas laganap hindi bababa sa parisukat na pamamaraan, kung saan posible mga negatibong halaga ay inalis hindi ng module, ngunit sa pamamagitan ng pag-squaring ng mga deviations:

, pagkatapos kung saan ang mga pagsisikap ay naglalayong pumili ng isang function na ang kabuuan ng mga squared deviations ay kasing liit hangga't maaari. Sa totoo lang, dito nagmula ang pangalan ng pamamaraan.

At ngayon ay babalik tayo sa ibang bagay mahalagang punto: tulad ng nabanggit sa itaas, ang napiling function ay dapat na medyo simple - ngunit mayroon ding maraming mga naturang function: linear , hyperbolic , exponential , logarithmic , parisukat atbp. At, siyempre, dito gusto kong "bawasan ang larangan ng aktibidad." Aling klase ng mga function ang dapat kong piliin para sa pananaliksik? Isang primitive ngunit epektibong pamamaraan:

– Ang pinakamadaling paraan ay ang maglarawan ng mga punto sa pagguhit at pag-aralan ang kanilang lokasyon. Kung may posibilidad silang tumakbo sa isang tuwid na linya, dapat mong hanapin equation ng isang linya na may pinakamainam na halaga at . Sa madaling salita, ang gawain ay upang mahanap ang GANITONG mga coefficient upang ang kabuuan ng mga squared deviations ay ang pinakamaliit.

Kung ang mga punto ay matatagpuan, halimbawa, kasama hyperbole, pagkatapos ay malinaw na malinaw na ang linear function ay magbibigay ng hindi magandang pagtatantya. Sa kasong ito, hinahanap namin ang pinaka "kanais-nais" na mga coefficient para sa hyperbola equation – ang mga nagbibigay ng pinakamababang kabuuan ng mga parisukat .

Ngayon tandaan na sa parehong mga kaso ang pinag-uusapan natin mga function ng dalawang variable, na ang mga argumento ay naghanap ng mga parameter ng dependency:

At mahalagang kailangan nating lutasin ang isang karaniwang problema - hanapin pinakamababang function ng dalawang variable.

Tandaan natin ang ating halimbawa: ipagpalagay na ang mga punto ng "store" ay malamang na matatagpuan sa isang tuwid na linya at mayroong lahat ng dahilan upang maniwala na linear dependence turnover mula sa retail space. Hanapin natin ang GANOONG coefficient na "a" at "be" na ang kabuuan ng mga squared deviations ay ang pinakamaliit. Ang lahat ay gaya ng dati - una Mga partial derivative sa unang order. Ayon kay tuntunin ng linearity Maaari kang mag-iba sa ilalim mismo ng icon ng kabuuan:

Kung nais mong gamitin ang impormasyong ito para sa isang sanaysay o term paper, ako ay lubos na magpapasalamat para sa link sa listahan ng mga mapagkukunan; makikita mo ang mga detalyadong kalkulasyon sa ilang mga lugar:

Gumawa tayo ng karaniwang sistema:

Binabawasan namin ang bawat equation ng "dalawa" at, bilang karagdagan, "paghiwalayin" ang mga kabuuan:

Tandaan : nakapag-iisa na pag-aralan kung bakit maaaring alisin ang "a" at "be" sa kabila ng icon ng kabuuan. Sa pamamagitan ng paraan, pormal na ito ay maaaring gawin sa kabuuan

Isulat muli natin ang system sa "inilapat" na form:

pagkatapos nito ang algorithm para sa paglutas ng aming problema ay nagsisimulang lumabas:

Alam ba natin ang mga coordinate ng mga puntos? Alam namin. Mga halaga mahahanap kaya natin? Madali. Gawin natin ang pinakasimple sistema ng dalawang linear na equation sa dalawang hindi alam(“a” at “maging”). Nilulutas namin ang sistema, halimbawa, Pamamaraan ni Cramer, bilang isang resulta kung saan nakakakuha kami ng isang nakatigil na punto. Sinusuri sapat na kondisyon para sa isang extremum, maaari naming i-verify na sa puntong ito ang function eksaktong umabot pinakamababa. Ang tseke ay nagsasangkot ng mga karagdagang kalkulasyon at samakatuwid ay iiwan namin ito sa likod ng mga eksena (kung kinakailangan, ang nawawalang frame ay maaaring tingnanDito ) . Ginagawa namin ang pangwakas na konklusyon:

Function ang pinakamahusay na paraan (hindi bababa sa kumpara sa anumang iba pang linear function) pinalalapit ang mga pang-eksperimentong punto . Sa halos pagsasalita, ang graph nito ay pumasa nang mas malapit hangga't maaari sa mga puntong ito. Sa tradisyon econometrics ang resultang approximating function ay tinatawag din ipinares na linear regression equation .

Ang problemang isinasaalang-alang ay may malaking praktikal na kahalagahan. Sa aming halimbawang sitwasyon, Eq. ay nagbibigay-daan sa iyo upang mahulaan kung anong trade turnover ("Igrek") ang tindahan ay magkakaroon sa isa o ibang halaga ng lugar ng pagbebenta (isa o ibang kahulugan ng "x"). Oo, ang magreresultang hula ay magiging isang hula lamang, ngunit sa maraming mga kaso ito ay magiging tumpak.

Susuriin ko lamang ang isang problema sa "tunay" na mga numero, dahil walang mga paghihirap dito - lahat ng mga kalkulasyon ay nasa antas kurikulum ng paaralan 7-8 baitang. Sa 95 porsyento ng mga kaso, hihilingin sa iyo na makahanap lamang ng isang linear na function, ngunit sa pinakadulo ng artikulo ay ipapakita ko na hindi na mahirap hanapin ang mga equation ng pinakamainam na hyperbola, exponential at ilang iba pang mga function.

Sa katunayan, ang natitira na lang ay ang pamamahagi ng mga ipinangakong goodies - upang matutunan mong lutasin ang mga naturang halimbawa hindi lamang tumpak, ngunit mabilis din. Maingat naming pinag-aaralan ang pamantayan:

Gawain

Bilang resulta ng pag-aaral ng ugnayan sa pagitan ng dalawang tagapagpahiwatig, ang mga sumusunod na pares ng mga numero ay nakuha:

Gamit ang paraan ng least squares, hanapin ang linear function na pinakamahusay na tinatantya ang empirical (nakaranas) datos. Gumawa ng drawing kung saan bubuo ng mga pang-eksperimentong punto at isang graph ng approximating function sa isang Cartesian rectangular coordinate system . Hanapin ang kabuuan ng mga squared deviations sa pagitan ng empirical at theoretical values. Alamin kung magiging mas maganda ang feature (mula sa punto ng view ng least squares method) ilapit ang mga pang-eksperimentong punto.

Pakitandaan na ang mga kahulugan ng "x" ay natural, at ito ay may katangiang makabuluhang kahulugan, na tatalakayin ko sa ibang pagkakataon; ngunit sila, siyempre, ay maaari ding maging fractional. Bilang karagdagan, depende sa nilalaman ng isang partikular na gawain, ang parehong mga halaga ng "X" at "laro" ay maaaring ganap o bahagyang negatibo. Buweno, binigyan kami ng isang "walang mukha" na gawain, at sinimulan namin ito solusyon:

Odds pinakamainam na pag-andar nahanap namin bilang isang solusyon sa system:

Para sa layunin ng mas compact na pag-record, ang "counter" na variable ay maaaring tanggalin, dahil malinaw na na ang pagsusuma ay isinasagawa mula 1 hanggang .

Ito ay mas maginhawa upang kalkulahin ang mga kinakailangang halaga sa tabular form:


Maaaring isagawa ang mga kalkulasyon sa isang microcalculator, ngunit mas mahusay na gumamit ng Excel - parehong mas mabilis at walang mga error; manood ng maikling video:

Kaya, nakukuha namin ang sumusunod sistema:

Dito maaari mong i-multiply ang pangalawang equation sa 3 at ibawas ang 2nd mula sa 1st equation term sa pamamagitan ng term. Ngunit ito ay swerte - sa pagsasagawa, ang mga sistema ay madalas na hindi isang regalo, at sa mga ganitong kaso nakakatipid ito Pamamaraan ni Cramer:
, na nangangahulugang ang system ay may natatanging solusyon.

Suriin natin. Naiintindihan ko na hindi mo gusto, ngunit bakit laktawan ang mga error kung saan ang mga ito ay talagang hindi mapalampas? Ipalit natin ang nahanap na solusyon sa kaliwang bahagi ng bawat equation ng system:

Ang kanang bahagi ng mga katumbas na equation ay nakuha, na nangangahulugan na ang sistema ay nalutas nang tama.

Kaya, ang gustong approximating function: – mula sa lahat ng linear function Siya ang pinakamahusay na tinatantya ang pang-eksperimentong data.

Unlike tuwid dependence ng turnover ng tindahan sa lugar nito, ang nahanap na dependence ay reverse (prinsipyo "mas marami, mas kaunti"), at ang katotohanang ito ay agad na inihayag ng negatibo dalisdis. Ang function ay nagsasabi sa amin na habang ang isang tiyak na tagapagpahiwatig ay tumataas ng 1 yunit, ang halaga ng umaasa na tagapagpahiwatig ay bumababa karaniwan ng 0.65 units. Tulad ng sinasabi nila, mas mataas ang presyo ng bakwit, mas mababa ito ibinebenta.

Upang i-plot ang graph ng approximating function, makikita natin ang dalawang value nito:

at isagawa ang pagguhit:

Ang itinayong tuwid na linya ay tinatawag linya ng trend (ibig sabihin, isang linear trend line, ibig sabihin, sa pangkalahatang kaso, ang trend ay hindi nangangahulugang isang tuwid na linya). Ang bawat tao'y pamilyar sa pananalitang "maging uso," at sa palagay ko ang terminong ito ay hindi nangangailangan ng karagdagang mga komento.

Kalkulahin natin ang kabuuan ng mga squared deviations sa pagitan ng empirical at theoretical values. Sa geometriko, ito ang kabuuan ng mga parisukat ng mga haba ng mga segment na "raspberry". (dalawa sa mga ito ay napakaliit na hindi man lang nakikita).

Ibuod natin ang mga kalkulasyon sa isang talahanayan:


Muli, maaari silang gawin nang manu-mano; kung sakali, magbibigay ako ng isang halimbawa para sa unang punto:

ngunit ito ay mas epektibong gawin ito sa alam nang paraan:

Ulitin namin muli: Ano ang kahulugan ng resultang nakuha? Mula sa lahat ng linear function ang function ay may pinakamaliit na exponent, iyon ay, ito ang pinakamahusay na approximation sa pamilya nito. At dito, sa pamamagitan ng paraan, ang huling tanong ng problema ay hindi sinasadya: paano kung ang iminungkahing exponential function mas mabuti bang ilapit ang mga pang-eksperimentong punto?

Hanapin natin ang katumbas na kabuuan ng mga parisukat na paglihis - upang makilala, ilalarawan ko ang mga ito sa pamamagitan ng titik na "epsilon". Ang pamamaraan ay eksaktong pareho:

At muli, kung sakali, ang mga kalkulasyon para sa 1st point:

Sa Excel ginagamit namin ang karaniwang function EXP (matatagpuan ang syntax sa Excel Help).

Konklusyon: , na nangangahulugan na ang exponential function ay tinatantya ang mga pang-eksperimentong puntos na mas malala kaysa sa tuwid na linya.

Ngunit dito dapat tandaan na ang "mas masahol pa" ay hindi pa ibig sabihin, anong mali. Ngayon ay nakagawa na ako ng graph nito exponential function- at pumasa din ito malapit sa mga punto - kaya't kung walang analytical na pananaliksik ay mahirap sabihin kung aling function ang mas tumpak.

Tinatapos nito ang solusyon, at bumalik ako sa tanong ng mga likas na halaga ng argumento. Sa iba't ibang mga pag-aaral, kadalasang pang-ekonomiya o sosyolohikal, ang mga natural na "X" ay ginagamit sa bilang ng mga buwan, taon o iba pang pantay na agwat ng oras. Isaalang-alang, halimbawa, ang sumusunod na problema:

Ang sumusunod na impormasyon ay makukuha tungkol sa paglilipat ng tingi sa kalakalan tindahan para sa unang kalahati ng taon:

Gamit ang analytical straight line alignment, tukuyin ang dami ng turnover para sa Hulyo.

Oo, walang problema: binibilang namin ang mga buwan 1, 2, 3, 4, 5, 6 at ginagamit ang karaniwang algorithm, bilang isang resulta kung saan nakakakuha kami ng isang equation - ang tanging bagay ay na pagdating sa oras, karaniwang ginagamit nila ang titik na "te" (bagaman hindi ito kritikal). Ang resultang equation ay nagpapakita na sa unang kalahati ng taon ang trade turnover ay tumaas ng average na 27.74 units. kada buwan. Kunin natin ang forecast para sa Hulyo (buwan blg. 7): d.e.

At mayroong hindi mabilang na mga gawain tulad nito. Ang mga nais ay maaaring gumamit ng karagdagang serbisyo, katulad ng aking Excel calculator (demo na bersyon), alin nilulutas ang nasuri na problema halos kaagad! Ang gumaganang bersyon ng programa ay magagamit sa kapalit o para sa simbolikong bayad.

Sa pagtatapos ng aralin maikling impormasyon o paghahanap ng mga dependency ng ilang iba pang uri. Sa totoo lang, walang gaanong masasabi, dahil ang pangunahing diskarte at algorithm ng solusyon ay nananatiling pareho.

Ipagpalagay natin na ang pagkakaayos ng mga eksperimentong punto ay kahawig ng isang hyperbola. Pagkatapos, upang mahanap ang mga coefficient ng pinakamahusay na hyperbola, kailangan mong hanapin ang minimum ng function - sinuman ay maaaring magsagawa ng mga detalyadong kalkulasyon at makarating sa isang katulad na sistema:

Mula sa isang pormal na teknikal na pananaw, ito ay nakuha mula sa isang "linear" na sistema (ipahiwatig natin ito ng asterisk) pinapalitan ang "x" ng . Well, ano ang tungkol sa mga halaga? kalkulahin, pagkatapos nito sa pinakamainam na coefficient "a" at "be" malapit sa kamay.

Kung mayroong bawat dahilan upang maniwala na ang mga puntos ay matatagpuan sa kahabaan ng isang logarithmic curve, pagkatapos ay upang mahanap ang pinakamainam na mga halaga ay nakita namin ang minimum ng function . Sa pormal, sa system (*) ay kailangang mapalitan ng:

Kapag nagsasagawa ng mga kalkulasyon sa Excel, gamitin ang function LN. Inaamin ko na hindi magiging mahirap para sa akin na lumikha ng mga calculator para sa bawat isa sa mga kaso na isinasaalang-alang, ngunit mas mabuti pa rin kung ikaw mismo ang "na-program" ang mga kalkulasyon. Mga video ng aralin upang makatulong.

Sa exponential dependence ang sitwasyon ay medyo mas kumplikado. Upang bawasan ang bagay sa linear case, kinukuha namin ang function logarithm at ginagamit mga katangian ng logarithm:

Ngayon, ang paghahambing ng nagreresultang function sa linear function, dumating tayo sa konklusyon na sa system (*) ay dapat mapalitan ng , at – ng . Para sa kaginhawahan, tukuyin natin:

Mangyaring tandaan na ang sistema ay nalutas na may paggalang sa at, at samakatuwid, pagkatapos mahanap ang mga ugat, hindi mo dapat kalimutang hanapin ang koepisyent mismo.

Upang ilapit ang mga pang-eksperimentong punto pinakamainam na parabola , dapat matagpuan pinakamababang function ng tatlong variable . Pagkatapos magsagawa ng mga karaniwang pagkilos, nakukuha namin ang sumusunod na "gumagana" sistema:

Oo, siyempre, mayroong higit pang mga halaga dito, ngunit walang mga paghihirap sa lahat kapag ginagamit ang iyong paboritong application. At sa wakas, sasabihin ko sa iyo kung paano mabilis na magsagawa ng tseke gamit ang Excel at bumuo ng nais na linya ng trend: lumikha ng isang scatter plot, piliin ang alinman sa mga punto gamit ang mouse at i-right click piliin ang opsyon "Magdagdag ng trend line". Susunod, piliin ang uri ng chart at sa tab "Mga Opsyon" buhayin ang opsyon "Ipakita ang equation sa diagram". OK

Gaya ng dati, gusto kong tapusin ang artikulo sa ilan sa isang magandang parirala, at halos i-type ko ang "Maging uso!" Ngunit nagbago ang isip niya sa oras. At hindi dahil ito ay stereotyped. Hindi ko alam kung paano ito para sa sinuman, ngunit hindi ko talaga gustong sundin ang na-promote na Amerikano at lalo na ang European trend =) Samakatuwid, nais kong ang bawat isa sa iyo ay manatili sa iyong sariling linya!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Ang pamamaraan ng hindi bababa sa mga parisukat ay isa sa mga pinaka-karaniwan at pinaka-binuo dahil sa nito pagiging simple at kahusayan ng mga pamamaraan para sa pagtatantya ng mga parameter ng mga linear econometric na modelo. Kasabay nito, kapag ginagamit ito, ang ilang pag-iingat ay dapat sundin, dahil ang mga modelo na binuo gamit ito ay maaaring hindi matugunan ang isang bilang ng mga kinakailangan para sa kalidad ng kanilang mga parameter at, bilang isang resulta, ay hindi sumasalamin sa mga pattern ng pag-unlad ng proseso na "mahusay" tama na.

Isaalang-alang natin ang pamamaraan para sa pagtatantya ng mga parameter ng isang linear econometric na modelo gamit ang pamamaraan ng least squares nang mas detalyado. Ang ganitong modelo sa pangkalahatan ay maaaring katawanin ng equation (1.2):

y t = a 0 + a 1 x 1t +...+ a n x nt + ε t.

Ang paunang data kapag tinatantya ang mga parameter a 0 , a 1 ,..., a n ay isang vector ng mga halaga ng dependent variable y= (y 1 , y 2 , ... , y T)" at ang matrix ng mga halaga ng mga independiyenteng variable

kung saan ang unang hanay, na binubuo ng mga, ay tumutugma sa koepisyent ng modelo.

Ang paraan ng least squares ay nakatanggap ng pangalan nito batay sa pangunahing prinsipyo na dapat matugunan ng mga pagtatantya ng parameter na nakuha sa batayan nito: ang kabuuan ng mga parisukat ng error sa modelo ay dapat na minimal.

Mga halimbawa ng paglutas ng mga problema gamit ang least squares method

Halimbawa 2.1. Ang negosyo ng kalakalan ay may isang network ng 12 mga tindahan, ang impormasyon sa mga aktibidad na kung saan ay ipinakita sa talahanayan. 2.1.

Nais malaman ng pamamahala ng negosyo kung paano nakasalalay ang laki ng taunang turnover sa retail space ng tindahan.

Talahanayan 2.1

Pinakamababang mga parisukat na solusyon. Tukuyin natin ang taunang turnover ng ika na tindahan, milyong rubles; - retail area ng ika-store, thousand m2.

Fig.2.1. Scatterplot para sa Halimbawa 2.1

Upang matukoy ang anyo ng functional na relasyon sa pagitan ng mga variable at gagawa tayo ng scatter diagram (Larawan 2.1).

Batay sa scatter diagram, maaari nating tapusin na ang taunang turnover ay positibong nakadepende sa retail space (ibig sabihin, tataas ang y sa pagtaas ). Ang pinaka-angkop na paraan ng functional na koneksyon ay linear.

Ang impormasyon para sa karagdagang mga kalkulasyon ay ipinakita sa talahanayan. 2.2. Gamit ang paraan ng least squares, tinatantya namin ang mga parameter ng isang linear na one-factor na econometric na modelo

Talahanayan 2.2

kaya,

Samakatuwid, na may pagtaas sa retail space ng 1 libong m2, ang iba pang mga bagay ay pantay, ang average na taunang turnover ay tumataas ng 67.8871 milyong rubles.

Halimbawa 2.2. Napansin ng pamamahala ng kumpanya na ang taunang turnover ay nakasalalay hindi lamang sa lugar ng pagbebenta ng tindahan (tingnan ang halimbawa 2.1), kundi pati na rin sa average na bilang ng mga bisita. Ang nauugnay na impormasyon ay ipinakita sa talahanayan. 2.3.

Talahanayan 2.3

Solusyon. Ipaalam sa amin tukuyin - ang average na bilang ng mga bisita sa ika na tindahan bawat araw, libong tao.

Upang matukoy ang anyo ng functional na relasyon sa pagitan ng mga variable at gagawa tayo ng scatter diagram (Larawan 2.2).

Batay sa scatterplot, maaari nating tapusin na ang taunang turnover ay positibong nakadepende sa average na bilang ng mga bisita bawat araw (ibig sabihin, tataas ang y sa pagtaas ). Ang anyo ng functional dependence ay linear.

kanin. 2.2. Scatterplot para sa Halimbawa 2.2

Talahanayan 2.4

Sa pangkalahatan, kinakailangan upang matukoy ang mga parameter ng isang two-factor econometric model

y t = a 0 + a 1 x 1t + a 2 x 2t + ε t

Ang impormasyon na kinakailangan para sa karagdagang mga kalkulasyon ay ipinakita sa talahanayan. 2.4.

Tantyahin natin ang mga parameter ng isang linear na two-factor econometric model gamit ang least squares method.

kaya,

Ang pagtatantya ng koepisyent =61.6583 ay nagpapakita na, ang iba pang mga bagay ay pantay, na may pagtaas sa retail space ng 1 thousand m 2, ang taunang turnover ay tataas ng average na 61.6583 milyong rubles.

Ang coefficient estimate = 2.2748 ay nagpapakita na, ang iba pang mga bagay ay pantay, na may pagtaas sa average na bilang ng mga bisita sa bawat 1 libong tao. bawat araw, ang taunang turnover ay tataas ng average na 2.2748 milyong rubles.

Halimbawa 2.3. Gamit ang impormasyong ipinakita sa talahanayan. 2.2 at 2.4, tantyahin ang parameter ng one-factor econometric model

kung saan ang nakasentro na halaga ng taunang turnover ng ika na tindahan, milyong rubles; - nakasentro na halaga ng average na pang-araw-araw na bilang ng mga bisita sa t-th store, libong tao. (tingnan ang mga halimbawa 2.1-2.2).

Solusyon. Ang karagdagang impormasyon na kinakailangan para sa mga kalkulasyon ay ipinakita sa talahanayan. 2.5.

Talahanayan 2.5

Gamit ang formula (2.35), nakukuha natin

kaya,

http://www.cleverstudents.ru/articles/mnk.html

Halimbawa.

Pang-eksperimentong data sa mga halaga ng mga variable X At sa ay ibinigay sa talahanayan.

Bilang resulta ng kanilang pagkakahanay, nakuha ang pag-andar

Gamit hindi bababa sa parisukat na pamamaraan, tantiyahin ang mga data na ito sa pamamagitan ng isang linear na dependence y=ax+b(hanapin ang mga parameter A At b). Alamin kung alin sa dalawang linya ang mas mahusay (sa kahulugan ng paraan ng least squares) ang nakahanay sa pang-eksperimentong data. Gumawa ng drawing.

Solusyon.

Sa ating halimbawa n=5. Pinupuno namin ang talahanayan para sa kaginhawaan ng pagkalkula ng mga halaga na kasama sa mga formula ng kinakailangang coefficients.

Ang mga halaga sa ika-apat na hilera ng talahanayan ay nakuha sa pamamagitan ng pagpaparami ng mga halaga ng ika-2 hilera sa mga halaga ng ika-3 hilera para sa bawat numero i.

Ang mga halaga sa ikalimang hilera ng talahanayan ay nakuha sa pamamagitan ng pag-squaring ng mga halaga sa ika-2 hilera para sa bawat numero i.

Ang mga halaga sa huling hanay ng talahanayan ay ang mga kabuuan ng mga halaga sa mga hilera.

Ginagamit namin ang mga formula ng pinakamaliit na paraan ng mga parisukat upang mahanap ang mga coefficient A At b. Pinapalitan namin ang kaukulang mga halaga mula sa huling hanay ng talahanayan sa kanila:

Kaya naman, y = 0.165x+2.184- ang nais na tinatayang tuwid na linya.

Ito ay nananatiling alamin kung alin sa mga linya y = 0.165x+2.184 o mas mahusay na tinatantya ang orihinal na data, iyon ay, gumagawa ng isang pagtatantya gamit ang least squares method.

Patunay.

Kaya't kapag natagpuan A At b Kinukuha ng function ang pinakamaliit na halaga, kinakailangan na sa puntong ito ang matrix ng quadratic form ng second order differential para sa function ay tiyak na positibo. Ipakita natin.

Ang second order differential ay may anyo:

Yan ay

Samakatuwid, ang matrix ng quadratic form ay may anyo

at ang mga halaga ng mga elemento ay hindi nakasalalay sa A At b.

Ipakita natin na ang matrix ay positibong tiyak. Upang gawin ito, ang mga angular na menor de edad ay dapat na positibo.

Angular minor ng unang order . Ang hindi pagkakapantay-pantay ay mahigpit, dahil ang mga puntos

Ang pamamaraan ng hindi bababa sa mga parisukat ay isang matematikal na pamamaraan para sa pagbuo ng isang linear na equation na pinakaangkop sa isang hanay ng mga nakaayos na pares sa pamamagitan ng paghahanap ng mga halaga para sa a at b, ang mga coefficient sa equation ng linya. Ang layunin ng hindi bababa sa mga parisukat ay upang mabawasan ang kabuuang parisukat na error sa pagitan ng mga halaga ng y at ŷ. Kung para sa bawat punto ay natukoy namin ang error ŷ, ang pinakamaliit na paraan ng mga parisukat ay nagpapaliit:

kung saan n = bilang ng mga nakaayos na pares sa paligid ng linya. nang mas malapit hangga't maaari sa data.

Ang konseptong ito ay inilalarawan sa figure

Batay sa figure, ang linya na pinakaangkop sa data, ang regression line, ay nagpapaliit sa kabuuang squared error ng apat na puntos sa graph. Ipapakita ko sa iyo kung paano matukoy ito gamit ang hindi bababa sa mga parisukat sa sumusunod na halimbawa.

Isipin ang isang batang mag-asawa na kamakailan ay lumipat nang magkasama at nagbabahagi ng vanity table sa banyo. Nagsimulang mapansin ng binata na ang kalahati ng kanyang mesa ay hindi maiiwasang lumiliit, nawalan ng lupa sa mga mousses ng buhok at mga soy complex. Sa nakalipas na ilang buwan, maingat na sinusubaybayan ng lalaki ang bilis ng pagtaas ng bilang ng mga bagay sa kanyang gilid ng mesa. Ipinapakita ng talahanayan sa ibaba ang bilang ng mga item na naipon ng batang babae sa kanyang vanity sa banyo sa nakalipas na ilang buwan.

Dahil ang aming layunin ay malaman kung tumataas ang bilang ng mga item sa paglipas ng panahon, ang "Buwan" ang magiging independent variable, at ang "Bilang ng mga item" ang magiging dependent variable.

Gamit ang paraan ng least squares, tinutukoy namin ang equation na pinakaangkop sa data sa pamamagitan ng pagkalkula ng mga halaga ng a, ang y-intercept, at b, ang slope ng linya:

a = y avg - bx avg

kung saan ang x avg ay ang average na halaga ng x, ang independent variable, ang y avg ay ang average na value ng y, ang independent variable.

Ang talahanayan sa ibaba ay nagbubuod ng mga kalkulasyon na kinakailangan para sa mga equation na ito.

Ang curve ng epekto para sa aming halimbawa ng bathtub ay ibibigay ng sumusunod na equation:

Dahil ang aming equation ay may positibong slope na 0.976, ang tao ay may katibayan na ang bilang ng mga bagay sa talahanayan ay tumataas sa paglipas ng panahon average na bilis 1 item bawat buwan. Ipinapakita ng graph ang curve ng epekto na may mga nakaayos na pares.

Ang inaasahan para sa bilang ng mga item sa susunod na anim na buwan (buwan 16) ay kakalkulahin tulad ng sumusunod:

ŷ = 5.13 + 0.976x = 5.13 + 0.976(16) ~ 20.7 = 21 item

Kaya, oras na para kumilos ang ating bida.

TREND function sa Excel

Tulad ng malamang na nahulaan mo na, ang Excel ay may function para sa pagkalkula ng mga halaga sa pamamagitan ng paraan ng least squares. Ang function na ito ay tinatawag na TREND. Ang syntax nito ay ang mga sumusunod:

TREND ( kilalang halaga Y; kilalang halaga ng X; bagong mga halaga ng X; const)

kilalang mga halaga ng Y – isang hanay ng mga umaasang variable, sa aming kaso, ang bilang ng mga bagay sa talahanayan

kilalang mga halaga X – isang hanay ng mga independiyenteng variable, sa aming kaso ito ang buwan

bagong X values ​​– bagong X values ​​(buwan) kung saan TREND function ibinabalik ang inaasahang halaga ng mga dependent variable (bilang ng mga item)

const - opsyonal. Isang Boolean na halaga na tumutukoy kung ang pare-parehong b ay kinakailangang maging 0.

Halimbawa, ipinapakita ng figure ang TREND function na ginamit upang matukoy ang inaasahang bilang ng mga item sa vanity ng banyo para sa ika-16 na buwan.

Paraan ng least squares (LSM) Ordinary Least Squares, OLS) -- pamamaraan ng matematika, ginagamit upang malutas ang iba't ibang mga problema, batay sa pagliit ng kabuuan ng mga squared deviations ng ilang mga function mula sa nais na mga variable. Maaari itong magamit upang "malutas" ang mga overdetermined system ng mga equation (kapag ang bilang ng mga equation ay lumampas sa bilang ng mga hindi alam), upang makahanap ng solusyon sa kaso ng mga ordinaryo (hindi overdetermined) nonlinear system mga equation para sa pagtatantya ng mga halaga ng punto na may ilang function. Ang OLS ay isa sa mga pangunahing pamamaraan ng pagsusuri ng regression para sa pagtantya ng hindi kilalang mga parameter ng mga modelo ng regression mula sa sample na data.

Ang kakanyahan ng pamamaraan ng hindi bababa sa mga parisukat

Hayaan ang isang hanay ng mga hindi kilalang variable (parameter), at maging isang hanay ng mga function mula sa hanay ng mga variable na ito. Ang gawain ay upang piliin ang mga halaga ng x na ang mga halaga ng mga function na ito ay mas malapit hangga't maaari sa ilang mga halaga. Sa totoo lang pinag-uusapan natin tungkol sa "solusyon" ng isang overdetermined system ng mga equation sa ipinahiwatig na kahulugan ng maximum proximity ng kaliwa at tamang bahagi mga sistema. Ang kakanyahan ng pinakamaliit na paraan ng mga parisukat ay upang piliin bilang isang "proximity measure" ang kabuuan ng mga squared deviations ng kaliwa at kanang gilid - . Kaya, ang kakanyahan ng MNC ay maaaring ipahayag tulad ng sumusunod:

Kung ang sistema ng mga equation ay may solusyon, kung gayon ang pinakamababa sa kabuuan ng mga parisukat ay magiging zero at ang eksaktong mga solusyon sa sistema ng mga equation ay matatagpuan sa analytically o, halimbawa, gamit ang iba't ibang mga numerical optimization na pamamaraan. Kung ang sistema ay overdetermined, iyon ay, maluwag na pagsasalita, ang bilang ng mga independiyenteng equation mas dami ang nais na mga variable, kung gayon ang system ay walang eksaktong solusyon at ang pinakamaliit na paraan ng mga parisukat ay nagpapahintulot sa isa na makahanap ng ilang "pinakamainam" na vector sa kahulugan ng pinakamataas na kalapitan ng mga vector at o ang pinakamataas na kalapitan ng paglihis ng vector sa zero (ang proximity ay naiintindihan sa kahulugan ng Euclidean distance).

Halimbawa - sistema ng mga linear na equation

Sa partikular, ang paraan ng hindi bababa sa mga parisukat ay maaaring gamitin upang "malutas" ang isang sistema ng mga linear na equation

kung saan ang matrix ay hindi parisukat, ngunit hugis-parihaba ang laki (mas tiyak, ang ranggo ng matrix A ay mas malaki kaysa sa bilang ng mga hinahanap na variable).

Sa pangkalahatang kaso, ang gayong sistema ng mga equation ay walang solusyon. Samakatuwid, ang sistemang ito ay maaaring "malutas" lamang sa kahulugan ng pagpili ng tulad ng isang vector upang mabawasan ang "distansya" sa pagitan ng mga vector at. Upang gawin ito, maaari mong ilapat ang criterion ng pagliit ng kabuuan ng mga parisukat ng mga pagkakaiba sa pagitan ng kaliwa at kanang bahagi ng mga equation ng system, iyon ay. Madaling ipakita na ang paglutas sa problemang ito sa minimization ay humahantong sa paglutas ng sumusunod na sistema ng mga equation

Gamit ang pseudoinversion operator, ang solusyon ay maaaring muling isulat tulad ng sumusunod:

para saan ang pseudo-inverse matrix.

Ang problemang ito ay maaari ding "malutas" gamit ang tinatawag na weighted least squares method (tingnan sa ibaba), kapag ang iba't ibang equation ng system ay tumatanggap ng iba't ibang mga timbang para sa mga teoretikal na dahilan.

Ang isang mahigpit na pagbibigay-katwiran at pagtatatag ng mga hangganan ng substantive applicability ng pamamaraan ay ibinigay ni A. A. Markov at A. N. Kolmogorov.

OLS sa regression analysis (data approximation)[baguhin | i-edit ang wiki text] Hayaang magkaroon ng mga halaga ng ilang variable (maaaring ito ang mga resulta ng mga obserbasyon, eksperimento, atbp.) at ang mga kaukulang variable. Ang gawain ay upang tantiyahin ang kaugnayan sa pagitan at ng ilang function na kilala sa loob ng ilang hindi kilalang mga parameter, iyon ay, upang aktwal na mahanap pinakamahusay na mga halaga mga parameter na nagdadala ng mga halaga nang mas malapit hangga't maaari sa aktwal na mga halaga. Sa katunayan, ito ay bumababa sa kaso ng "paglutas" ng isang overdetermined system ng mga equation na may kinalaman sa:

Sa pagsusuri ng regression at partikular sa econometrics, ginagamit ang mga probabilistikong modelo ng pag-asa sa pagitan ng mga variable.

nasaan ang tinatawag na random errors ng model.

Alinsunod dito, ang mga paglihis ng mga sinusunod na halaga mula sa mga modelo ay ipinapalagay sa modelo mismo. Ang kakanyahan ng pamamaraan ng hindi bababa sa mga parisukat (ordinaryo, klasikal) ay ang paghahanap ng mga naturang parameter kung saan ang kabuuan ng mga parisukat na paglihis (mga error, para sa mga modelo ng regression ay madalas na tinatawag na mga nalalabi sa regression) ay magiging minimal:

saan - Ingles Ang natitirang kabuuan ng mga parisukat ay tinukoy bilang:

Sa pangkalahatang kaso, ang problemang ito ay maaaring malutas sa pamamagitan ng numerical optimization (minimization) na pamamaraan. Sa kasong ito, pinag-uusapan nila ang tungkol sa non-linear least squares (NLS o NLLS - Non-Linear Least Squares). Sa maraming mga kaso posible na makakuha ng isang analytical na solusyon. Upang malutas ang problema sa pag-minimize, kinakailangan upang makahanap ng mga nakatigil na punto ng pag-andar sa pamamagitan ng pagkakaiba-iba nito na may paggalang sa hindi kilalang mga parameter, pagpareho sa mga derivatives sa zero at paglutas ng nagresultang sistema ng mga equation:

OLS sa kaso ng linear regression[baguhin | i-edit ang teksto ng wiki]

Hayaang maging linear ang regression dependence:

Hayaang ang y ay isang column vector ng mga obserbasyon ng ipinaliwanag na variable, at ang y ay isang matrix ng mga factor na obserbasyon (ang mga hilera ng matrix ay mga vector ng mga factor value sa isang naibigay na obserbasyon, at ang mga column ay isang vector ng mga halaga. ng isang naibigay na kadahilanan sa lahat ng mga obserbasyon). Ang representasyon ng matrix ng linear na modelo ay:

Pagkatapos ay ang vector ng mga pagtatantya ng ipinaliwanag na variable at ang vector ng mga residual ng regression ay magiging pantay

Alinsunod dito, ang kabuuan ng mga parisukat ng mga natitirang regression ay magiging katumbas ng

Ang pagkakaiba-iba ng function na ito na may paggalang sa vector ng mga parameter at equating ang mga derivatives sa zero, nakakakuha kami ng isang sistema ng mga equation (sa matrix form):

Sa deciphered matrix form, ganito ang hitsura ng sistemang ito ng mga equation:

kung saan ang lahat ng mga kabuuan ay kinuha sa lahat ng mga wastong halaga.

Kung ang isang pare-pareho ay kasama sa modelo (gaya ng dati), pagkatapos ay para sa lahat, samakatuwid sa itaas na kaliwang sulok ng matrix ng sistema ng mga equation mayroong bilang ng mga obserbasyon, at sa natitirang mga elemento ng unang hilera at unang haligi mayroon lamang mga kabuuan ng mga halaga ng mga variable: at ang unang elemento ng kanang bahagi ng system ay .

Ang solusyon ng sistemang ito ng mga equation ay nagbibigay ng pangkalahatang formula para sa hindi bababa sa mga pagtatantya ng mga parisukat para sa isang linear na modelo:

Para sa mga layunin ng analitikal, ang huling representasyon ng formula na ito ay lumalabas na kapaki-pakinabang (sa sistema ng mga equation kapag hinahati sa n, ang arithmetic na paraan ay lilitaw sa halip na mga kabuuan). Kung sa isang modelo ng regression ang data ay nakasentro, kung gayon sa representasyong ito ang unang matrix ay may kahulugan ng isang sample na covariance matrix ng mga kadahilanan, at ang pangalawa ay isang vector ng covariances ng mga kadahilanan na may dependent variable. Kung, bilang karagdagan, ang data ay na-normalize din sa standard deviation (iyon ay, sa huli ay na-standardize), kung gayon ang unang matrix ay may kahulugan ng isang sample na correlation matrix ng mga kadahilanan, ang pangalawang vector - isang vector ng sample na mga ugnayan ng mga kadahilanan na may umaasa. variable.

Ang isang mahalagang pag-aari ng mga pagtatantya ng OLS para sa mga modelo na may pare-pareho ay ang itinayong linya ng regression ay dumadaan sa gitna ng grabidad ng sample na data, iyon ay, ang pagkakapantay-pantay ay mayroong:

Sa partikular, sa matinding kaso, kapag ang nag-iisang regressor ay pare-pareho, nalaman namin na ang pagtatantya ng OLS ng tanging parameter (ang pare-pareho mismo) ay katumbas ng average na halaga ng ipinaliwanag na variable. Iyon ay, ang arithmetic mean, na kilala sa magagandang katangian nito mula sa mga batas ng malalaking numero, ay isa ring hindi bababa sa pagtatantya ng mga parisukat - natutugunan nito ang pamantayan ng pinakamababang kabuuan ng mga squared deviations mula dito.

Ang pinakasimpleng mga espesyal na kaso[baguhin | i-edit ang teksto ng wiki]

Sa kaso ng ipinares na linear regression, kapag ang linear dependence ng isang variable sa isa pa ay tinantya, ang mga formula ng pagkalkula ay pinasimple (magagawa mo nang walang matrix algebra). Ang sistema ng mga equation ay may anyo:

Mula dito, madaling makahanap ng mga pagtatantya ng koepisyent:

Bagaman sa mga pangkalahatang modelo na may pare-pareho ay mas kanais-nais, sa ilang mga kaso ito ay kilala mula sa teoretikal na pagsasaalang-alang na ang pare-pareho ay dapat na katumbas ng zero. Halimbawa, sa pisika ang relasyon sa pagitan ng boltahe at kasalukuyang ay; Kapag sinusukat ang boltahe at kasalukuyang, kinakailangan upang tantyahin ang paglaban. Sa kasong ito, pinag-uusapan natin ang tungkol sa isang modelo. Sa kasong ito, sa halip na isang sistema ng mga equation mayroon kaming isang solong equation

Samakatuwid, ang formula para sa pagtantya ng solong koepisyent ay may anyo

Mga istatistikal na katangian ng mga pagtatantya ng OLS[baguhin | i-edit ang teksto ng wiki]

Una sa lahat, tandaan namin na para sa mga linear na modelo, ang mga pagtatantya ng OLS ay mga linear na pagtatantya, tulad ng sumusunod mula sa formula sa itaas. Para sa walang pinapanigan na mga pagtatantya ng OLS, ito ay kinakailangan at sapat upang gumanap ang pinakamahalagang kondisyon regression analysis: ang factor-conditional mathematical expectation ng random error ay dapat na katumbas ng zero. Ang kundisyong ito, sa partikular, ay nasiyahan kung ang mathematical na inaasahan ng mga random na error ay zero, at ang mga kadahilanan at mga random na error ay mga independiyenteng random variable.

Ang unang kundisyon ay maaaring ituring na palaging nasiyahan para sa mga modelo na may pare-pareho, dahil ang pare-pareho ay tumatagal sa isang hindi-zero na pag-asa sa matematika ng mga pagkakamali (samakatuwid, ang mga modelo na may pare-pareho ay karaniwang mas gusto). hindi bababa sa square regression covariance

Ang pangalawang kondisyon - ang kondisyon ng exogeneity ng mga kadahilanan - ay mahalaga. Kung hindi matugunan ang pag-aari na ito, maaari nating ipagpalagay na halos anumang mga pagtatantya ay magiging lubhang hindi kasiya-siya: hindi sila magiging pare-pareho (iyon ay, kahit na ang isang napakalaking halaga ng data ay hindi nagpapahintulot sa amin na makakuha ng mataas na kalidad na mga pagtatantya sa kasong ito. ). Sa klasikal na kaso, ang isang mas malakas na pagpapalagay ay ginawa tungkol sa determinismo ng mga salik, kumpara sa isang random na error, na awtomatikong nangangahulugan na ang kondisyon ng exogeneity ay natutugunan. Sa pangkalahatang kaso, para sa pagkakapare-pareho ng mga pagtatantya, sapat na upang matugunan ang kondisyon ng exogeneity kasama ang convergence ng matrix sa ilang di-singular na matrix habang ang laki ng sample ay tumataas sa infinity.

Upang, bilang karagdagan sa pagkakapare-pareho at walang kinikilingan, ang mga pagtatantya ng (ordinaryo) na LSM ay maging epektibo rin (ang pinakamahusay sa klase ng mga linear na walang pinapanigan na pagtatantya), ang mga karagdagang katangian ng random na error ay dapat matugunan:

Patuloy (magkapareho) na pagkakaiba-iba ng mga random na error sa lahat ng mga obserbasyon (walang heteroskedasticity):

Kakulangan ng ugnayan (autocorrelation) ng mga random na error sa iba't ibang mga obserbasyon sa bawat isa

Ang mga pagpapalagay na ito ay maaaring buuin para sa covariance matrix ng random error vector

Ang isang linear na modelo na nakakatugon sa mga kundisyong ito ay tinatawag na klasikal. Ang mga pagtatantya ng OLS para sa klasikal na linear regression ay walang pinapanigan, pare-pareho at ang pinakaepektibong mga pagtatantya sa klase ng lahat ng linear na walang pinapanigan na pagtatantya (sa panitikang Ingles ang pagdadaglat na BLUE (Best Linear Unbiased Estimator) ay minsan ginagamit - ang pinakamahusay na linear na walang pinapanigan na pagtatantya; sa panitikang Ruso Ang Gauss-Markov theorem ay kadalasang ginagamit). Gaya ng madaling ipakita, ang covariance matrix ng vector ng mga pagtatantya ng koepisyent ay magiging katumbas ng:

Ang kahusayan ay nangangahulugan na ang covariance matrix na ito ay "minimal" (anumang linear na kumbinasyon ng mga coefficient, at partikular na ang mga coefficient mismo, ay may kaunting pagkakaiba), iyon ay, sa klase ng mga linear na walang pinapanigan na mga estimator, ang mga OLS estimator ay pinakamainam. Ang mga elemento ng dayagonal ng matrix na ito—mga pagkakaiba-iba ng mga pagtatantya ng koepisyent—ay mahalagang mga parameter ng kalidad ng mga nakuhang pagtatantya. Gayunpaman, hindi posibleng kalkulahin ang covariance matrix dahil hindi alam ang random error variance. Mapapatunayan na ang isang walang kinikilingan at pare-pareho (para sa isang klasikal na linear na modelo) na pagtatantya ng pagkakaiba-iba ng mga random na error ay ang dami:

Pagpapalit binigay na halaga sa formula para sa covariance matrix at kumuha ng pagtatantya ng covariance matrix. Ang mga resultang pagtatantya ay walang kinikilingan at pare-pareho. Mahalaga rin na ang pagtatantya ng pagkakaiba-iba ng error (at samakatuwid ang pagkakaiba ng mga koepisyent) at ang mga pagtatantya ng mga parameter ng modelo ay mga independiyenteng random na variable, na ginagawang posible na makakuha ng mga istatistika ng pagsubok para sa pagsubok ng mga hypotheses tungkol sa mga koepisyent ng modelo.

Dapat tandaan na kung ang mga klasikal na pagpapalagay ay hindi natutugunan, ang mga pagtatantya ng OLS ng mga parameter ay hindi ang pinakamahusay na pagtatantya (habang nananatiling walang kinikilingan at pare-pareho). Gayunpaman, ang pagtatantya ng covariance matrix ay lumala nang higit pa - ito ay nagiging bias at hindi mapanindigan. Nangangahulugan ito na ang mga istatistikal na konklusyon tungkol sa kalidad ng itinayong modelo sa kasong ito ay maaaring maging lubhang hindi maaasahan. Ang isang solusyon sa huling problema ay ang paggamit mga espesyal na pagtatasa covariance matrice na pare-pareho sa ilalim ng mga paglabag sa mga klasikal na pagpapalagay (standard error sa White form at standard errors sa Newey-West form). Ang isa pang diskarte ay ang paggamit ng tinatawag na generalized least squares method.

Pangkalahatang OLS[baguhin | i-edit ang teksto ng wiki]

Pangunahing lathalain: Generalized least squares

Ang paraan ng least squares ay nagbibigay-daan para sa malawak na generalization. Sa halip na bawasan ang kabuuan ng mga parisukat ng mga nalalabi, ang isang tao ay maaaring mabawasan ang ilang positibong tiyak na parisukat na anyo ng vector ng mga nalalabi, kung saan mayroong ilang simetriko positibong tiyak na timbang matrix. Ang tradisyonal na hindi bababa sa mga parisukat ay isang espesyal na kaso ng diskarteng ito, kung saan ang weight matrix ay proporsyonal sa identity matrix. Tulad ng nalalaman mula sa teorya ng simetriko matrice (o mga operator), mayroong isang agnas para sa naturang mga matrice. Samakatuwid, ang tinukoy na functional ay maaaring katawanin bilang mga sumusunod

ibig sabihin, ang functional na ito ay maaaring katawanin bilang kabuuan ng mga parisukat ng ilang binagong "natitira". Kaya, maaari nating makilala ang isang klase ng mga pamamaraan ng hindi bababa sa mga parisukat - mga pamamaraan ng LS (Least Squares).

Napatunayan na (teorem ni Aitken) na para sa isang pangkalahatang modelo ng linear regression (kung saan walang mga paghihigpit na ipinapataw sa covariance matrix ng mga random na error), ang pinakaepektibo (sa klase ng mga linear na walang pinapanigan na pagtatantya) ay ang tinatawag na mga pagtatantya. generalized least squares (GLS - Generalized Least Squares) - LS method na may weight matrix na katumbas ng inverse covariance matrix ng mga random na error: .

Maaaring ipakita na ang formula para sa mga pagtatantya ng GLS ng mga parameter ng isang linear na modelo ay may anyo

Ang covariance matrix ng mga pagtatantiyang ito ay magiging katumbas ng

Sa katunayan, ang kakanyahan ng OLS ay nakasalalay sa isang tiyak na (linear) na pagbabagong-anyo (P) ng orihinal na data at ang paggamit ng ordinaryong OLS sa binagong data. Ang layunin ng pagbabagong ito ay para sa binagong data, ang mga random na error ay nakakatugon na sa mga klasikal na pagpapalagay.

Natimbang na OLS[baguhin | i-edit ang teksto ng wiki]

Sa kaso ng isang diagonal na weight matrix (at samakatuwid ay isang covariance matrix ng mga random na error), mayroon kaming tinatawag na weighted least squares (WLS - Weighted Least Squares). Sa kasong ito, ang timbang na kabuuan ng mga parisukat ng mga natitirang modelo ay pinaliit, iyon ay, ang bawat obserbasyon ay tumatanggap ng "timbang" na inversely proportional sa pagkakaiba-iba ng random na error sa obserbasyon na ito:

Sa katunayan, ang data ay binago sa pamamagitan ng pagtimbang sa mga obserbasyon (paghahati sa halagang proporsyonal sa tinantyang standard deviation ng mga random na error), at ang ordinaryong OLS ay inilalapat sa weighted data.

Ang isa sa mga pamamaraan para sa pag-aaral ng mga stochastic na relasyon sa pagitan ng mga katangian ay ang pagsusuri ng regression.
Ang pagsusuri ng regression ay ang derivation ng isang regression equation na ginagamit upang mahanap average na halaga isang random na variable (result attribute) kung ang halaga ng isa pa (o iba pang) variable (factor-attributes) ay kilala. Kabilang dito ang mga sumusunod na hakbang:

1. pagpili ng anyo ng koneksyon (uri ng analytical regression equation);
2. pagtatantya ng mga parameter ng equation;
3. pagtatasa ng kalidad ng analytical regression equation.

Kadalasang ginagamit upang tantyahin ang mga parameter least squares method (LSM).
Ang paraan ng least squares ay nagbibigay ng pinakamahusay (pare-pareho, mahusay, at walang pinapanigan) na mga pagtatantya ng mga parameter ng equation ng regression. Ngunit lamang kung ang ilang mga pagpapalagay tungkol sa random na termino (u) at ang independiyenteng variable (x) ay natutugunan (tingnan ang mga pagpapalagay ng OLS).

Ang problema sa pagtatantya ng mga parameter ng isang linear pair equation gamit ang least squares method ay ang mga sumusunod: kumuha ng mga naturang pagtatantya ng mga parameter , , kung saan ang kabuuan ng mga squared deviations aktwal na mga halaga ang epektibong katangian - y i mula sa mga kinakalkula na halaga - ay minimal.
Pormal Pagsubok sa OLS maaaring isulat ng ganito: .

Pag-uuri ng mga pamamaraan ng least squares

1. Pinakamababang parisukat na pamamaraan.
2. Maximum na paraan ng posibilidad (para sa isang normal na klasikal na linear regression na modelo, ang normalidad ng mga natitirang regression ay postulated).
3. Ang pangkalahatang hindi bababa sa mga parisukat na pamamaraan ng OLS ay ginagamit sa kaso ng autocorrelation ng mga error at sa kaso ng heteroscedasticity.
4. Paraan ng weighted least squares ( espesyal na kaso OLS na may heteroscedastic residual).

Ilarawan natin ang punto classical least squares method graphically. Para magawa ito, gagawa tayo ng scatter plot batay sa observational data (x i, y i, i=1;n) sa isang rectangular coordinate system (ang naturang scatter plot ay tinatawag na correlation field). Subukan nating pumili ng isang tuwid na linya na pinakamalapit sa mga punto ng field ng ugnayan. Ayon sa paraan ng least squares, ang linya ay pinili upang ang kabuuan ng mga parisukat ng mga patayong distansya sa pagitan ng mga punto ng field ng ugnayan at linyang ito ay minimal.

Mathematical notation para sa problemang ito: .
Ang mga halaga ng y i at x i =1...n ay kilala sa amin; ito ay mga obserbasyonal na data. Sa S function, kinakatawan nila ang mga constant. Ang mga variable sa function na ito ay ang mga kinakailangang pagtatantya ng mga parameter - , . Upang mahanap ang minimum ng isang function ng dalawang variable, kinakailangan upang kalkulahin ang mga partial derivatives ng function na ito para sa bawat isa sa mga parameter at i-equate ang mga ito sa zero, i.e. .
Bilang resulta, nakakakuha tayo ng isang sistema ng 2 normal na linear equation:
Pagpapasya ang sistemang ito, nakita namin ang mga kinakailangang pagtatantya ng parameter:

Ang kawastuhan ng pagkalkula ng mga parameter ng equation ng regression ay maaaring suriin sa pamamagitan ng paghahambing ng mga halaga (maaaring mayroong ilang pagkakaiba dahil sa pag-ikot ng mga kalkulasyon).
Upang kalkulahin ang mga pagtatantya ng parameter, maaari kang bumuo ng Talahanayan 1.
Ang sign ng regression coefficient b ay nagpapahiwatig ng direksyon ng relasyon (kung b>0, ang relasyon ay direkta, kung b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Sa pormal, ang halaga ng parameter a ay ang average na halaga ng y na may x na katumbas ng zero. Kung ang attribute-factor ay wala at hindi maaaring magkaroon ng zero value, kung gayon ang interpretasyon sa itaas ng parameter a ay walang saysay.

Pagtatasa ng lapit ng ugnayan sa pagitan ng mga katangian isinasagawa gamit ang linear pair correlation coefficient - r x,y. Maaari itong kalkulahin gamit ang formula: . Bilang karagdagan, ang linear pair correlation coefficient ay maaaring matukoy sa pamamagitan ng regression coefficient b: .
Ang hanay ng mga katanggap-tanggap na halaga ng linear pair correlation coefficient ay mula -1 hanggang +1. Ang tanda ng koepisyent ng ugnayan ay nagpapahiwatig ng direksyon ng relasyon. Kung r x, y >0, kung gayon ang koneksyon ay direkta; kung r x, y<0, то связь обратная.
Kung ang koepisyent na ito ay malapit sa pagkakaisa sa magnitude, kung gayon ang ugnayan sa pagitan ng mga katangian ay maaaring bigyang-kahulugan bilang isang medyo malapit na linear. Kung ang module nito ay katumbas ng isang ê r x , y ê =1, kung gayon ang ugnayan sa pagitan ng mga katangian ay functional linear. Kung ang mga feature na x at y ay linearly independent, ang r x,y ay malapit sa 0.
Upang kalkulahin ang r x,y, maaari mo ring gamitin ang Talahanayan 1.

Talahanayan 1

N obserbasyon	x i	y i	x i ∙y i
1	x 1	y 1	x 1 y 1
2	x 2	y 2	x 2 y 2
...
n	x n	y n	x n y n
Column Sum	∑x	∑y	∑xy
Average na halaga

Kung ang isang tiyak na pisikal na dami ay nakasalalay sa isa pang dami, kung gayon ang pag-asa na ito ay maaaring pag-aralan sa pamamagitan ng pagsukat ng y sa iba't ibang mga halaga ng x. Bilang resulta ng mga sukat, ang isang bilang ng mga halaga ay nakuha:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

Batay sa data ng naturang eksperimento, posibleng bumuo ng graph ng dependence y = ƒ(x). Ginagawang posible ng resultang curve na hatulan ang anyo ng function na ƒ(x). Gayunpaman, ang mga pare-parehong coefficient na pumapasok sa function na ito ay nananatiling hindi kilala. Maaari silang matukoy gamit ang pamamaraan ng least squares. Ang mga pang-eksperimentong punto, bilang panuntunan, ay hindi eksaktong nagsisinungaling sa kurba. Ang pinakamababang paraan ng mga parisukat ay nangangailangan na ang kabuuan ng mga parisukat ng mga paglihis ng mga pang-eksperimentong punto mula sa kurba, i.e. 2 ang pinakamaliit.

Sa pagsasagawa, ang pamamaraang ito ay kadalasang (at pinakasimpleng) ginagamit sa kaso ng isang linear na relasyon, i.e. Kailan

y = kx o y = a + bx.

Ang linear dependence ay napakalawak sa pisika. At kahit na ang relasyon ay nonlinear, kadalasang sinusubukan nilang bumuo ng isang graph upang makakuha ng isang tuwid na linya. Halimbawa, kung ipinapalagay na ang refractive index ng salamin n ay nauugnay sa light wavelength λ sa pamamagitan ng kaugnayan n = a + b/λ 2, kung gayon ang pagdepende ng n sa λ -2 ay naka-plot sa graph.

Isaalang-alang ang dependency y = kx(isang tuwid na linya na dumadaan sa pinanggalingan). Buuin natin ang halaga φ ang kabuuan ng mga parisukat ng mga paglihis ng ating mga punto mula sa tuwid na linya

Ang halaga ng φ ay palaging positibo at lumalabas na mas maliit kapag mas malapit ang ating mga punto sa tuwid na linya. Ang pamamaraan ng least squares ay nagsasaad na ang halaga para sa k ay dapat piliin upang ang φ ay may pinakamababa

o
(19)

Ang pagkalkula ay nagpapakita na ang root-mean-square error sa pagtukoy ng halaga ng k ay katumbas ng

, (20)
kung saan ang n ay ang bilang ng mga sukat.

Isaalang-alang natin ngayon ang isang bahagyang mas mahirap na kaso, kapag ang mga puntos ay dapat masiyahan ang formula y = a + bx(isang tuwid na linya na hindi dumadaan sa pinanggalingan).

Ang gawain ay upang mahanap ang pinakamahusay na mga halaga ng a at b mula sa magagamit na hanay ng mga halaga x i, y i.

Muli nating buuin ang parisukat na anyo φ, katumbas ng kabuuan ng mga squared deviations ng mga puntos x i, y i mula sa tuwid na linya

at hanapin ang mga halaga ng a at b kung saan ang φ ay may pinakamababa

;

.

Ang pinagsamang solusyon ng mga equation na ito ay nagbibigay

(21)

Ang root mean square errors ng determinasyon ng a at b ay pantay

(23)

.  (24)

Kapag nagpoproseso ng mga resulta ng pagsukat gamit ang paraang ito, maginhawang ibuod ang lahat ng data sa isang talahanayan kung saan ang lahat ng halagang kasama sa mga formula (19)(24) ay paunang kinakalkula. Ang mga anyo ng mga talahanayan na ito ay ibinigay sa mga halimbawa sa ibaba.

Halimbawa 1. Ang pangunahing equation ng dynamics ng rotational motion ε = M/J (isang tuwid na linya na dumadaan sa pinanggalingan) ay pinag-aralan. Sa iba't ibang mga halaga ng sandaling M, ang angular acceleration ε ng isang tiyak na katawan ay sinusukat. Kinakailangan upang matukoy ang sandali ng pagkawalang-galaw ng katawan na ito. Ang mga resulta ng mga sukat ng sandali ng puwersa at angular acceleration ay nakalista sa pangalawa at pangatlong hanay talahanayan 5.

Talahanayan 5

Gamit ang formula (19) natutukoy natin:

.

Upang matukoy ang root mean square error, ginagamit namin ang formula (20)

0.005775kg-1 · m -2 .

Ayon sa formula (18) mayroon tayo

S J = (2.996 0.005775)/0.3337 = 0.05185 kg m2.

Ang pagkakaroon ng itakda ang pagiging maaasahan P = 0.95, gamit ang talahanayan ng Student coefficients para sa n = 5, nakita namin ang t = 2.78 at tinutukoy ang ganap na error ΔJ = 2.78 0.05185 = 0.1441 ≈ 0.2 kg m2.

Isulat natin ang mga resulta sa form:

J = (3.0 ± 0.2) kg m2;

Halimbawa 2. Kalkulahin natin ang koepisyent ng temperatura ng paglaban ng metal gamit ang paraan ng hindi bababa sa mga parisukat. Ang paglaban ay nakasalalay nang linear sa temperatura

R t = R 0 (1 + α t°) = R 0 + R 0 α t°.

Tinutukoy ng libreng termino ang paglaban R 0 sa temperatura na 0 ° C, at ang koepisyent ng slope ay ang produkto ng koepisyent ng temperatura α at ang paglaban R 0 .

Ang mga resulta ng mga sukat at kalkulasyon ay ibinibigay sa talahanayan ( tingnan ang talahanayan 6).

Talahanayan 6

Gamit ang mga formula (21), (22) natutukoy natin

R 0 = ¯ R- α R 0 ¯ t = 1.4005 - 0.002645 85.83333 = 1.1735 Ohm.

Maghanap tayo ng error sa kahulugan ng α. Dahil , pagkatapos ayon sa formula (18) mayroon tayong:

.

Gamit ang mga formula (23), (24) mayroon tayo

;

0.014126 Ohm.

Ang pagkakaroon ng pagtatakda ng pagiging maaasahan sa P = 0.95, gamit ang talahanayan ng Student coefficients para sa n = 6, nakita namin ang t = 2.57 at tinutukoy ang ganap na error Δα = 2.57 0.000132 = 0.000338 deg -1.

α = (23 ± 4) 10 -4 granizo-1 sa P = 0.95.

Halimbawa 3. Kinakailangang matukoy ang radius ng curvature ng lens gamit ang mga singsing ni Newton. Ang radii ng mga singsing ni Newton r m ay sinusukat at ang mga bilang ng mga singsing na ito ay natukoy. Ang radii ng mga singsing ni Newton ay nauugnay sa radius ng curvature ng lens R at ang ring number sa pamamagitan ng equation

r 2 m = mλR - 2d 0 R,

kung saan d 0 ang kapal ng puwang sa pagitan ng lens at ng plane-parallel plate (o ang deformation ng lens),

λ wavelength ng liwanag ng insidente.

λ = (600 ± 6) nm;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

pagkatapos ang equation ay kukuha ng anyo y = a + bx.

Ang mga resulta ng mga sukat at kalkulasyon ay ipinasok talahanayan 7.

Talahanayan 7