M-бағалаушы - M-estimator

Жылы статистика, M-бағалаушылар кең сынып туралы экстремумды бағалаушылар ол үшін мақсаттық функция орташа үлгі болып табылады.^[1] Екеуі де сызықтық емес ең кіші квадраттар және ықтималдылықты максималды бағалау бұл M-бағалаушылардың ерекше жағдайлары. M-бағалаушылардың анықтамасы түрткі болды сенімді статистика, бұл M-бағалаушылардың жаңа түрлеріне ықпал етті. Мәліметтер жиынтығы бойынша M-бағалауышын бағалаудың статистикалық процедурасы деп аталады M-бағалау.

Әдетте, M-бағалаушысы нөлдің нөліне тең болуы мүмкін бағалау функциясы.^{[2][3][4][5][6][7]} Бұл бағалау функциясы көбінесе басқа статистикалық функцияның туындысы болып табылады. Мысалы, а ықтималдықтың максималды бағасы параметрге қатысты ықтималдық функциясының туындысы нөлге тең болатын нүкте; осылайша максималды ықтималдықты бағалаушы - а сыни нүкте туралы Гол функциясы.^[8] Мұндай қосымшаларды көптеген қосымшаларда халықтың сипаттамаларын бағалау деп санауға болады.

Тарихи мотивация

Әдісі ең кіші квадраттар прототипті М-бағалауыш болып табылады, өйткені бағалауыш қалдықтардың квадраттарының қосындысының минимумы ретінде анықталады.

Тағы бір танымал M-бағалауыш - ықтималдылықты бағалау. Отбасы үшін ықтималдық тығыздығы функциялары f параметрленген θ, а максималды ықтималдығы бағалаушы θ максимумды арттыру арқылы әрбір мәліметтер жиынтығы үшін есептеледі ықтималдылық функциясы параметр кеңістігі бойынша {θ }. Бақылаулар тәуелсіз және бірдей бөлінген кезде, ML-бағалау ${displaystyle {hat {heta}}}$ қанағаттандырады

${displaystyle {widehat {heta}} = arg max _ {displaystyle heta} {сол жақта (prod _ {i = 1} ^ {n} f (x_ {i}, heta) ight)} ,!}$

немесе баламалы түрде,

${displaystyle {widehat {heta}} = arg min _ {displaystyle heta} {left (sum _ {i = 1} ^ {n} -log {(f (x_ {i}, heta))}) ight)}.,!}$

Ықтималдықтың максималды бағалаушылары жалпы шарттарда шексіз көптеген бақылаулар шегінде оңтайлы қасиеттерге ие, бірақ біржақты болуы мүмкін және шектеулі үлгілер үшін ең тиімді бағалаушылар емес.

Анықтама

1964 жылы, Питер Дж. Хубер ықтималдылықты минимизациялау үшін жалпылама бағалауды ұсынды

${displaystyle sum _ {i = 1} ^ {n} ho (x_ {i}, heta) ,,!}$

мұндағы ρ - белгілі бір қасиеттері бар функция (төменде қараңыз). Шешімдер

${displaystyle {hat {heta}} = arg min _ {displaystyle heta} қалды (қосынды _ {i = 1} ^ {n} ho (x_ {i}, heta) ight) ,!}$

деп аталады M-бағалаушылар («Максималды ықтималдылық типі» үшін «M» (Хубер, 1981, 43 бет)); сенімді бағалаушылардың басқа түрлері жатады L-бағалаушылар, R-бағалаушылар және S-бағалаушылар. Максималды ықтималдықты бағалаушылар (MLE) - бұл M-бағалаушылардың ерекше жағдайы. Сәйкес қалпына келтіру кезінде M-бағалаушылар ерекше жағдайлар болып табылады экстремумды бағалаушылар (мұнда бақылаудың жалпы функцияларын қолдануға болады).

Ρ функциясы немесе оның туындысы ψ, деректер шынымен болжамды үлестірімнен болған кезде бағалаушының қажетті қасиеттерін (жанама және тиімділік тұрғысынан) қамтамасыз ететін етіп таңдалуы мүмкін, ал деректер кезінде «жаман емес» мінез-құлық модельден жасалады, яғни белгілі бір мағынада жабық болжамды үлестірілімге дейін.

Түрлері

M-бағалаушылар - бұл шешімдер, θ, бұл азайтады

${displaystyle sum _ {i = 1} ^ {n} ho (x_ {i}, heta).,!}$

Бұл минимизация әрқашан тікелей жүзеге асырылуы мүмкін. Көбіне қатысты бөлу оңайырақ θ және туынды түбірі үшін шешеді. Бұл дифференциация мүмкін болған кезде, M-бағалаушы келесідей болады дейді ψ-түрі. Олай болмаған жағдайда, M-бағалаушы болып саналады ρ типі.

Көптеген практикалық жағдайларда M-бағалаушылар ψ типті болады.

Ρ типі

Натурал сан үшін р, рұқсат етіңіз ${displaystyle ({mathcal {X}}, Sigma)}$ және ${displaystyle (Theta subset mathbb {R} ^ {r}, S)}$ өлшем кеңістігі болу. ${displaystyle heta in Theta}$ параметрлердің векторы болып табылады. Ρ типті M-бағалаушы ${displaystyle T}$ а арқылы анықталады өлшенетін функция ${displaystyle ho: {mathcal {X}} imes theta ightarrow mathbb {R}}$. Ол ықтималдықтың таралуын бейнелейді ${displaystyle F}$ қосулы ${displaystyle {mathcal {X}}}$ мәнге дейін ${displaystyle T (F) in}$ (егер ол бар болса) азайтады ${displaystyle int _ {mathcal {X}} ho (x, heta) dF (x)}$:

${displaystyle T (F): = arg min _ {heta in theta} int _ {mathcal {X}} ho (x, heta) dF (x)}$

Мысалы, үшін максималды ықтималдығы бағалаушы, ${displaystyle ho (x, heta) = - log (f (x, heta))}}$, қайда ${displaystyle f (x, heta) = {frac {ішінара F (x, heta)} {ішінара x}}}$.

Ψ-түрі

Егер ${displaystyle хо}$ қатысты сараланады ${displaystyle heta}$, есептеу ${displaystyle {widehat {heta}}}$ әдетте әлдеқайда оңай. Ψ типті M-бағалауыш Т өлшенетін функция арқылы анықталады ${displaystyle psi: {mathcal {X}} imes theta ightarrow mathbb {R} ^ {r}}$. Ол ықтималдықтың таралуын бейнелейді F қосулы ${displaystyle {mathcal {X}}}$ мәнге дейін ${Theta-да displaystyle T (F)}$ (егер ол бар болса) векторлық теңдеуді шешеді:

${displaystyle int _ {mathcal {X}} psi (x, heta), dF (x) = 0}$

${displaystyle int _ {mathcal {X}} psi (x, T (F)), dF (x) = 0}$

Мысалы, үшін максималды ықтималдығы бағалаушы, ${displaystyle psi (x, heta) = left ({frac {ішінара журнал (f (x, heta))} {ішінара heta ^ {1}}}, нүктелер, {frac {ішінара журнал (f (x, heta))) } {ішінара гета ^ {p}}} ight) ^ {mathrm {T}}}$, қайда ${displaystyle u ^ {mathrm {T}}}$ вектордың транспозициясын білдіреді сен және ${displaystyle f (x, heta) = {frac {ішінара F (x, heta)} {ішінара x}}}$.

Мұндай бағалаушы міндетті түрде ρ типті M-бағалаушы болып табылмайды, бірақ егер ρ -ге қатысты үздіксіз бірінші туынды болса ${displaystyle heta}$, онда ψ-типті M-бағалаушының ρ-типті M-бағалаушы болуы үшін қажетті шарт ${displaystyle psi (x, heta) = абла _ {хета} ho (x, heta)}$. Алдыңғы анықтамаларды шектеулі үлгілерге дейін кеңейтуге болады.

Егер функция ψ нөлге дейін төмендейтін болса ${displaystyle x қара түнгі пысық}$, бағалаушы деп аталады қалпына келтіру. Мұндай бағалаушылардың қосымша қосымша қасиеттері бар, мысалы, жалпы бағадан бас тарту.

Есептеу

Ρ немесе ψ көптеген таңдаулары үшін жабық түрдегі шешім жоқ және есептеу үшін итеративті тәсіл қажет. Сияқты функцияларды оңтайландырудың алгоритмдерін қолдануға болады Ньютон – Рафсон. Алайда, көп жағдайда қайта өлшенген ең кіші квадраттар фитинг алгоритмін орындауға болады; бұл әдетте қолайлы әдіс.

Кейбір таңдау үшін ψ, атап айтқанда, қалпына келтіру функциялар, шешім ерекше болмауы мүмкін. Мәселе, әсіресе, көп вариативті және регрессиялық проблемаларда өзекті болып табылады. Осылайша, жақсы бастау нүктелерін таңдауға кепілдік беру керек. Берік сияқты бастапқы нүктелер медиана орналасқан жері мен орташа абсолютті ауытқу масштабтың бір өлшемді бағасы ретінде кең таралған.

Концентрациялық параметрлер

M-бағалаушыларды есептеу кезінде кейде қайта жазған пайдалы болады мақсаттық функция осылайша параметрлердің өлшемі азаяды. Процедура «концентрациялау» немесе «профильдеу» деп аталады. Концентрациялық параметрлер есептеу жылдамдығын арттыратын мысалдар жатады бір-бірімен байланысты емес регрессиялар (SUR) модельдер.^[9] M-бағалаудың келесі мәселесін қарастырыңыз:

${displaystyle ({hat {eta}} _ {n}, {hat {gamma}} _ {n}): = arg max _ {eta, gamma} extstyle sum _ {i = 1} ^ {N} displaystyle q ( w_ {i}, eta, гамма)}$

Функцияның дифференциалдылығын қабылдаймыз q, M-бағалаушы бірінші реттік шарттарды шешеді:

${displaystyle sum _ {i = 1} ^ {N} riangledown _ {eta}, q (w_ {i}, eta, gamma) = 0}$

${displaystyle sum _ {i = 1} ^ {N} riangledown _ {gamma}, q (w_ {i}, eta, gamma) = 0}$

Енді, егер екінші теңдеуді γ -ге қатысты шеше алсақ ${displaystyle W: = (w_ {1}, w_ {2}, .., w_ {N})}$ және ${displaystyle eta}$, екінші теңдеу:

${displaystyle sum _ {i = 1} ^ {N} riangledown _ {gamma}, q (w_ {i}, eta, g (W, eta)) = 0}$

$ g $ болса, онда кейбір функцияны табуға болады. Енді біз g функциясын орнына g функциясын енгізу арқылы бастапқы мақсат функциясын тек β бойынша қайта жаза аламыз ${displaystyle гамма}$. Нәтижесінде параметрлер санының азаюы байқалады.

Бұл процедураны жасауға бола ма, жоқ па, нақты проблемаларға байланысты. Алайда мүмкін болған кезде концентрацияланған параметрлер есептеуді айтарлықтай дәрежеде жеңілдетуі мүмкін. Мысалы, бағалау кезінде SUR моделі Әр теңдеуде 5 түсіндірмелі айнымалысы бар 6 теңдеудің максималды ықтималдығы бойынша параметрлер саны 51-ден 30-ға дейін азаяды.^[9]

Есептеудегі тартымды ерекшелігіне қарамастан, шоғырландыру параметрлері М-бағалауыштың асимптотикалық қасиеттерін алу кезінде шектеулі қолданылады.^[10] Мақсаттық функцияның әрбір жиынтығында W болуы оны қолдануды қиындатады үлкен сандар заңы және орталық шек теоремасы.

Қасиеттері

Тарату

М-бағалаушылардың қалыпты түрде асимптотикалық таралатындығын көрсетуге болады. Тап мұндай, Уалд типіндегі тәсілдер сенімділік аралықтарын құру үшін және гипотеза тесттерін қолдануға болады. Алайда, теория асимптотикалық болғандықтан, бөлуді тексеру, мүмкін, мүмкін, ауыстыруды немесе жүктеу тарату.

Әсер ету функциясы

M-бағалаушының әсер ету функциясы ${displaystyle psi}$-түр оның анықталуына пропорционалды ${displaystyle psi}$ функциясы.

Келіңіздер Т ψ типті M-бағалаушы болу және G ол үшін ықтималдық үлестірімі болуы керек ${displaystyle T (G)}$ анықталды. Оның әсер ету функциясы IF болып табылады

${displaystyle операторының аты {IF} (x; T, G) = - {frac {psi (x, T (G))} {int left [{frac {ішінара psi (y, heta)} {ішінара heta}} ight] f (y) mathrm {d} y}}}$

тығыздық функциясын қабылдау ${displaystyle f (y)}$ бар. М-бағалаушылардың осы қасиетінің дәлелі Хуберден табылған (1981 ж., 3.2 бөлім).

Қолданбалар

M-бағалаушылар орналасу параметрлері мен масштаб параметрлері үшін айнымалы және көп айнымалы параметрлерде құрастырылуы мүмкін, сонымен бірге тұрақты регрессияда қолданылады.

Мысалдар

Орташа

Келіңіздер (X₁, ..., X_n) жиынтығы болуы керек тәуелсіз, бірдей бөлінген таралуы бар кездейсоқ шамалар F.

Егер біз анықтайтын болсақ

${displaystyle ho (x, heta) = {frac {(x- heta) ^ {2}} {2}} ,,!}$

біз мұны қашан азайтуға болатындығын ескереміз θ болып табылады білдіреді туралы Xс. Сонымен, орташа мән ρ-типті M-бағалаушы болып табылады, бұл ρ функциясымен.

Бұл ρ функциясы үздіксіз дифференциалданады θ, демек, орташа мән ψ типінің M-бағалаушысы болып табылады (х, θ) = θ − х.

Медиана

Орташа бағалау үшін (X₁, ..., X_n), оның орнына ρ функциясын келесідей анықтай аламыз

${displaystyle ho (x, heta) = | x- heta |}$

және сол сияқты, ρ функциясы қашан азайтылады θ болып табылады медиана туралы Xс.

Бұл ρ функциясы дифференциалданбайды θ, ρ-функциясының суб-градиенті болып табылатын ψ-типті М-бағалағышты былай өрнектеуге болады

${displaystyle psi (x, heta) = оператор атауы {sgn} (x- heta)}$

және

${displaystyle psi (x, heta) = {egin {case} {- 1}, & {mbox {if}} x- heta <0 {1}, & {mbox {if}} x- heta> 0 left [-1,1 ight], & {mbox {if}} x- heta = 0end {case}}}$^{[түсіндіру қажет ]}

Сондай-ақ қараңыз

• Екі сатылы M-бағалаушылар
• Қатты статистика
• Қатты регрессия
• Redesending M-сметаторы

Әдебиеттер тізімі

Әрі қарай оқу

• Андерсен, Роберт (2008). Регрессияның заманауи әдістері. Әлеуметтік ғылымдардағы сандық қолдану. 152. Лос-Анджелес, Калифорния: Sage жарияланымдары. ISBN  978-1-4129-4072-6.
• Godambe, V. P. (1991). Функцияларды бағалау. Оксфордтың статистикалық ғылымдар сериясы. 7. Нью-Йорк: Clarendon Press. ISBN  978-0-19-852228-7.
• Хейде, Кристофер С. (1997). Квазимүмкіндігі және оны қолдану: параметрлерді оңтайлы бағалауға жалпы тәсіл. Статистикадағы Springer сериясы. Нью-Йорк: Спрингер. дои:10.1007 / b98823. ISBN  978-0-387-98225-0.
• Хубер, Питер Дж. (2009). Қатты статистика (2-ші басылым). Хобокен, Нджжон: Джон Вили және ұлдары Inc. ISBN  978-0-470-12990-6.
• Хоаглин, Дэвид С .; Фредерик Мостеллер; Джон В.Туки (1983). Деректердің берік және ізденушілік талдауы туралы түсінік. Хобокен, Нджжон: Джон Вили және ұлдары Inc. ISBN  0-471-09777-2.
• Маклис, Д.Л .; Кристофер Г. Смолл (1989). Статистикалық қорытынды функцияларының теориясы мен қолданылуы. Статистикадағы дәрістер. 44. Нью-Йорк: Спрингер. ISBN  978-0-387-96720-2.
• Mukhopadhyay, Parimal (2004). Функцияларды бағалауға кіріспе. Харроу, Ұлыбритания: Alpha Science International, Ltd. ISBN  978-1-84265-163-6.
• Press, WH; Теукольский, SA; Веттерлинг, ВТ; Flannery, BP (2007), «15.7-бөлім. Қатты бағалау», Сандық рецепттер: ғылыми есептеу өнері (3-ші басылым), Нью-Йорк: Кембридж университетінің баспасы, ISBN  978-0-521-88068-8
• Серфлинг, Роберт Дж. (2002). Математикалық статистиканың жуықтау теоремалары. Материалдық-статистикалық ықтималдықтағы Wiley сериясы. Хобокен, Нджжон: Джон Вили және ұлдары Inc. ISBN  978-0-471-21927-9.
• Шапиро, Александр (2000). «Шектелген жергілікті асимптотика туралы М- бағалаушылар ». Статистика жылнамалары. 28 (3): 948–960. CiteSeerX  10.1.1.69.2288. дои:10.1214 / aos / 1015952006. JSTOR  2674061. МЫРЗА  1792795.
• Кішкентай, Кристофер Г .; Джинфанг Ванг (2003). Сызықты емес теңдеулердің сандық әдістері. Оксфордтың статистикалық ғылымдар сериясы. 29. Нью-Йорк: Оксфорд университетінің баспасы. ISBN  978-0-19-850688-1.
• ван де Гир, Сара А. (2000). M-бағалаудағы эмпирикалық процестер: Эмпирикалық процестер теориясының қолданылуы. Статистикалық және ықтималдық математикасындағы Кембридж сериясы. 6. Кембридж, Ұлыбритания: Кембридж университетінің баспасы. дои:10.2277 / 052165002X. ISBN  978-0-521-65002-1.
• Wilcox, R. R. (2003). Қазіргі заманғы статистикалық әдістерді қолдану. Сан-Диего, Калифорния: Academic Press. 55-79 бет.
• Wilcox, R. R. (2012). Қатты бағалау мен гипотезаны тексеруге кіріспе, 3-ші басылым. Сан-Диего, Калифорния: Academic Press.

Сыртқы сілтемелер

• M-бағалаушылар - Чжэнью Чжанның тақырыпқа кіріспесі