Проверка статистических гипотез. Ошибки 1го и 2го рода. Лемма Неймана-Пирсона. Две гипотезы: нулевая простая, альтернативная сложная. Последовательный критерий Вальда.
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Лекция 3. Лемма Неймана-Пирсона. Две гипотезы:нулевая простая, альтернативная сложная.
Под статистической гипотезой принято понимать любоепредположение о законе распределения генеральной совокупности.Статистическая гипотеза называется простой, если при условииистинности гипотезы закон распределения генеральной совокупностиоднозначно определен, в противном случае гипотеза называетсясложной.Пусть задана выборка X[n] из генеральной совокупности ξ с функциейраспределения Fξ(x). Пусть имеется две простые гипотезы:
H0 : Fξ(x) = F0(x).H1 : Fξ(x) = F1(x).
Причем, функции F0(x) и F1(x) полностью известны. По выборке X[n]
требуется принять решение об истинности нулевой гипотезы H0 приальтернативной гипотезе H1.
Выборка X[n] — точка из пространства Rn. Выделим множествоS ⊂ Rn — критическую область для гипотезы H0, тогда можносформулировать правило проверки гипотезы H0 при альтернативе H1:
Если X[n] ∈ S , то отвергаем гипотезу H0, принимаем H1.Если X[n] /∈ S , то принимаем гипотезу H0, отвергаем H1.
Правило проверки статистической гипотезы при некоторойфиксированной альтернативе принято называть статистическимкритерием.
Если γ(S) < α(S), то попасть в S при условии истинности гипотезыH1 труднее, чем при условии истинности гипотезы H0, т. е. S —критическая область скорее для H1. Следовательно, неравенстводолжно иметь вид:
γ(S) > α(S),
т. е. S следует выбирать так, чтобы выполнялось это неравенство.
Определение 1
Критерий называется несмещенным, если выполняется условие
α(S) 6 γ(S) = 1− β(S).
В большинстве задач гипотезы H0 и H1 не равноправны. Поэтому вдальнейшем изложении будем считать, что H0 — основная гипотеза,H1 — альтернативная гипотеза.
Зададим α0 и будем иметь дело только с такими критериями, гдеα0 > α(S) (т. е. вероятность ошибки первого рода не превосходитвеличины α0) и дополнительно будем решать задачу: β(S)→ min
S.
Получаем две эквивалентные задачи определения критическойобласти S : {
α0 > α(S),
β(S)→ minS.{
α0 > α(S),
γ(S)→ maxS.
Задачи в такой постановке не всегда решаемы, так как требуетсяответить точно «да» или «нет». Такие статистические критерииназываются нерандомизированными критериями.
Пусть теперь ϕ не является индикатором множества S , и
ϕ(x) = P{H̄0/X[n] = x
},
тогда ϕ(X[n]) ∈ [0, 1] — условная вероятность отклонения гипотезы H0.При таком определении ϕ(x) приходим к рандомизированномукритерию, то есть, критерию, который при некоторых значениях xможет не давать ответа «да» или «нет» в отношении истинностинулевой гипотезы H0.Тогда
с вероятностью 1− ϕ(X[n]) следует принимать гипотезу H0 ис вероятностью ϕ(X[n]) принимать гипотезу H1.
При использовании введенного обозначения вероятность ошибкипервого рода, вероятность ошибки второго рода и мощность критериябудем обозначать: α(ϕ), β(ϕ) и γ(ϕ) = 1− β(ϕ) соответственно.Определение 1 можно переформулировать в новых терминах, критерийназывается несмещенным, если α(ϕ) 6 γ(ϕ).
Без ограничения общности будем предполагать, что существуетплотность f0(x) для функции распределения F0(x), и существуетплотность f1(x) для функции распределения F1(x).(В дискретном случае все результаты аналогичны. )
В дальнейшем будем считать, что плотности fi (x), i = 0, 1,определены относительно сигма-конечной меры µ. Если в качествемеры µ рассматривается мера Лебега, то плотности распределенияпредставляют собой обычные плотности распределения. Если вкачестве меры µ рассматривается «считающая» мера, тогдаплотности распределения являются вероятностями, что соответствуетдискретному случаю. При этом, в любом случае
Тогда задача построения статистического критерия сводится кнахождению критической функции ϕ(x) и будет формулироватьсяследующим образом: α0 > α(ϕ),
β(ϕ) −→ minϕ.
Эквивалентная формулировка имеет вид:α0 > α(ϕ),
γ(ϕ) −→ maxϕ.
Таким образом, задача заключается в том, чтобы найти наиболеемощный критерий, когда вероятность ошибки первого рода непревосходит некоторого заданного порогового значения. Решениесформулированных задач дается леммой Неймана-Пирсона.
Простые гипотезы о параметрах. . . Нормальное распределение
Простые гипотезы о параметрах нормального ибиномиального распределенийНормальное распределение
Пусть задана генеральная совокупность ξ, выборка X[n] из этойгенеральной совокупности, имеются две гипотезы о распределениигенеральной совокупности N(a0, σ
2), N(a1, σ2), где a0, a1 известны.
Также считаем, что σ2 известна. Пусть для определенности a1 > a0.Т.е. имеем две гипотезы:
Простые гипотезы о параметрах. . . Нормальное распределение
Поэтому оптимальный критерий Неймана-Пирсона выглядитследующим образом:
ϕ∗(x) =
1, X̄ > c1;ε, X̄ = c1;0, X̄ < c1,
при этом константы c1 и ε выбираются при заданном α0 ∈ (0, 1) какрешение уравнения α0 = α(ϕ∗).Так как при справедливости гипотезы H0 распределение статистики X̄является нормальным, то P{X̄ = c1} = 0, поэтому можно положитьε = 0, тогда
ϕ∗(x) =
{1, X̄ > c1;0, X̄ 6 c1.
Оптимальный критерий является нерандомизированным.
Простые гипотезы о параметрах. . . Нормальное распределение
Его решением является квантиль уровня 1− α0 стандартногонормального распределения z1−α0 =
√n(c1 − a0)/σ. Равенство
α(ϕ∗) = α0 (1)
будет выполнено, если выбрать c1 = a0 + z1−α0σ/√n и, следовательно,
критическая область для нулевой гипотезы H0 при использованиистатистики X̄ имеет следующий вид:
S =
(a0 +
σ√nz1−α0 ; +∞
).
Если X̄ ∈ S , то гипотезу H0 следует отклонить, если X̄ /∈ S , тогипотезу H0 следует принять. Оптимальный критерий в данном случаеявляется нерандомизированным.
Простые гипотезы о параметрах. . . Нормальное распределение
Если выберемc1 > a0 +
σ√nz1−α0 , (2)
то вероятность ошибки первого рода будет удовлетворять неравенствуα(ϕ∗) 6 α0. Введем в рассмотрение ошибку второго рода β. Зададимуровень ошибки второго рода β0 и выясним условия, когда β(ϕ∗) 6 β0:
β(ϕ∗) = P1{X̄ 6 c1} =
= P1
{X̄ − a1σ
√n 6
c1 − a1σ
√n
}= Φ
{c1 − a1σ
√n
}.
Неравенство β(ϕ∗) 6 β0 окажется выполненным, если
c1 − a1σ
√n 6 zβ0 ,
где zβ0 — квантиль стандартного нормального распределения уровняβ0.
Простые гипотезы о параметрах. . . Биномиальное распределение
Биномиальное распределение
Теперь рассмотрим случай, когда проверяется гипотеза о параметребиномиального распределения. Рассмотрим схему Бернулли. ВыборкаX[n] состоит из нулей и единиц, единицы соответствуют успехам. Тогдавероятность того, что в серии из n испытаний произойдет ровно mуспехов равна
Pn{ξ = m} = Cmn pm(1− p)n−m,
где n — число испытаний, p — вероятность успеха, m — число успехов.Сформулируем гипотезы:
H0 : p = p0.H1 : p = p1 > p0.
Как и в предыдущих примерах, без ограничения общности считаем,что p1 > p0, p1 и p0 известны.
Простые гипотезы о параметрах. . . Биномиальное распределение
Критическая область для гипотезы H0 имеет вид (c1;∞). Такимобразом, построен статистический критерий:
Если m ∈ (np0 +√np0(1− p0)z1−α0 ; +∞), то гипотеза H0
отклоняется.Если m ∈ [0; np0 +
√np0(1− p0)z1−α0 ], то гипотеза H0
принимается.Построенный критерий является нерандомизированным, однако, вотличие от предыдущих примеров, построенный критерий не являетсяточным. Нельзя утверждать, что вероятность ошибки первого родаравна α0. Для выборок большого объема вероятность ошибки первогорода окажется приближенно равной α0.
Таким образом, имеем две гипотезы:H0 : a = a0.H1 : a > a0.
Гипотезу H1 можно записать в виде: a = a1 > a0, a1 неизвестно.Гипотеза H1 представляет собой правостороннюю альтернативу.Оптимальный критерий имеет вид:
ϕ∗(x) =
{1, X̄ > c1;0, X̄ 6 c1,
где c1 находится из уравнения:
α0 = P0{X̄ > c1},
где α0 — вероятность ошибки первого рода (уровень значимостикритерия). Как показано ранее:
Критерий Неймана-Пирсона является равномерно наиболее мощнымкритерием для проверки гипотезы H0 : a = a0 при альтернативеH1 : a > a0, то есть, он не зависит от конкретного значения a1, иявляется наиболее мощным при любом a1 > a0.Результат полностью сохраняется для левосторонней альтернативыa = a1 < a0 при соответствующих изменениях.Для двусторонней альтернативы не удается построить равномернонаиболее мощный критерий.Рассмотрим двустороннюю альтернативу:
H0 : a = a0.H1 : a 6= a0.
Как и раньше фиксируем вероятность ошибки первого рода α0. Вкачестве статистики критерия возьмем X̄ . В предположенииистинности нулевой гипотезы выберем константу c1 из условия:
Теперь рассмотрим случай, когда σ2 неизвестна.Рассмотрим правостороннюю альтернативу:
H0 : a = a0.H1 : a > a0, то есть, a = a1 > a0, a1 — неизвестно.
Вычислим статистику
t =X̄ − a0
s̃
√n,
где s̃2 = 1n−1
∑ni=1(Xi − X̄ )2.
При справедливости нулевой гипотезы статистика t должнаподчиняться распределению Стьюдента с n − 1 степенью свободы.Если верна альтернативная гипотеза H1, то можно заметить, чтостатистика будет смещена вправо по отношению к распределениюСтьюдента с n − 1 степенью свободы.
Критическая область в данном случае для нулевой гипотезы будетиметь вид
S = {t > c1} = (c1; +∞),
где константу c1 следует выбирать из условия P0{t > c1} = α0.Таким образом, c1 = t1−α0,n−1 — квантиль распределения Стьюдента сn − 1 степенью свободы уровня 1− α0.Критерий с вероятностью ошибки первого рода α0 имеет вид:
Если статистика t ∈ (t1−α0,n−1; +∞), то отклоняем гипотезу H0 впользу H1.Если статистика t ∈ (−∞; t1−α0,n−1], то отклоняем гипотезу H1 впользу H0.
Для левосторонней альтернативы критическая область для гипотезыH0 при использовании статистики t будет следующей:
S = (−∞; tα0,n−1),
где tα0,n−1 — квантиль уровня α0 распределения Стьюдента с n − 1степенью свободы.Для двусторонней альтернативы критическая область с вероятностьюошибки первого рода α0 для гипотезы H0 при использованиистатистики t будет следующей:
S = (−∞; tα02,n−1] ∪ [t1−α0
2,n−1; +∞),
где tα02,n−1 — квантиль уровня α0/2 распределения Стьюдента с n − 1
степенью свободы, t1−α02,n−1 — квантиль уровня 1− α0/2 того же
Последовательный критерий отношения правдоподобия(Критерий Вальда)
В отличие от классических методов математическои статистики, вкоторых число производимых экспериментов фиксируется заранее,методы последовательного анализа характеризуются тем, что моментпрекращения наблюдении является случаиным и определяетсянаблюдателем в зависимости от значении наблюдаемых данных.Пусть задана генеральная совокупность ξ с неизвестной функциейраспределения Fξ и выборка X[n] = (X1, . . . ,Xn).Выдвинем нулевую гипотезу
Предположим, что статистическое решение принимается не нанаблюдениях фиксированного объема n, а возможны дополнительныенаблюдения.Последовательный критерий отношения правдоподобия (SPRT)строится следующим образом.Сначала выбирают критические границы c0 и c1 (0 < c0 < c1 <∞).На каждом i-м этапе наблюдений, имея на этот момент выборкуX[i ] = (X1,X2, . . . ,Xi ) объема i , вычисляют отношение функцийправдоподобия
Z [X[i ]] =L(X[i ],F1)
L(X[i ],F0),
где L(X[i ],F0) — функция правдоподобия при законе, соотвествующемгипотезе H0, а L(X[i ],F1) — при законе, соответствующем гипотезе H1.и проверяют выполнение двустороннего неравества вида
1 Если Z [X[i ]] находится внутри интервала c0 ≤ Z [X[i ]] ≤ c1, процесснаблюдений продолжается;
2 если Z [X[i ]] < c0, то принимают гипотезу H0;3 если Z [X[i ]] > c1, то принимают гипотезу H1.
Определение 2
SPRT(c0, c1) - решающее правило, предписывающее проведениенаблюдений X1,X2, . . . ,Xν до первого ν, при котором Z [X[ν]] < c0 илиZ [X[ν]] > c1, принятие либо гипотезы H0 при Z [X[ν]] < c0 либогипотезы H1 при Z [X[ν]] > c1.
Номер шага ν (момент остановки), при котором принимается одно изрешений 2) или 3), определяет минимально необходимый дляпроверки гипотезы объем выборки.
Данная процедура характеризуется вероятностями ошибок первогоα = P{H1|H0} и второго рода β = P{H0|H1} и средним числомнаблюдений ν до момента остановки Ej(ν) = E (ν|Hj) (j = 0, 1).Если вероятности ошибок α и β заданы, то любой критерий с такимиошибками называют критерием силы (α, β). В классе критериевданной силы (α, β) предпочтительным является тот, который требуетменьшего числа наблюдений. Критерий, минимизирующийодновременно как E1(ν), так и E0(ν), называют оптимальным.Критерий Вальда обладает свойством оптимальности. В частности,критерий Вальда требует в среднем меньше наблюдений, чемкритерий Неймана-Пирсона с такими же вероятностями ошибок.
Пусть ψ = SPRT (c0, c1), 0 < c0 < 1 < c1 <∞, и φ - произвольныйпоследовательный критерий. Если для двух простых гипотез H0 и H1
α(φ) ≤ α(ψ) β(φ) ≥ β(ψ),
тоE0,ψ(ν) ≤ E0,φ(ν) E1,ψ(ν) ≤ E1,φ(ν).
Иными словами, если ψ — последовательный критерий отношенияправдоподобия с вероятностями ошибок первого и второго родаα = α(ψ) и β = β(ψ), тогда в классе всех последовательных критериевφ с вероятностями ошибок первого и второго рода такими, чтоα(φ) ≤ α и β(φ) ≥ β, SPRT ψ минимизирует E0,φ(ν) и E1,φ(ν).
Неравенства (6) наводят на мысль об аппроксимации границ c0, c1,соотвествующих заданным α и β, величинами
c ′0 =β
1− α, c ′1 =
1− βα
.
В силу (6) вероятности в этой приближенной процедуреудовлетворяют неравенствам
β′
1− α′≤ c ′0 =
β
1− α1− β′
α′≥ c ′1 =
1− βα
,
откуда
α′ ≤ α
1− ββ′ ≤ β
1− α.
Если α и β имеют порядок от 0.001 до 0.1, то превышение α′ над α иβ′ над β оказывается пренебрежимо малым. Единственный риск,связанный с употреблением приближенных границ, состоит в том, чтоα′ и β′ могут оказаться много меньше заданных знаечний, чтоприведет к существенному увеличению числа необходимыхнаблюдений. Однако есть основания надеяться, что это увеличиениебудет умеренным.