[МУЗЫКА] Здравствуйте, уважаемые слушатели. В настоящей лекции мы рассмотрим принцип замыкания построения процедур множественной проверки гипотез. Надо сказать, что этот принцип замыкания является в настоящее время основным средством построения процедур множественной проверки гипотез, которые контролируют эффект вероятности хотя бы одного ложного утверждения, а также являются согласованными. План этой лекции перед вами. В начале мы обсудим принцип замыкания и сделаем формальное введение этого принципа. Потом будет дано доказательство того, что процедура, построенная с помощью принципа замыкания, контролирует вероятность хотя бы одного ложного утверждения и верной индивидуальной гипотезы. И приведены некоторые примеры процедур, построенных с помощью принципа замыкания. Потом будут предложены и описаны сокращенные версии замкнутой процедуры проверки. Хорошо известные примеры популярной нисходящей/восходящей процедуры. Примером нисходящей процедуры является процедура Холма. А примером восходящей процедуры является процедура Хохберга. Затем будет рассмотрен частный случай процедуры Холма для определенного вида проявляемых гипотез и дано доказательство того, что эта процедура контролирует эффект. Это доказательство отличается от излагаемых в книгах. Затем будут рассмотрены дальнейшие свойства процедуры Холма, которые получены относительно недавно. В 2007 году Гордон доказал. Будут рассмотрены дальнейшие свойства процедуры Хохберга. И, наконец, в конце лекции мы покажем, что условия согласованности, непротиворечивости процедуры множественной проверки гипотез важны для построения процедуры множественной проверки гипотез. Будет обсуждаться ряд теорем: Финнера, Санемана, Эрмана. Давайте начнем. На данном слайде приведена постановка задачи. Пусть x1, x2, ..., xn — это выборка наблюдений над случайной величиной x. Выборка x1, ..., xn из выборочного пространства x. Мы предполагаем, как обычно, во всем этом курсе, что эта выборка повторная, то есть наблюдения независимо, одинаково распределены. И требуется построить процедуру одновременной проверки произвольных гипотез h1, ..., hN. Такую, что контролирует вероятность хотя бы одного ложного утверждения верной индивидуальной гипотезы hi. Кроме того, эта процедура должна удовлетворять следующим свойствам: она должна быть согласована и непротиворечива. Я напомню, что эти два свойства процедуры множественных гипотез мы ввели на прошлой лекции. Смотрите прошлую лекцию, если забыли. На настоящем слайде приведены примеры проверяемых гипотез, чтобы показать общность проверяемых процедур. Пример один: предположим, что мы рассмотрим нормальную случайную величину X, которая имеет нормальное распределение с математическим ожиданием θ и дисперсией, равной единице. И нас интересует одновременная проверка или множественная проверка гипотез h1 о том, что математическое ожидание — от нуля до единицы. Гипотеза h2 о том, что математическое ожидание — от единицы до двух. И так далее гипотеза hi о том, что математическое ожидание на интервале от N − 1 до N. Могут быть такие проверяемые гипотезы. В примере два мы рассмотрим N случайных величин Xi: x1, x2, ..., xN, каждое из которых имеет плотность распределения fi(x). И нас интересует следующая гипотеза и мы хотим выделить из этих N-величин те, которые попарно имеют одну и ту же функцию плотности, то есть hj — это гипотеза о том, что fi(x) = fij(x) против альтернатив kij о том, что fi(x) не равно fj(x). Допустим, мы хотим выделить пары случайных величин с одинаковой функцией плотности. В примере три, опять же, у нас есть N случайных величин: x1, ..., xN, каждая из которых имеет плотность одного и то же функционального вида f(x), но с разными параметрами θi, то есть Xi имеет плотность f(x) θi. Нас, допустим, интересуют гипотезы hij о том, что θi ≤ θj. Или параметр случайной величины xi θi ≤ соответствующего параметра случайной величины xj θj. Против альтернатив kij о том, что θi строго больше θj. И, наконец, в примере четыре мы можем рассмотреть N случайных величин Xi, которые имеют нормальное распределение с неизвестным математическим ожиданием θi и, опять же, с единичной дисперсией, как в примере один. Интересующие нас гипотезы пусть имеют вид: hij о том, что гипотеза θi = θj против альтернатив kij о том, что θi не равно θj. То есть мы хотим из N случайных величин отобрать те пары, которые, вообще говоря, одинаково распределены. Разумеется, еще очень много примеров привести можно одновременно проверяемых гипотез. И для всех этих гипотез метод замыкания, который будет изложен, он имеет право быть. Теперь приступим, собственно, к изложению принципа замыкания, который предложен в работе Маркуса, Перитца и Габриэля (1972 года). Напомню, что на прошлой лекции мы рассматривали как раз понятия и концепции, введенные Габриэлем в 1969 году. А сейчас рассматриваем принцип замыкания, предложенный Маркусом, Перитцем, Габриэлем в 1972 году. Пусть есть произвольная гипотеза h1, ..., hN. Примеры были приведены ранее. Требуется построить процедуру одновременной проверки гипотезы h1, ..., hN или множественной проверки гипотезы h1, ..., hN, которая обладает тремя свойствами: контролирует вероятность хотя бы одного ложного утверждения верной индивидуальной гипотезы (первое свойство), согласована (второе свойство) и третье — непротиворечива. Как строить такие процедуры? Маркус, Перитц и Габриэль предлагают принцип замыкания, который заключается в следующем: построим вспомогательное множество или набор гипотез, элементы которого имеют вид: строим гипотезу H с индексом 1, 2 и N. Эта гипотеза о том, что все индивидуальные проверяемые гипотезы hi истинны, то есть h1, 2N — это есть h1 пересечение h2 и пересечение hN. Далее строим h1, 2N − 1. Эта гипотеза о том, что первые N − 1 проверяемых гипотез индивидуальных истинны. Это есть гипотеза h1 пересечение h2, ..., пересечение hN − 1. Далее строим гипотезу h1, 2N − 2N. Эта гипотеза о том, что первые N − 2 и N-гипотезы истинны и имеет вид h1 пересечение h2 пересечение hN − 2 пересечение hN. Потом строим гипотезу о том, что две из проверяемых гипотез неверны. То есть N − 2 истинны. Например, гипотеза h с индексами 3 и так далее N. Эта гипотеза о том, что проверяемые гипотезы h3, h4, ..., hN истинны. Когда две индивидуальные гипотезы верны строим. Все такие. Потом для троек строим, когда три индивидуальные гипотезы неверны, остальные все верны. Строим такие. Потом для четверок и так далее. Наконец, приходим к гипотезе H с индексом 1. Эта гипотеза о том, что только первая проверяемая индивидуальная гипотеза h1 истинна. И так далее, гипотеза h с индексом N — это гипотеза о том, что только Nt проверяемой индивидуальной гипотезы истинна. Тут можно заметить, что количество проверяемых гипотез hI равно, очевидно, два в степени N − 1. Почему два в степени N − 1? Потому что гипотеза о том, что все индивидуальные проверяемые гипотезы h ложные, она не включена в это множество. Поэтому два в степени N − 1. Далее, принцип замыкания заключается в следующем: заметим, что все построенные гипотезы можно записать в виде HQ. Это пересечение hi таких, что i из этого множества Q. Где Q — это подмножество чисел 1, 2, ..., N. Для каждой HQ, согласно принципа замыкания, требуется построить тест φQ уровня α, который отвергает верную индивидуальную гипотезу HQ. верную гипотезу Hq [НЕРАЗБОРЧИВА РЕЧЬ] не более альфа. Заметим, что число тестов, которые требуется построить, это, опять же, 2 в степени -1, так как число гипотез этому равно. Ну а теперь сформулируем принцип замыкания. Значит, принцип замыкания формулируется двумя утверждениями — хотя, в общем, одно из другого следует, но для простоты двумя. Если мощность P или число элементов в P больше или равно 2, тогда гипотеза H с индексом P (это пересечение Hi по i из P) отвергается. Тогда, и только тогда, когда все гипотезы Hq такие, что P является подмножеством этого множества q,отвергаются. Все гипотезы Hq такие, что P — подмножество q, отвергаются. Это принцип замыкания для гипотез, которые называются гипотезы пересечения. У нас P больше или равно 2, то есть там обязательно Hi по решению Hj какие-то есть, как минимум две гипотезы пересекаются. Для случая, когда мощность P равна 1, или в этом случае H с индексом P равно какой-то примерной гипотезе hi, когда гипотеза Hi отвергается, тогда и только тогда, когда все гипотезы Hq такие, что i является элементом этого множества q, отвергаются. При этом сама гипотеза Hi также отвергается. Для понимания принципа замыкания требуется сделать небольшой изменение. При применении принципа замыкания мы гипотезы можем только отвергать. Значит, любая гипотеза отвергается или не отвергается. Мы никогда не говорим, что гипотеза принята — мы говорим, что гипотеза отвергается или не отвергается. Итак, пусть есть гипотеза h1, h2, ..., hN. На первой шаге мы проверяем пользу h1, h2, ..., hN. Это гипотеза о том, что все проверяемые гипотезы истинны. Строим для нее тест Фи 1, 2, ..., N. Если он не отвергает гипотезу, если он равен 0, то тогда мы не отвергаем все индивидуальные гипотезы и останавливаемся. В противном случае, если Фи 1, 2, ..., N равен 1, мы переходим на Шаг 2. На Шаге 2 мы определяем множество q с индексом i, это множество {1, 2, ..., N} минус элемент i. То есть это множество {1, 2, ..., N} без этого i. Строим тесты Фи Qi для проверки каждой гипотезы. Гипотеза Hqi это пересечение hi по i из этого множества qi. Если Фи Qi равен 0, тогда мы не отвергаем все гипотезы hj, такие, что у них индекс j из этого множества qi, и опять же останавливаемся. Если же Фи Qi равен 1, то тогда мы переходим к Шагу 3. На Шаге 3 мы определяем множество Qij. Это множество Qi для которых гипотеза пересечения была отвергнута минус какой-то элемент j. То есть это множество Qi без этого элемента j. Опять же, строим тесты Фи Qij для проверки гипотезы HQij о том, что все гипотезы hi с индексом i из этого множества Qij истинны. Если тест Фи Qij равен 0, мы не отвергаем все гипотезы hk с индексами k из этого множества Qij, и останавливаемся, опять же. В противном случае, если Фи Qij равен 1, переходим к Шагу 4, и действуем аналогично. На Шаге 4 мы должны построить множество Qij, например, k. Это Qij минус этот элемент k. Построить тест Фи Qij k. И так далее. Если он 0 — не отвергаем, если 1 — отвергаем, и переходим к Шагу 5. [БЕЗ ЗВУКА]
