Здравствуйте, уважаемые слушатели! Настоящая лекция состоит из четырех частей. В первой части нашей лекции мы рассмотрим принципы разбиения построения процедур, которые контролируют вероятность хотя бы одного ложного отвержения верной индивидуальной гипотезы, Family-wise error rate. Во второй части лекции мы рассмотрим процедуры, которые контролируют вероятность более k ложных отвержений верных индивидуальных гипотез, и приведем мотивация для обобщения Family-wise error rate, для обобщения вероятности хотя бы одного ложного отвержения. Потом мы рассмотрим процедуры, контролирующие среднюю долю ложных отвержений, так называемый False discovery rate, английский термин. И в конце лекции мы рассмотрим четвертую часть процедуры, контролирующей вероятность большой доли ложных отвержений, английский термин — false discovery proportion. Приступим к изучению принципа разбиения построения процедур, контролирующих вероятность хотя бы одного ложного отвержения верной индивидуальной гипотезы. Основная идея принципа разбиения — это разбить параметрическое пространство на непересекающиеся подмножества области Ωi и проверить каждый элемент этого разбиения, каждый элемент этого подмножества с помощью теста уровня α. Далее так как каждый элемент такого разбиения будет отличаться от всех остальных, поэтому только один из этих элементов может содержать истинное параметрическое значение, и поэтому только одно ложное отвержение приводит к ошибке первого рода. Поэтому процедура проверки, основанная на принципе разбиения, будет контролировать вероятность хотя бы одного ложного отвержения верной индивидуальной гипотезы в сильном смысле, на уровне α. «В сильном смысле» здесь, я напоминаю, означает, что вероятность хотя бы одного ложного отвержения меньше или равна α для любой конфигурации, для любого числа истинных и ложных индивидуальных гипотез. Приступим к изучению принципа разбиения. Предположим, что имеется множество гипотез H1, ..., Hn, и каждая гипотеза Hi означает, что параметрическая точка θ принадлежит некоторому параметрическому множеству Ωi. Также предположим, что множество этих гипотез замкнуто относительно пересечения, то есть пересечение любых двух гипотез является элементом этого множества. Построим вспомогательные множества Θi, которые получаются как пересечение области Ωi, области, ограничивающей гипотезы Hi, и пересечение с объединением всех компонент, всех элементов этой гипотезы, то есть отвержение объединения Ωj по j, по Ωj, которые являются элементами Ωi, и мы берем complement, дополнение. Далее может так случиться, что некоторые множества Θi являются пустыми. Мы ограничиваем рассмотрение наше только непустыми множествами Θi, и пусть ξp, как вы видите на слайде — это множество тех индексов i, для которых соответствующие множества Θi не пусты. Введем понятие естественного разбиения. Будем естественное разбиение, порожденное гипотезами H1, ..., Hn, каждая гипотеза Hn означает, что θ, параметр θ принадлежит некоторому множеству Ωi, имеет вид, это множество Θ(ξp), множество областей Θi, которые не пусты, то есть по i из этого множества ξp. Так как легко показать, что в этом случае, при получении такого естественного разбиения, любая гипотеза проверяемая Hi представима в виде объединения попарно несовместных областей Θj, где j меняется из некоторого множества Ji, и множество Ji — это множество индексов компонент, или элементов, гипотезы Ωi. То есть это то, из чего состоит множество Ωi, из кусочков, которые есть в Θj. Давайте просмотрим несколько примеров. Пример первый. Предположим, что случайная величина Xi имеет нормальное распределение с математическим ожиданием μi и дисперсией σ. И у нас их три штуки, то есть i меняется от 1 до 3. Рассмотрим множество таких гипотез, пускай нас интересуют следующие гипотезы. Гипотеза h12 — это гипотеза о том, что μ1 = μ2. Гипотеза h13 — гипотеза о том, что μ1 = μ3, гипотеза h23, в свою очередь, о том, что μ2 = μ3, и гипотеза h123 — это гипотеза о том, что математические ожидания всех наших случайных величин равны. Тогда параметрическая область Ω12 — это область точек параметрического пространства, в которых μ1 = μ2. Параметрическая область гипотезы h13 — это множество Ω13. Соответственно, это множество, параметрическое множество, в котором μ1 = μ3, и так далее. Далее, так как очевидно, что область Ω123 является подмножеством множества Ω12, потому что если у нас μ1 = μ2 = μ3, то отсюда следует, что μ1 = μ2. Но в области μ1 = μ2 могут быть точно так же точки, в которых μ1 = μ2 ≠ μ3, поэтому она больше, чем область Ω123. Поэтому область Ω123 является подмножеством множества Ω12. Отсюда следует, что далее мы конструируем множество Θ1 с помощью формул, написанных на предыдущем слайде. Это есть Ω12, пересечение с дополнением множества Ω123. Дополнение Ω123, легко видеть, что это есть множество μ1 ≠ μ2, множество параметрических точек, в которых μ1 ≠ μ2, или объединение с множеством параметрических точек, в которых μ1 ≠ μ3, или объединение с множеством параметрических точек, в которых μ2 ≠ μ3. Ω123 дополнение мы описали, поэтому множество Θ1, пересечение Ω12 и Ω123, дополнения, имеет следующий вид, как показано на экране. Это множество параметрических точек, в которых μ1 = μ2 ≠ μ3. Аналогично определяются множества Θ2 и Θ3. Кроме того, наши множества должны быть дополнены множеством Θ4. Это множество параметрических точек, в которых μ1 = μ2 = μ3. Так же легко его получить с помощью формул. Далее приведем теорему, доказанную в работу Финнера 2002 года, которая и определяет принцип разбиения. Впервые принцип разбиения, как указано в работе Финнера, по-видимому, сформулирован в работе 1988 года, работа Стефенсона, [НЕРАЗБОРЧИВО], однако более формальное рассмотрение приведено в работе Финнера, в котором и следует настоящее изложение. Итак, теорема. Пусть H — это множество гипотез Hi с индексами i от 1 до n, то есть у нас есть n интересующих нас гипотез. Каждая гипотеза Hi определяет множество Ωi и говорит о том, что параметр θ принадлежит этому множеству Ωi. И пусть нас эти гипотезы интересуют. Пусть Θj — это множество, множество подмножеств Θj с j из множества J некоторого индексов, которые обозначают естественные разбиения пространства объединения параметрических областей проверяемых гипотез, интересующих нас, с подходящим множеством индексов J, так, что для любого j из J Θj — не пустое, я напомню, что мы ограничивались рассмотрением только не пустых множеств элементов разбиения, и для любого i от 1 до n, то есть для любого, для любой гипотезы Hi, существует некое подмножество индексов J j(i) из множества j. Множество j — это множество индексов разбиения, такое, что Ωi, или область, соответствующая гипотезе Hi, предстоит как сумма (или как объединение). Мы пишем сумму, потому что наши множества θj не пересекаются, поэтому можно написать сумма θj, то j из этого множества индексов j с индексом i. Далее построим тест φj уровня α для проверки гипотезы hj о том, что θ параметрическая точка принадлежит этому множеству элементов разбиения θj против альтернатив kj о том, что θ не принадлежит элементу разбиения θj. После этого определим процедуру ψ с компонентами ψi — это вектор из n-компонент ψ1, ψ2, ..., ψN следующим образом. ψi — это минимум теста φj. Пусть j из множества j c индексом i. j(i). Тогда, таким образом построенная процедура ψ вектора из n-компонент имеет следующие свойства. Во-первых, эта процедура ψ контролирует вероятность хотя бы одного ложного утверждения верной индивидуальной гипотезы Hj на уровне α, то есть FWER ≤ α. Кроме того, процедура ψ вектора из N-компонент ψ1, ψ2, ..., ψN согласована. Что такое согласовано, было рассказано на предыдущих лекциях, поэтому я не буду сейчас на этом останавливаться. Приведем продолжение предыдущего примера один. Построим тест ψ1 уровня α для проверки гипотезы h1 о том, что θ1 = θ2 ≠ θ3. Я напомню, что у нас элементы разбиения в примере один — это были множества θ1 = θ2 ≠ θ3, множество θ1 = θ3 ≠ θ2, множество θ2 = θ3 ≠ θ1 и множество θ1 = θ2 = θ3. Сначала мы строим тест φ1 для проверки гипотезы о том, что θ из множества θ1 и тест на проверку гипотезы h1 о том, что θ1 = θ2 ≠ θ3. Строим тест φ2 уровня α для проверки гипотезы h2 о том, что θ1 = θ3 ≠ θ2. Строим тест φ3 проверки гипотезы h3 о том, что θ2 = θ3 ≠ θ1. И также строим тест φ4 проверки гипотезы h4 о том, что θ1 = θ2 = θ3. После этого мы переходим к построению процедуры с помощью принципа разбиения. Такая процедура будет иметь вид: это вектор с компонентами ψ, ψ1,2, ψ1,3, ψ2,3 и ψ1,2,3. И здесь ψ1,2 определяется как минимум φ1, φ4. ψ1 определяется как минимум φ2, φ4. ψ2,3 в соответствии с предыдущей теоремой, доказанной в работе Финнера, определяется как минимум из φ3, φ4. И ψ1,2,3 определяется как минимум из всех четырех тестов, построенных для проверки гипотезы о том, что θ принадлежит элементу разбиения. Что означает минимум ψ1, ψ4? Например, ψ1,2? Это означает, что гипотеза h12 будет перениматься, если она не отвергается хотя бы одним тестом ψ1 или ψ4. Гипотеза h13 будет не отвергаться или приниматься, если она не отвергается хотя бы одним тестом φ2 или φ4. Напоминаю, критическая функция определяется как функция с двумя значениями — ноль, один. Ноль — гипотеза не отвергается, и единица — гипотеза отвергается, если хотя бы один тест не отвергает гипотезу (если φ1, φ4 — хотя бы один из них равен нулю), то и ψ1,2 равно нулю. Если хотя бы один из φ2, φ4 равен нулю, то ψ1,3 равно нулю. Аналогично, если φ1, φ2, φ3 или φ4 — хотя бы один из этих тестов равен нулю, то тест ψ1,2,3 также будет равен нулю. То есть, мы будем принимать гипотезу h123, если хотя бы один тест не отвергает эту гипотезу. [МУЗЫКА]
