Дисперсионный анализ (ANOVA) 🔬

Представь обычную ситуацию из практики специалиста по данным: у тебя не два варианта интерфейса для A/B-теста, а сразу пять — пять вариантов текста кнопки, пять конфигураций рекомендательного алгоритма, пять наборов гиперпараметров модели. Возникает соблазн поступить максимально просто — взять контрольную группу и сравнить её с каждым из вариантов по отдельности через уже знакомый t-тест, благо ты уже умеешь проверять статистические гипотезы о равенстве средних. Формально ничего не мешает запустить пять независимых t-тестов подряд и посмотреть, какие из них дадут $p<0{,}05$. Проблема в том, что этот, казалось бы, безобидный подход методически сломан: чем больше сравнений ты проводишь, тем выше шанс, что хотя бы одно из них окажется «статистически значимым» просто по случайности, даже если на самом деле все пять вариантов абсолютно эквивалентны. Ты рискуешь запустить в продакшен вариант, который «победил» исключительно благодаря удаче эксперимента, а не реальному превосходству.

Именно для такой задачи — сравнения средних значений сразу в нескольких группах одним честным тестом — был придуман дисперсионный анализ, повсеместно известный под аббревиатурой ANOVA (Analysis of Variance). Название звучит парадоксально: метод называется «анализ дисперсий», хотя вопрос, на который он отвечает, звучит как «равны ли средние значения». Разгадка в том, что ANOVA отвечает на вопрос о средних, изучая именно дисперсии — раскладывая общую изменчивость данных на ту часть, которая объясняется различиями между группами, и ту часть, которая объясняется случайным разбросом внутри каждой группы. Сравнивая эти две составляющие друг с другом, метод и делает вывод о том, различаются ли средние на самом деле.

Для практикующего специалиста по машинному обучению ANOVA — это прямое расширение логики A/B-тестирования на случай, когда вариантов больше двух: multi-armed A/B/C-тест интерфейса, сравнение нескольких архитектур модели по общей метрике качества, сравнение нескольких источников трафика по конверсии, сравнение нескольких наборов признаков по итоговому качеству модели на разных фолдах кросс-валидации. Вместо того чтобы городить лес попарных t-тестов и путаться в поправках на множественные сравнения, ANOVA даёт один тест на весь набор групп сразу — с одним p-value и одним решением: есть ли вообще среди сравниваемых вариантов статистически значимые различия, прежде чем разбираться, какие именно.

Этот урок продолжает линию уроков о проверке статистических гипотез и о критерии хи-квадрат: там ты работал с категориальными частотами, теперь ты научишься сравнивать средние значения числового признака сразу в нескольких группах. Ты увидишь, почему серия попарных t-тестов накапливает ошибку первого рода, разберёшь идею разложения общей дисперсии SST на межгрупповую SSB и внутригрупповую SSW, познакомишься с F-статистикой и распределением Фишера, а затем шаг за шагом пройдёшь полный численный пример однофакторного дисперсионного анализа — от сырых данных до финального решения.

История: откуда это взялось?

Автор дисперсионного анализа — Рональд Эйлмер Фишер, один из главных архитекторов статистики XX века, чьё имя уже встречалось тебе в уроке про критерий хи-квадрат (именно Фишер поправил формулу степеней свободы Пирсона и придумал точный критерий для таблиц $2\times2$). В 1920-х годах Фишер работал главным статистиком на сельскохозяйственной опытной станции Ротамстед в Англии — учреждении, которое десятилетиями собирало данные об урожайности разных сортов пшеницы, разных видов удобрений и разных агротехнических приёмов на соседних экспериментальных делянках. Задача была насущно практической: на одном поле высаживали, скажем, шесть разных сортов пшеницы или испытывали четыре разных состава удобрений, и нужно было понять, действительно ли урожайность отличается между вариантами, или наблюдаемый разброс объясняется естественной неоднородностью почвы, погоды и случайностью конкретного посева.

Именно в Ротамстеде Фишер разработал не только сам дисперсионный анализ, но и фундаментальные принципы планирования эксперимента — рандомизацию (случайное распределение вариантов по делянкам, чтобы исключить систематическое смещение) и блочный дизайн (группировку похожих условий, чтобы отделить интересующий эффект от посторонних факторов). Свою ключевую работу «Statistical Methods for Research Workers» Фишер опубликовал в 1925 году, а сам термин «дисперсионный анализ» (analysis of variance) закрепился в статистике к концу 1920-х. Идея была новаторской: вместо того чтобы сравнивать группы попарно, Фишер показал, что можно математически разложить общую изменчивость урожайности на составляющие — ту часть, которая связана с различием сортов или удобрений, и ту часть, которая является чисто случайным шумом эксперимента, — и сравнить эти составляющие друг с другом одним статистическим тестом.

Статистику, которая лежит в основе этого сравнения — отношение межгрупповой изменчивости к внутригрупповой, — в конце 1930-х годов в честь Фишера назвал F-статистикой американский статистик Джордж Снедекор, который систематизировал и популяризировал метод Фишера в своём учебнике и составил первые подробные таблицы критических значений соответствующего распределения. Так фамилия Фишера оказалась увековечена сразу дважды в этой области статистики: в названии распределения Фишера (F-распределения) и в идее самого дисперсионного анализа. Сегодня, спустя ровно сто лет после первых работ Фишера, ANOVA остаётся одним из самых используемых статистических методов — от агрономии, где всё начиналось, до клинических испытаний лекарств и, конечно же, до A/B/C-тестирования продуктовых решений в технологических компаниях.

Проблема множественных сравнений: почему нельзя просто провести много t-тестов

Интуиция: как накапливается ложная находка

Представь, что ты честно подбрасываешь монету двадцать раз подряд и каждый раз проверяешь гипотезу «монета честная» на уровне значимости $\alpha=0{,}05$. Даже если монета абсолютно честная, вероятность ошибочно отвергнуть верную гипотезу в одном конкретном тесте составляет $5\%$ — это и есть смысл уровня значимости. Но если ты проводишь не один такой тест, а много, вероятность получить хотя бы одну ложную «значимую» находку среди всех тестов растёт — и растёт быстрее, чем кажется на интуитивном уровне.

Механика простая. Если каждый из $m$ независимых тестов правильно контролирует вероятность ошибки первого рода на уровне $\alpha$, то вероятность не совершить ошибку первого рода в одном конкретном тесте равна $1-\alpha$. Если тесты независимы, вероятность не совершить ошибку первого рода вообще ни в одном из $m$ тестов равна $(1-\alpha)^m$ — произведение вероятностей, поскольку события независимы. А значит, вероятность совершить хотя бы одну ложную находку среди всех $m$ тестов равна дополнению этого произведения до единицы. Именно эту величину называют групповой ошибкой первого рода (family-wise error rate, FWER) — вероятностью хотя бы одного ложного «открытия» во всей серии сравнений.

Формула: Если проводится $m$ независимых статистических тестов, каждый на уровне значимости $\alpha$, то вероятность совершить хотя бы одну ошибку первого рода среди всех тестов (групповая ошибка первого рода) равна

$$P(\text{хотя бы одна ложная находка}) = 1-(1-\alpha)^m.$$

При росте $m$ эта вероятность быстро приближается к единице — даже небольшое число тестов делает случайную ложную находку практически неизбежной.

Именно эта арифметика и есть главная причина, по которой сравнивать несколько групп сериями попарных t-тестов методически неверно: номинальный уровень значимости $\alpha=0{,}05$, заявленный для каждого отдельного теста, перестаёт отражать реальный риск ложного вывода для эксперимента в целом. Число попарных сравнений между $k$ группами растёт как число сочетаний $C_k^2=\dfrac{k(k-1)}{2}$ — квадратично по числу групп, а не линейно, поэтому проблема обостряется стремительно даже при скромном увеличении числа сравниваемых вариантов.

Примеры с разбором

Пример 1 (лёгкий). Аналитик сравнивает три варианта лендинга (A, B, C) попарно: A против B, A против C, B против C — всего три t-теста, каждый на уровне $\alpha=0{,}05$. Найди вероятность получить хотя бы одну ложную «значимую» находку, если на самом деле все три варианта абсолютно эквивалентны.

Число сравнений $m=3$ (это как раз $C_3^2=3$). Применяем формулу:

Вероятность ложно «обнаружить» разницу хотя бы в одной из трёх пар составляет примерно $14{,}3\%$ — почти втрое выше заявленных $5\%$. Даже такое скромное число сравнений заметно искажает контроль ошибки первого рода.

Пример 2 (средний). Команда сравнивает пять конфигураций рекомендательной модели попарно между собой (все возможные пары среди пяти вариантов), каждое сравнение — на уровне $\alpha=0{,}05$. Найди число сравнений и вероятность хотя бы одной ложной находки.

Число попарных сравнений между $k=5$ группами: $C_5^2 = \dfrac{5\cdot4}{2}=10$. Подставляем в формулу:

При десяти сравнениях вероятность ложной находки достигает $40\%$ — практически подбрасывание монеты. Если бы модели действительно были одинаковы, команда с вероятностью два к пяти получила бы «статистически значимый» результат хотя бы в одной из пар — и рисковала бы принять решение о выкатке «лучшей» конфигурации, которая на самом деле лучше не является.

Пример 3 (сложный). Продуктовая команда решает сравнить десять вариантов заголовка рассылки (subject line) попарно друг с другом, чтобы найти «победителя», не применяя никакой поправки на множественность. Найди число сравнений и итоговую вероятность хотя бы одной ложной значимой пары, если на самом деле все десять вариантов работают одинаково.

Число сравнений: $C_{10}^2 = \dfrac{10\cdot9}{2}=45$. Считаем вероятность:

Удобно оценить через натуральный логарифм: $\ln(0{,}95)\approx-0{,}05129$, тогда $45\cdot(-0{,}05129)\approx-2{,}308$, а $e^{-2{,}308}\approx0{,}0994$. Значит,

При сорока пяти попарных сравнениях вероятность получить хотя бы одну ложную «значимую» находку составляет свыше $90\%$ — фактически гарантия. Если команда возьмёт «победивший» вариант заголовка по итогам такого анализа, она почти наверняка возьмёт вариант, который выглядит лучше исключительно благодаря случайности выборки, а вовсе не благодаря реальному превосходству формулировки.

Почему это важно. Именно эта арифметика — прямое обоснование того, зачем вообще нужен дисперсионный анализ как отдельный метод, а не просто удобство нотации. Вместо того чтобы проводить $m=C_k^2$ отдельных тестов и пытаться задним числом скорректировать уровень значимости (поправка Бонферрони, которую ты уже видел в уроке про критерий хи-квадрат, — один из способов такой коррекции, но она становится всё более консервативной с ростом числа сравнений и теряет мощность), ANOVA проверяет одну объединённую гипотезу «все групповые средние равны» одним тестом с честным уровнем значимости $\alpha$, независимо от того, сколько групп сравнивается. Только если эта объединённая гипотеза отвергнута, есть формальные основания переходить к более детальному анализу — какие именно группы отличаются друг от друга (для этого существуют специальные пост-хок процедуры, учитывающие множественность сравнений, например поправка Тьюки). Такая двухшаговая логика — сначала общий тест, потом при необходимости детализация с поправкой — и есть правильный способ работать с несколькими группами одновременно.

Разложение дисперсии: SST = SSB + SSW

Интуиция: откуда берётся изменчивость данных

Представь таблицу с результатами эксперимента: несколько групп наблюдений числового признака — например, время сессии пользователя при трёх разных алгоритмах рекомендаций. Если ты забудешь, к какой группе относится каждое наблюдение, и просто посчитаешь дисперсию всех значений вместе, ты получишь общую изменчивость данных. Но эта общая изменчивость складывается из двух принципиально разных источников. Часть разброса объясняется тем, что группы в среднем отличаются друг от друга — одна конфигурация алгоритма систематически даёт более долгие сессии, чем другая. Другая часть разброса вообще не связана с группировкой — это естественная изменчивость между пользователями внутри одной и той же группы, случайный шум эксперимента, индивидуальные различия людей.

Ключевая идея дисперсионного анализа — формально разделить эти два источника изменчивости и сравнить их друг с другом. Для этого вводят три суммы квадратов отклонений. Общая сумма квадратов (SST, total sum of squares) измеряет, насколько каждое отдельное наблюдение отклоняется от общего среднего по всей выборке — это и есть суммарная изменчивость данных, если игнорировать разбиение на группы. Межгрупповая сумма квадратов (SSB, between-group sum of squares) измеряет, насколько среднее значение каждой группы отклоняется от общего среднего, взвешенное по размеру группы, — это та часть изменчивости, которая объясняется различием между группами. Внутригрупповая сумма квадратов (SSW, within-group sum of squares) измеряет, насколько отдельные наблюдения внутри каждой группы отклоняются от своего собственного группового среднего, — это та часть изменчивости, которая никак не связана с группировкой и представляет собой чистый случайный разброс.

Красота конструкции в том, что эти три величины связаны точным алгебраическим тождеством — общая изменчивость данных в точности равна сумме межгрупповой и внутригрупповой изменчивости, без остатка. Это не приближение и не оценка, а прямое следствие теоремы Пифагора для ортогональной проекции: отклонение каждого наблюдения от общего среднего можно разбить на отклонение группового среднего от общего среднего плюс отклонение наблюдения от своего группового среднего, и при возведении в квадрат и суммировании перекрёстные слагаемые взаимно уничтожаются.

Формула: Пусть есть $k$ групп, $i$-я группа содержит $n_i$ наблюдений, $N=\sum n_i$ — общий объём выборки, $\bar x_i$ — среднее $i$-й группы, $\bar x$ — общее (генеральное) среднее по всей выборке. Тогда

$$SST = \sum_{i=1}^{k}\sum_{j=1}^{n_i}(x_{ij}-\bar x)^2, \qquad SSB = \sum_{i=1}^{k} n_i(\bar x_i-\bar x)^2, \qquad SSW = \sum_{i=1}^{k}\sum_{j=1}^{n_i}(x_{ij}-\bar x_i)^2,$$

и между этими тремя величинами всегда выполняется точное тождество

$$SST = SSB + SSW.$$

Отдельно полезная производная величина — коэффициент детерминации $\eta^2 = SSB/SST$ (в этой роли он играет для ANOVA ту же роль, что коэффициент $R^2$ играет в регрессионном анализе из предыдущего урока): доля общей изменчивости данных, объяснённая принадлежностью к группе. Значение, близкое к единице, означает, что почти вся изменчивость данных объясняется различием между группами; значение, близкое к нулю, означает, что группировка практически ничего не объясняет и наблюдаемый разброс — это чистый шум.

Примеры с разбором

Пример 1 (лёгкий). Три группы по три наблюдения в каждой: группа A — $2, 4, 3$; группа B — $6, 8, 7$; группа C — $4, 6, 5$. Посчитай $SST$, $SSB$, $SSW$ и проверь тождество $SST=SSB+SSW$.

Средние групп: $\bar x_A = 3$, $\bar x_B = 7$, $\bar x_C = 5$. Общее среднее: $\bar x = \dfrac{9+21+15}{9}=\dfrac{45}{9}=5$.

Межгрупповая сумма квадратов (каждая группа содержит по $3$ наблюдения):

Внутригрупповая сумма квадратов по каждой группе:

Проверяем тождество: $SSB+SSW=24+6=30$. Считаем $SST$ напрямую как сумму квадратов отклонений всех девяти наблюдений от общего среднего $\bar x=5$: отклонения $-3,-1,-2,1,3,2,-1,1,0$, квадраты $9,1,4,1,9,4,1,1,0$, сумма $=30$. Тождество подтверждается: $SST=30=SSB+SSW=24+6$.

Пример 2 (средний). Три группы неравного размера: группа A ($n=2$) — $10, 14$; группа B ($n=4$) — $20, 20, 20, 20$; группа C ($n=2$) — $6, 10$. Посчитай $SST$, $SSB$, $SSW$ и коэффициент детерминации $\eta^2$.

Средние групп: $\bar x_A = 12$, $\bar x_B=20$, $\bar x_C=8$. Общий объём $N=2+4+2=8$, общая сумма $=24+80+16=120$, общее среднее $\bar x=120/8=15$.

Внутригрупповая изменчивость: группа A — $(10-12)^2+(14-12)^2=4+4=8$; группа B — все значения равны своему среднему, поэтому $SSW_B=0$; группа C — $(6-8)^2+(10-8)^2=4+4=8$. Итого $SSW=8+0+8=16$.

Коэффициент детерминации: $\eta^2 = SSB/SST = 216/232 \approx 0{,}931$. Почти $93\%$ общей изменчивости данных объясняется принадлежностью к группе — очень сильный эффект группировки, а внутригрупповой разброс (в частности, нулевая изменчивость внутри группы B, где все значения идеально совпали) составляет лишь малую долю от общей картины.

Пример 3 (сложный). В эксперименте по сравнению четырёх конфигураций гиперпараметров модели ($k=4$ группы, $N=40$ наблюдений всего) известно, что общая сумма квадратов отклонений $SST=540$, а межгрупповая сумма квадратов $SSB=180$. Найди $SSW$, коэффициент детерминации $\eta^2$, а также число степеней свободы для каждой из трёх сумм квадратов.

Из тождества $SST=SSB+SSW$ находим внутригрупповую сумму квадратов:

Коэффициент детерминации: $\eta^2 = SSB/SST = 180/540 = \dfrac{1}{3} \approx 0{,}333$ — треть общей изменчивости объясняется различием между конфигурациями, а оставшиеся две трети — это разброс внутри самих конфигураций (например, из-за случайной инициализации модели или разбиения данных).

Числа степеней свободы: у общей суммы квадратов $df_{total}=N-1=40-1=39$ (столько «свободных» отклонений остаётся после того, как зафиксировано общее среднее); у межгрупповой суммы $df_{between}=k-1=4-1=3$ (столько независимых отклонений групповых средних от общего среднего, ведь сумма всех отклонений, взвешенных по размеру групп, равна нулю); у внутригрупповой суммы $df_{within}=N-k=40-4=36$ (внутри каждой группы теряется одна степень свободы на оценку своего собственного среднего, и по всем $k$ группам это даёт $N-k$). Проверка: $df_{between}+df_{within} = 3+36=39=df_{total}$ — точно так же, как суммы квадратов, степени свободы тоже точно складываются.

Почему это важно. Разложение $SST=SSB+SSW$ — это не просто техническая формула, а концептуальное сердце всего дисперсионного анализа: оно превращает расплывчатый вопрос «отличаются ли группы» в точный количественный вопрос «какая доля общей изменчивости данных объясняется группировкой, а какая — случайностью». Именно это разложение делает возможным следующий шаг — построение статистики, которая сравнивает межгрупповую изменчивость с внутригрупповой напрямую. И для практикующего специалиста по данным это разложение знакомо не только по ANOVA: коэффициент $\eta^2=SSB/SST$ — прямой аналог коэффициента детерминации $R^2$ из регрессионного анализа предыдущего урока, где общая изменчивость целевой переменной раскладывалась на объяснённую моделью часть и остаточную часть. Оба метода — регрессия и дисперсионный анализ — на самом деле являются частными случаями одной и той же более общей модели (обобщённой линейной модели), просто регрессия работает с непрерывным предиктором, а ANOVA — с категориальным (номером группы).

F-статистика и распределение Фишера

Интуиция: отношение объяснённого разброса к случайному

Итак, у тебя есть межгрупповая изменчивость $SSB$ и внутригрупповая изменчивость $SSW$. Просто сравнивать их напрямую нельзя — они зависят от разного числа степеней свободы (числа групп и общего объёма выборки), поэтому сначала каждую сумму квадратов нужно превратить в средний квадрат — разделить на соответствующее число степеней свободы, получив тем самым оценку дисперсии. Средний межгрупповой квадрат $MSB=SSB/(k-1)$ — это оценка того, насколько сильно в среднем отличаются друг от друга групповые средние. Средний внутригрупповой квадрат $MSW=SSW/(N-k)$ — это оценка дисперсии случайного шума внутри групп, не зависящая от того, различаются ли группы между собой на самом деле.

Ключевая логика такая: если нулевая гипотеза верна и все группы на самом деле имеют одинаковое истинное среднее, то и $MSB$, и $MSW$ оценивают одну и ту же величину — общую дисперсию случайного шума в данных, просто оценивают её двумя разными способами (через разброс между группами и через разброс внутри групп). В этом случае их отношение должно быть близко к единице. Но если истинные средние групп на самом деле различаются, $MSB$ систематически завышается — ведь помимо случайного шума он теперь ловит ещё и реальную разницу между группами, а $MSW$ остаётся несмещённой оценкой чистого шума независимо от того, верна нулевая гипотеза или нет. Поэтому отношение $MSB/MSW$ становится заметно больше единицы ровно тогда, когда между группами есть реальные различия — и именно это отношение и есть статистика критерия.

Формула: Статистика однофакторного дисперсионного анализа

$$F = \frac{MSB}{MSW} = \frac{SSB/(k-1)}{SSW/(N-k)}$$

при верной нулевой гипотезе $H_0$ (все групповые средние равны) имеет распределение Фишера с $df_1=k-1$ степенями свободы числителя и $df_2=N-k$ степенями свободы знаменателя, что обозначается $F \sim F_{df_1,\,df_2}$.

Само распределение Фишера возникает как отношение двух независимых случайных величин с распределением хи-квадрат, каждая из которых поделена на своё число степеней свободы: $F=\dfrac{\chi^2_{df_1}/df_1}{\chi^2_{df_2}/df_2}$. Это не случайное совпадение с формулой ANOVA — можно строго показать, что при верной $H_0$ статистики $SSB$ и $SSW$, поделённые на дисперсию шума, как раз и оказываются такими независимыми величинами хи-квадрат, и их отношение (после деления каждой на своё число степеней свободы) в точности следует распределению Фишера. Плотность распределения Фишера определена только для неотрицательных значений (так же как у хи-квадрат — это отношение сумм квадратов), асимметрична с длинным правым хвостом, и её форма зависит от обоих параметров степеней свободы: чем больше $df_2$ (знаменатель), тем ближе распределение к более узкому и симметричному виду. Поскольку статистика ANOVA всегда неотрицательна, а большие значения свидетельствуют против $H_0$ (сильное превышение межгрупповой изменчивости над внутригрупповой не может быть объяснено случайностью), критическая область теста всегда располагается в правом хвосте распределения Фишера — точно так же, как критическая область критерия хи-квадрат.

Отдельный частный случай стоит запомнить: когда сравниваются ровно $k=2$ группы, ANOVA математически эквивалентен обычному двустороннему t-тесту для разности двух средних — квадрат t-статистики в точности совпадает с F-статистикой, а распределение Фишера с $df_1=1$ степенью свободы числителя — это в точности распределение квадрата случайной величины Стьюдента. Дисперсионный анализ, таким образом, не конкурирует с t-тестом, а прямо обобщает его на произвольное число групп.

Примеры с разбором

Пример 1 (лёгкий). Из примера 1 предыдущего раздела: $SSB=24$ при $df_1=k-1=2$ (три группы), $SSW=6$ при $df_2=N-k=9-3=6$. Посчитай F-статистику и сравни с критическим значением $F_{0{,}05;\,2,6}=5{,}14$.

Средние квадраты: $MSB = 24/2=12$, $MSW=6/6=1$. F-статистика:

Поскольку $12 > 5{,}14$, статистика попадает в критическую область — гипотезу о равенстве всех трёх групповых средних отвергаем на уровне $\alpha=0{,}05$: межгрупповая изменчивость в двенадцать раз превышает внутригрупповую, что крайне маловероятно объяснить одной лишь случайностью.

Пример 2 (средний). Из сложного примера предыдущего раздела: $SSB=180$ при $df_1=3$, $SSW=360$ при $df_2=36$. Посчитай F-статистику и сравни с критическим значением $F_{0{,}05;\,3,36}\approx2{,}87$.

Средние квадраты: $MSB=180/3=60$, $MSW=360/36=10$. F-статистика:

Поскольку $6{,}0 > 2{,}87$, гипотезу о равенстве средних четырёх конфигураций гиперпараметров отвергаем — есть статистически значимые различия между конфигурациями, несмотря на то что коэффициент детерминации $\eta^2\approx0{,}333$ (из предыдущего примера) показывает, что бо́льшая часть изменчивости всё же объясняется случайностью, а не выбором конфигурации.

Пример 3 (сложный). Для A/B-теста из двух вариантов модели ($k=2$ группы) обычный t-тест для разности средних дал значение $t=2{,}5$ при $df=20$ наблюдений внутри групп. Найди эквивалентное значение F-статистики ANOVA для тех же данных, укажи её степени свободы и сравни с критическим значением $F_{0{,}05;\,1,20}\approx4{,}35$.

Для случая двух групп F-статистика ANOVA точно равна квадрату t-статистики:

Степени свободы: $df_1=k-1=2-1=1$ (числитель), $df_2=20$ (знаменатель, совпадает со степенями свободы исходного t-теста). Поскольку $6{,}25 > 4{,}35$, гипотеза о равенстве средних отвергается — что полностью согласуется с тем, что обычный t-тест с $t=2{,}5$ при $df=20$ и двусторонним критическим значением $t_{0{,}05;\,20}\approx2{,}086$ тоже отверг бы $H_0$, ведь $2{,}5^2=6{,}25\approx t_{0{,}05;\,20}^2\approx2{,}086^2\approx4{,}35$ — критические значения обоих тестов тоже совпадают при возведении в квадрат. Это подтверждает: для двух групп t-тест и однофакторный ANOVA — это буквально один и тот же тест, записанный в разных обозначениях.

Почему это важно. F-статистика — это именно тот единственный показатель, который ANOVA выдаёт по итогам анализа произвольного числа групп, вместо целой серии отдельных p-value от попарных сравнений. Она напрямую воплощает интуицию «сигнал против шума»: большое значение F означает, что различия между группами велики относительно естественного разброса внутри групп, и объяснить это чистой случайностью статистически неправдоподобно. Понимание природы F-распределения как отношения двух независимых хи-квадратов также объясняет, почему критическая область теста всегда одностороння (правый хвост) — слишком маленькое значение F (когда межгрупповая изменчивость меньше внутригрупповой) не свидетельствует ни о чём подозрительном, это просто означает, что группы очень похожи, а иногда даже указывает на нарушение допущений эксперимента (например, на искусственную корреляцию наблюдений), но никогда — на статистическую значимость различий.

Однофакторный дисперсионный анализ: полный пример

Интуиция: логика проверки гипотезы «все средние равны»

Теперь пора собрать всё вместе в единый рабочий алгоритм. Однофакторный дисперсионный анализ (one-way ANOVA) — это статистический тест, который проверяет одну общую нулевую гипотезу сразу для $k$ групп: $H_0$: $\mu_1=\mu_2=\dots=\mu_k$ — все истинные (генеральные) средние равны между собой. Альтернативная гипотеза $H_1$ формулируется нарочно широко: хотя бы одна пара средних отличается — сам тест не говорит, какая именно пара и в какую сторону, для этого нужен последующий, отдельный анализ.

Алгоритм работы полностью проходит через понятия, разобранные в предыдущих разделах, собранные в единую последовательность шагов: сформулировать гипотезы, вычислить три суммы квадратов ($SST$, $SSB$, $SSW$) и проверить их тождество, вычислить степени свободы, вычислить средние квадраты $MSB$ и $MSW$, вычислить F-статистику как их отношение, сравнить F-статистику с критическим значением распределения Фишера при выбранном уровне значимости (или напрямую посчитать p-value) и сделать содержательный вывод. Результаты всех промежуточных вычислений принято сводить в единую таблицу дисперсионного анализа — стандартный формат, который используют все статистические пакеты.

Формула (таблица однофакторного ANOVA):

Источник изменчивости	Сумма квадратов	Степени свободы	Средний квадрат	F-статистика
Между группами	$SSB$	$k-1$	$MSB=SSB/(k-1)$	$F=MSB/MSW$
Внутри групп	$SSW$	$N-k$	$MSW=SSW/(N-k)$	—
Итого	$SST$	$N-1$	—	—

Решение принимается сравнением $F$ с критическим значением $F_{\alpha;\,k-1,\,N-k}$: если $F>F_{\alpha;\,k-1,\,N-k}$ (эквивалентно $p<\alpha$), гипотеза $H_0$ отвергается на уровне значимости $\alpha$.

Примеры с разбором

Пример 1 (лёгкий, полный развёрнутый разбор). Команда сравнивает три алгоритма рекомендаций (A, B, C) по среднему времени сессии пользователя (в минутах) на выборках по $n=4$ пользователя в каждой группе ($N=12$):

Алгоритм A: $5, 7, 6, 8$; Алгоритм B: $9, 11, 10, 12$; Алгоритм C: $6, 8, 5, 9$.

Проведи полный однофакторный дисперсионный анализ на уровне $\alpha=0{,}05$.

Шаг 1. Гипотезы. $H_0$: $\mu_A=\mu_B=\mu_C$ (все три алгоритма дают одинаковое среднее время сессии); $H_1$: хотя бы один алгоритм отличается от остальных.

Шаг 2. Групповые и общее средние. $\bar x_A = \dfrac{5+7+6+8}{4}=6{,}5$, $\bar x_B=\dfrac{9+11+10+12}{4}=10{,}5$, $\bar x_C=\dfrac{6+8+5+9}{4}=7$. Общая сумма $=26+42+28=96$, $N=12$, общее среднее $\bar x=96/12=8$.

Шаг 3. Межгрупповая сумма квадратов.

Шаг 4. Внутригрупповая сумма квадратов. Группа A: отклонения от $6{,}5$ равны $-1{,}5,\ 0{,}5,\ -0{,}5,\ 1{,}5$, квадраты $2{,}25,\ 0{,}25,\ 0{,}25,\ 2{,}25$, сумма $=5{,}0$. Группа B: отклонения от $10{,}5$ равны $-1{,}5,\ 0{,}5,\ -0{,}5,\ 1{,}5$, сумма квадратов также $=5{,}0$. Группа C: отклонения от $7$ равны $-1,\ 1,\ -2,\ 2$, квадраты $1,\ 1,\ 4,\ 4$, сумма $=10{,}0$.

Шаг 5. Проверка тождества. $SST=SSB+SSW=38+20=58$. Прямая проверка: сумма квадратов отклонений всех $12$ наблюдений от $\bar x=8$ даёт $58$ — тождество подтверждено.

Шаг 6. Степени свободы и средние квадраты. $df_{between}=k-1=2$, $df_{within}=N-k=9$. $MSB=38/2=19$, $MSW=20/9\approx2{,}222$.

Шаг 7. F-статистика.

Шаг 8. Вывод. Критическое значение $F_{0{,}05;\,2,9}=4{,}26$. Поскольку $8{,}55 > 4{,}26$ (соответствующее $p$-value составляет примерно $0{,}0079$), гипотезу $H_0$ отвергаем: между тремя алгоритмами рекомендаций есть статистически значимые различия в среднем времени сессии. Алгоритм B, судя по наибольшему групповому среднему ($10{,}5$ минуты), выглядит наиболее эффективным — но чтобы формально подтвердить, что именно он статистически отличается от каждого из двух других, а не только «где-то среди трёх есть различие», потребуется отдельный пост-хок анализ.

Пример 2 (средний, случай, когда H0 не отвергается). Три модели градиентного бустинга сравниваются по F1-score (в процентах) на $n=4$ фолдах кросс-валидации каждая:

Модель A: $82, 85, 80, 83$; Модель B: $83, 86, 81, 82$; Модель C: $81, 84, 79, 84$.

Проведи полный однофакторный ANOVA на уровне $\alpha=0{,}05$.

Групповые средние: $\bar x_A=82{,}5$, $\bar x_B=83$, $\bar x_C=82$. Общая сумма $=330+332+328=990$, $N=12$, общее среднее $\bar x = 990/12=82{,}5$.

Внутригрупповая изменчивость: группа A (отклонения от $82{,}5$: $-0{,}5,\ 2{,}5,\ -2{,}5,\ 0{,}5$) даёт $0{,}25+6{,}25+6{,}25+0{,}25=13{,}0$; группа B (отклонения от $83$: $0,\ 3,\ -2,\ -1$) даёт $0+9+4+1=14{,}0$; группа C (отклонения от $82$: $-1,\ 2,\ -3,\ 2$) даёт $1+4+9+4=18{,}0$.

Степени свободы: $df_{between}=2$, $df_{within}=9$. Средние квадраты: $MSB=2{,}0/2=1{,}0$, $MSW=45{,}0/9=5{,}0$.

Критическое значение $F_{0{,}05;\,2,9}=4{,}26$. Поскольку $0{,}2 \ll 4{,}26$ ($p$-value здесь около $0{,}823$), гипотезу $H_0$ не отвергаем: статистически значимых различий между тремя моделями градиентного бустинга по F1-score не обнаружено. Практический вывод для ML-инженера принципиально важен: несмотря на то что групповые средние немного отличаются ($82$, $82{,}5$, $83$), этот разброс полностью объясняется естественной изменчивостью между фолдами кросс-валидации, а вовсе не реальным превосходством одной модели над другими — выбирать «лучшую» модель по такому небольшому и статистически незначимому отличию было бы ошибкой.

Пример 3 (сложный, неравные степени свободы, отчётливая значимость). Маркетинговая команда сравнивает четыре варианта темы письма рассылки (A, B, C, D) по CTR (кликабельности, в процентах), $n=3$ наблюдения (недели рассылки) в каждой группе ($N=12$):

Тема A: $2, 4, 3$; Тема B: $6, 8, 7$; Тема C: $5, 7, 6$; Тема D: $3, 5, 4$.

Проведи полный однофакторный ANOVA на уровне $\alpha=0{,}05$.

Групповые средние: $\bar x_A=3$, $\bar x_B=7$, $\bar x_C=6$, $\bar x_D=4$. Общая сумма $=9+21+18+12=60$, $N=12$, общее среднее $\bar x=60/12=5$.

Внутригрупповая изменчивость (в каждой группе паттерн отклонений один и тот же: $-1,\ 1,\ 0$, что даёт сумму квадратов $2{,}0$ на группу): $SSW = 2+2+2+2=8$.

Степени свободы: $df_{between}=k-1=3$, $df_{within}=N-k=8$. Средние квадраты: $MSB=30/3=10$, $MSW=8/8=1$.

Критическое значение $F_{0{,}05;\,3,8}=4{,}07$. Поскольку $10 > 4{,}07$ ($p$-value $\approx0{,}0043$), гипотезу $H_0$ уверенно отвергаем: между четырьмя вариантами темы письма есть статистически значимые различия в CTR, причём тема B (среднее $7\%$) заметно опережает остальные варианты.

Почему это важно. Эти три примера иллюстрируют главное практическое назначение ANOVA — дать один честный ответ на вопрос «есть ли вообще смысл искать различия среди этих вариантов», прежде чем тратить ресурсы на выбор «победителя». В примере 1 и примере 3 тест подтверждает, что различия реальны и стоит переходить к следующему шагу анализа, а в примере 2 тест честно предупреждает: наблюдаемые различия между моделями укладываются в границы случайного шума, и выбор «лучшей» модели по такому шаткому основанию был бы необоснованным решением, которое, будучи выкаченным в продакшен, скорее всего не даст обещанного улучшения.

Практика: 30 заданий

Базовые (задания 1–10)

Задание 1. Три группы по три наблюдения: A — $3, 5, 4$; B — $7, 9, 8$; C — $5, 7, 6$. Найди групповые средние и общее среднее.

Задание 2. Для трёх групп ($n=3$ в каждой) даны групповые средние $\bar x_A=4$, $\bar x_B=8$, $\bar x_C=6$ и общее среднее $\bar x=6$ (данные задания 1). Найди межгрупповую сумму квадратов $SSB$.

Задание 3. Для данных из задания 1 (A — $3,5,4$; B — $7,9,8$; C — $5,7,6$) найди внутригрупповую сумму квадратов $SSW$.

Задание 4. Используя результаты заданий 2 и 3 ($SSB=24$, $SSW=6$), найди $SST$ двумя способами: через тождество $SST=SSB+SSW$ и напрямую по данным из задания 1, и убедись, что результаты совпадают.

Задание 5. Для эксперимента с $k=4$ группами и общим объёмом выборки $N=28$ найди число степеней свободы $df_{between}$, $df_{within}$ и $df_{total}$.

Задание 6. Дано $SSB=45$ при $df_{between}=3$ и $SSW=120$ при $df_{within}=24$. Найди $MSB$, $MSW$ и F-статистику.

Задание 7. Пять независимых t-тестов проводятся попарно между всеми возможными парами при сравнении четырёх вариантов баннера, каждый на уровне $\alpha=0{,}05$. Проверь, действительно ли число сравнений между четырьмя вариантами равно пяти, и, если нет, найди правильное число сравнений и вероятность хотя бы одной ложной значимой находки.

Задание 8. Статистика F-теста составила $F=5{,}8$ при $df_1=2$, $df_2=15$. Критическое значение $F_{0{,}05;\,2,15}=3{,}68$. Сделай вывод на уровне значимости $\alpha=0{,}05$.

Задание 9. Объясни своими словами, почему статистика F-теста ANOVA не может быть отрицательной, и почему критическая область всегда расположена только в правом хвосте распределения Фишера.

Задание 10. Для сравнения ровно двух групп ($k=2$) t-тест дал значение $t=3{,}0$ при $df=18$. Найди эквивалентное значение F-статистики ANOVA и укажи её степени свободы.

Средние (задания 11–20)

Задание 11. Три группы по $n=4$: A — $4, 6, 5, 7$; B — $8, 10, 9, 11$; C — $5, 7, 6, 8$. Проведи полный однофакторный ANOVA на уровне $\alpha=0{,}05$, используя критическое значение $F_{0{,}05;\,2,9}=4{,}26$.

Задание 12. Четыре группы неравного размера: A ($n=3$) — среднее $10$; B ($n=5$) — среднее $14$; C ($n=2$) — среднее $8$; D ($n=2$) — среднее $16$. Найди общее среднее (взвешенное по размеру групп) и межгрупповую сумму квадратов $SSB$.

Задание 13. Для сравнения пяти вариантов текста push-уведомления попарно между собой (все пары среди пяти вариантов) без поправки на множественность каждое сравнение проводится на уровне $\alpha=0{,}05$. Найди число сравнений и вероятность хотя бы одной ложной значимой находки, если на самом деле все пять вариантов эквивалентны.

Задание 14. Дано $SSB=90$ при $k=6$ группах и $SST=300$ при $N=48$ наблюдениях. Найди $SSW$, число степеней свободы $df_{between}$ и $df_{within}$, а также коэффициент детерминации $\eta^2$.

Задание 15. Для данных задания 14 ($SSB=90$, $df_{between}=5$; $SSW=210$, $df_{within}=42$) найди F-статистику и сравни с критическим значением $F_{0{,}05;\,5,42}\approx2{,}44$.

Задание 16. Три источника трафика (органический поиск, реклама, email) сравниваются по среднему чеку заказа (в тысячах рублей), $n=5$ заказов в каждой группе: органический — $3, 4, 3, 5, 5$; реклама — $6, 7, 5, 8, 4$; email — $4, 5, 4, 6, 6$. Проведи полный однофакторный ANOVA на уровне $\alpha=0{,}05$, используя $F_{0{,}05;\,2,12}=3{,}89$.

Задание 17. Дизайнер сравнивает четыре варианта цветовой схемы кнопки по времени принятия решения пользователем (в секундах), $n=6$ в каждой группе ($N=24$). Получена статистика $F=2{,}1$ при $df_1=3$, $df_2=20$, критическое значение $F_{0{,}05;\,3,20}=3{,}10$. Сделай вывод и объясни, что означает этот результат для дизайнерского решения.

Задание 18. В эксперименте с $k=3$ группами по $n=7$ наблюдений в каждой ($N=21$) получено $\eta^2=0{,}6$ и $SST=100$. Найди $SSB$, $SSW$, а затем F-статистику, используя $df_{between}=2$ и $df_{within}=18$.

Задание 19. Для того же эксперимента, что и в задании 18 ($F\approx13{,}5$ при $df_1=2$, $df_2=18$), сравни результат с критическим значением $F_{0{,}05;\,2,18}=3{,}55$ и сформулируй окончательный вывод.

Задание 20. Перед выбором лучшей из трёх конфигураций рекомендательной системы инженер хочет применить ANOVA вместо трёх попарных t-тестов. Объясни, почему в этой ситуации именно ANOVA — методически более правильный первый шаг, и что нужно сделать, если ANOVA отвергнет $H_0$.

Продвинутые (задания 21–30)

Задание 21. Четыре варианта заголовка объявления сравниваются по CTR (в процентах), $n=5$ в каждой группе ($N=20$): A — $2, 3, 2, 4, 4$; B — $5, 6, 5, 7, 7$; C — $3, 4, 3, 5, 5$; D — $4, 5, 4, 6, 6$. Проведи полный однофакторный ANOVA на уровне $\alpha=0{,}05$, используя $F_{0{,}05;\,3,16}=3{,}24$.

Задание 22. Для данных задания 21 найди коэффициент детерминации $\eta^2$ и объясни, какую долю разброса CTR объясняет выбор заголовка.

Задание 23. Пять вариантов алгоритма ранжирования сравниваются между собой всеми возможными парами без поправки на множественность, каждое сравнение на уровне $\alpha=0{,}05$. Затем применяется поправка Бонферрони. Найди скорректированный уровень значимости для каждого отдельного сравнения.

Задание 24. Для эксперимента с $k=3$ группами, $n_1=4$, $n_2=6$, $n_3=5$ ($N=15$) даны групповые средние $\bar x_1=10$, $\bar x_2=14$, $\bar x_3=12$ и общее среднее $\bar x=12{,}4$. Проверь корректность общего среднего и найди $SSB$.

Задание 25. Четыре региона сравниваются по среднему времени обработки заявки в поддержке (в минутах), данные из $n=5$ заявок на регион ($N=20$): SSB получилась равна $80$, SSW равна $60$. Найди F-статистику, сравни с критическим значением $F_{0{,}05;\,3,16}=3{,}24$ и посчитай коэффициент детерминации.

Задание 26. В эксперименте по сравнению двух версий модели ($k=2$) ANOVA даёт $F=7{,}84$ при $df_1=1$, $df_2=30$. Найди эквивалентное значение t-статистики (по модулю) и объясни, какой знак у неё мог бы быть в контексте задачи.

Задание 27. В компании одновременно проверяется полезность семи разных вариантов лендинга через попарные t-тесты без поправки на множественность, каждый на уровне $\alpha=0{,}05$. Найди число сравнений и вероятность хотя бы одной ложной значимой находки, а также оцени, во сколько раз эта вероятность превышает номинальный уровень значимости отдельного теста.

Задание 28. Инженер по данным сравнивает шесть вариантов набора признаков для модели по метрике AUC на $n=8$ фолдах кросс-валидации каждый ($N=48$). Получена таблица ANOVA: $SSB=0{,}048$, $SSW=0{,}126$. Найди F-статистику (используй $df_{between}=5$, $df_{within}=42$), сравни с критическим значением $F_{0{,}05;\,5,42}\approx2{,}44$ и сделай вывод для практики отбора признаков.

Задание 29. Статистика F-теста составила $F=2{,}90$ при $df_1=3$, $df_2=36$. Точное критическое значение $F_{0{,}05;\,3,36}\approx2{,}87$. Оцени, отвергается ли $H_0$, и объясни, почему в таком пограничном случае стоит проявить осторожность при формулировке вывода.

Задание 30. Продуктовая команда проверяет одновременно четыре независимых метрики (конверсия, средний чек, время сессии, отток) для одного и того же multi-armed A/B/C/D-теста интерфейса, применяя ANOVA к каждой метрике отдельно на уровне $\alpha=0{,}05$: конверсия даёт $F=6{,}20$ ($p\approx0{,}0011$), средний чек даёт $F=1{,}05$ ($p\approx0{,}372$), время сессии даёт $F=3{,}40$ ($p\approx0{,}021$), отток даёт $F=0{,}42$ ($p\approx0{,}741$). Примени поправку Бонферрони для четырёх одновременно проверяемых метрик и определи, какие результаты остаются статистически значимыми.

Частые ошибки

❌ Ошибка: Сравнивать несколько групп сериями попарных t-тестов вместо однофакторного ANOVA, не задумываясь о накоплении ошибки первого рода.

✅ Правильно: Для одновременного сравнения трёх и более групп сначала применять ANOVA как единый тест общей гипотезы «все средние равны», и только при отклонении этой гипотезы переходить к пост-хок анализу конкретных пар с поправкой на множественность.

💡 Почему: Как показано в разделе о проблеме множественных сравнений этого урока, при $m$ независимых попарных тестах вероятность хотя бы одной ложной значимой находки равна $1-(1-\alpha)^m$ и стремительно растёт с числом сравниваемых групп — уже при пяти группах она превышает $40\%$, а при десяти достигает $90\%$, то есть без ANOVA практически гарантирован хотя бы один ложный «победитель».

❌ Ошибка: После того как ANOVA отверг $H_0$, делать вывод, что все группы попарно различаются друг от друга.

✅ Правильно: Отклонение $H_0$ означает лишь, что где-то среди групп есть хотя бы одно значимое различие; для определения конкретных отличающихся пар нужен отдельный пост-хок тест (например, критерий Тьюки), корректно учитывающий множественность сравнений.

💡 Почему: ANOVA — это тест на общее равенство всех средних, а не набор тестов на все возможные пары; статистика F не несёт информации о том, какая именно группа (или группы) отличается от остальных.

❌ Ошибка: Интерпретировать высокое значение F-статистики как доказательство большой практической разницы между группами, без учёта коэффициента детерминации $\eta^2$.

✅ Правильно: Отдельно оценивать статистическую значимость (через F и $p$-value) и практическую величину эффекта (через $\eta^2=SSB/SST$).

💡 Почему: При большом объёме выборки даже крошечные по величине различия между группами могут дать очень большое значение F и исчезающе малое $p$-value, при этом $\eta^2$ может оказаться близким к нулю — статистическая значимость и практическая важность эффекта отвечают на разные вопросы, точно так же как в случае критерия хи-квадрат и коэффициента Крамера.

❌ Ошибка: Применять однофакторный ANOVA к данным, где группы заметно отличаются по дисперсии (нарушено допущение о гомогенности дисперсий) или где наблюдения внутри групп зависимы друг от друга.

✅ Правильно: Перед применением классического ANOVA проверять ключевые допущения — примерное постоянство дисперсии между группами (например, тестом Левена) и независимость наблюдений; при серьёзных нарушениях использовать непараметрические аналоги (критерий Краскела — Уоллиса) или ANOVA с поправкой на неравные дисперсии (тест Уэлча).

💡 Почему: F-статистика строилась в предположении, что внутригрупповая изменчивость во всех группах оценивает одну и ту же общую дисперсию шума; если это не так, оценка $MSW$ становится смещённой усреднённой величиной, и реальный уровень ошибки первого рода перестаёт соответствовать заявленному $\alpha$.

❌ Ошибка: Формулировать вывод о незначимом результате ANOVA («$p>0{,}05$») как доказательство того, что все группы на самом деле идентичны.

✅ Правильно: Формулировать вывод как «недостаточно оснований отвергнуть гипотезу о равенстве средних», учитывая, что причиной незначимого результата может быть и небольшой объём выборки, недостаточный для обнаружения существующей, но небольшой разницы.

💡 Почему: Отсутствие статистической значимости не равнозначно доказательству равенства — это лишь означает, что имеющихся данных недостаточно для уверенного вывода о различии, что наглядно видно на примере сравнения трёх моделей градиентного бустинга по кросс-валидации в этом уроке, где отсутствие значимости не исключает существования небольшой реальной разницы.

❌ Ошибка: Забывать пересчитать число степеней свободы при переходе от равных к неравным по размеру группам, ошибочно используя формулу $df_{within}=k(n-1)$ вместо общей $df_{within}=N-k$.

✅ Правильно: Всегда считать $df_{within}=N-k$, где $N$ — суммарный (а не одинаковый на группу) объём выборки, что корректно работает как для равных, так и для неравных по размеру групп.

💡 Почему: Формула $k(n-1)$ совпадает с $N-k$ только в частном случае одинакового размера всех групп; при неравных $n_i$ использование неверной формулы даёт неправильное число степеней свободы, а значит, неверное критическое значение и потенциально противоположный вывод о значимости.

Главное запомнить

✅ ANOVA (дисперсионный анализ) проверяет одну общую нулевую гипотезу $H_0$: $\mu_1=\mu_2=\dots=\mu_k$ — равенство средних сразу в $k\ge2$ группах, вместо серии отдельных попарных тестов

✅ Серия из $m$ независимых попарных t-тестов на уровне $\alpha$ каждый даёт групповую ошибку первого рода $P=1-(1-\alpha)^m$, которая быстро растёт с числом сравнений — уже при $10$ сравнениях превышает $40\%$

✅ Общая изменчивость данных точно раскладывается на межгрупповую и внутригрупповую составляющие: $SST=SSB+SSW$, где $SSB=\sum n_i(\bar x_i-\bar x)^2$ и $SSW=\sum\sum(x_{ij}-\bar x_i)^2$

✅ Числа степеней свободы: $df_{between}=k-1$, $df_{within}=N-k$, $df_{total}=N-1$, и они тоже точно складываются: $df_{between}+df_{within}=df_{total}$

✅ F-статистика $F=\dfrac{MSB}{MSW}=\dfrac{SSB/(k-1)}{SSW/(N-k)}$ при верной $H_0$ имеет распределение Фишера $F_{k-1,\,N-k}$; большие значения F свидетельствуют против $H_0$, критическая область всегда правосторонняя

✅ Для двух групп ($k=2$) однофакторный ANOVA математически эквивалентен обычному двустороннему t-тесту: $F=t^2$, поэтому ANOVA — прямое обобщение t-теста на произвольное число групп

✅ Коэффициент детерминации $\eta^2=SSB/SST$ (аналог $R^2$ из регрессионного анализа) показывает долю общей изменчивости, объяснённую группировкой, и должен оцениваться отдельно от статистической значимости

✅ Отклонение $H_0$ по итогам ANOVA не указывает, какие именно группы отличаются друг от друга — для этого нужен отдельный пост-хок анализ с поправкой на множественность (например, критерий Тьюки)

✅ Классический ANOVA опирается на допущения о гомогенности дисперсий между группами и независимости наблюдений; при их серьёзном нарушении используют тест Уэлча или непараметрический критерий Краскела — Уоллиса

✅ В машинном обучении ANOVA — стандартный инструмент multi-armed A/B/C-тестирования: сравнение нескольких вариантов модели, признака или интерфейса одним честным тестом, избегающим проблемы множественных сравнений

Связь с другими темами курса

🔙 Откуда пришли: Из урока 249 — регрессионный анализ, где общая изменчивость целевой переменной раскладывалась на объяснённую моделью часть и остаточную часть через коэффициент детерминации $R^2$ — та же логика лежит в основе $\eta^2$ в ANOVA; из урока 248 — критерий хи-квадрат, откуда взята сама идея сравнения наблюдаемой изменчивости с ожидаемой и логика асимметричных распределений с правосторонней критической областью; из урока о проверке статистических гипотез — общая рамка $H_0$, $H_1$, уровень значимости, $p$-value, ошибки первого и второго рода.

🔜 Куда идём: Урок 250 завершает блок теории вероятностей и математической статистики этого курса. Дальше программа переходит к новому фундаментальному разделу — основам эффективности алгоритмов и структур данных, начиная со сложности алгоритмов и нотации Big O. Этот переход не случаен: прежде чем оценивать, какая модель или алгоритм статистически лучше по качеству (чем ты научился заниматься с помощью ANOVA и родственных тестов), специалисту по данным не менее важно понимать, во сколько раз тот или иной алгоритм окажется медленнее или быстрее при росте объёма данных, — оба навыка вместе формируют полную картину при выборе решения для реальной задачи.

🎯 В машинном обучении: ANOVA — стандартный статистический тест для multi-armed A/B/C-тестирования продуктовых решений (scipy.stats.f_oneway в Python — прямая реализация метода из этого урока); statsmodels.stats.anova строит полную таблицу дисперсионного анализа и поддерживает многофакторные обобщения; в разведочном анализе данных однофакторный ANOVA применяется как быстрый фильтрующий метод отбора числовых признаков против категориальной целевой переменной (sklearn.feature_selection.f_classif), симметрично дополняя критерий хи-квадрат, который годится для категориальных признаков.

Интересные факты

📌 Метод, который сегодня называют «анализом дисперсий», был придуман Рональдом Фишером не в университетской лаборатории, а на сельскохозяйственной опытной станции Ротамстед — Фишер обрабатывал десятилетия накопленных данных об урожайности разных сортов пшеницы, и именно практическая нужда сравнить сразу много вариантов агротехники подтолкнула его к разложению общей изменчивости урожая на составляющие.

📌 Название метода звучит парадоксально: ANOVA формально проверяет равенство средних, но делает это, анализируя дисперсии — отсюда и «анализ дисперсий» в названии. Разгадка в том, что сравнение двух специально сконструированных оценок дисперсии (межгрупповой и внутригрупповой) оказывается математически более удобным и обобщаемым инструментом для проверки равенства средних, чем прямое сравнение самих средних.

📌 Сама F-статистика была названа в честь Фишера не самим Фишером, а его последователем — американским статистиком Джорджем Снедекором, который в конце 1930-х годов систематизировал метод в учебнике и впервые составил подробные таблицы критических значений распределения, дав ему обозначение «F» в знак признания вклада Фишера.

📌 Помимо самого дисперсионного анализа, именно на станции Ротамстед Фишер разработал фундаментальные принципы планирования эксперимента — рандомизацию и блочный дизайн, — без которых само понятие «случайного шума», лежащее в основе внутригрупповой суммы квадратов $SSW$, попросту не было бы статистически обоснованным: без случайного распределения вариантов по экспериментальным делянкам наблюдаемые различия рисковали бы объясняться скрытыми систематическими факторами, а не случайностью.

Лайфхаки и полезные трюки

💡 Прежде чем проводить полный расчёт ANOVA вручную, быстро прикинь коэффициент детерминации $\eta^2$ по грубым прикидкам групповых средних и разброса внутри групп — если групповые средние выглядят практически одинаковыми на фоне большого внутригруппового разброса, скорее всего $H_0$ не будет отвергнута, и не стоит тратить время на длинные вычисления, чтобы убедиться в очевидном.

💡 Для быстрой проверки арифметики всегда считай $SST$ двумя независимыми способами — напрямую как сумму квадратов отклонений всех наблюдений от общего среднего и через тождество $SST=SSB+SSW$; если результаты не совпадают, где-то допущена ошибка в вычислении групповых или общего среднего.

💡 Если сравниваются ровно две группы, не нужно строить полную таблицу ANOVA — используй обычный t-тест: результат будет полностью эквивалентен ($F=t^2$), но t-тест даёт дополнительно направление эффекта (какая группа больше), которое F-статистика сама по себе не показывает.

💡 При отборе числовых признаков для задачи классификации функция sklearn.feature_selection.f_classif применяет именно однофакторный ANOVA к каждому признаку отдельно (классы целевой переменной играют роль групп) — это быстрый и дешёвый по вычислениям первый фильтр, симметричный chi2 для категориальных признаков, но пригодный только для числовых.

💡 Если после ANOVA гипотеза $H_0$ отвергнута и нужно понять, какие конкретно группы различаются, не поддавайся соблазну просто провести серию попарных t-тестов «для интереса» — сразу используй специализированный пост-хок тест (критерий Тьюки или похожий), который по конструкции контролирует групповую ошибку первого рода для всех пар сразу, а не разваливается в ту же проблему множественных сравнений, ради решения которой ты и применил ANOVA.

Дисперсионный анализ появился на пшеничных полях Ротамстеда сто лет назад ради вполне приземлённой задачи — понять, какой сорт растения даёт больший урожай, не обманываясь капризами почвы и погоды. Сегодня та же самая логика — разложить общую изменчивость на объяснённую и случайную части и сравнить их отношением, следующим распределению Фишера, — стоит за каждым вызовом f_oneway в пайплайне продуктовой аналитики, за каждым multi-armed тестом нескольких вариантов интерфейса, за каждым сравнением нескольких конфигураций модели по метрике качества. Ты теперь понимаешь, почему нельзя просто устроить забег попарных t-тестов между всеми вариантами — знаешь, как накапливается ошибка первого рода, и умеешь строить честную таблицу ANOVA от сырых чисел до финального вывода. Это завершает большой блок теории вероятностей и статистики в этом курсе: дальше тебя ждёт совершенно другая, но не менее практичная область — как оценивать эффективность самих алгоритмов, которые обрабатывают данные, прошедшие через все эти статистические тесты.