Уровень значимости — это вероятность, с которой значение параметра не попадает в доверительный интервал.
Уровень доверия — это вероятность того, что доверительный интервал накрывает значение параметра.
Уровнем значимости критерия называют вероятность ошибки первого рода :
Итак, уровень значимости критерия – это вероятность того, что выборка попадает в критическую область в условиях того, что верна гипотеза .
Мощностью критерия называют , то есть
Итак, мощность критерия – это вероятность того, что выборка попадет в критическую область при условиях того, что верна гипотеза .
Критерии согласия
Критериями согласия обычно называют критерии, предназначенные для проверки простой гипотезы при сложной альтернативе .
Одна из самых важных задач – по выборке определить распределение генеральной совокупности . Критерий Колмогорова ипозволяет это сделать в случае, когда функция распределения генеральной совокупности непрерывна.
Теорема Колмогорова:
Пусть – выборка из генеральной совокупности с непрерывной функцией распределения . Тогда для эмпирической функции распределения выполняется
где случайная величина имеет распределение Колмогорова с функцией распределения
Кроме критерия Колмогорова, часто используют критерий Пирсона как для проверки параметрической, так и непараметрической гипотез.
Критерий согласия Пирсона проверяет значимость расхождения эмпирических (наблюдаемых) и теоретических (ожидаемых) частот.
Точность, полнота
Точность (precision) и полнота (recall) являются метриками которые используются при оценке большей части алгоритмов извлечения информации. Иногда они используются сами по себе, иногда в качестве базиса для производных метрик, таких как F-мера или R-Precision. Суть точности и полноты очень проста.
|
