Условное математическое ожидание — это среднее значение случайной величины при выполнении некоторого условия (реализации каких-то событий). Часто в качестве условия выступает фиксированное на некотором уровне значение другой случайной величины, которая может быть связана с данной. Если эти случайные величины независимы, то условное математическое ожидание совпадает с (безусловным) математическим ожиданием.
Совместным распределением случайных величин называется набор вероятностей , где числа пробегают все возможные значения случайной величины , а числа – все возможные значения случайной величины .
Ковариация:
Ковариация обладает следующими свойствами:
Симметрична, т.е.
Однородна, т.е.
Инвариантна относительно сдвига на константу, т.е.
Корреляция:
Коэффициент корреляции обладает следующими свойствами:
Его абсолютное значение не превосходит единицы, т.е.
При независимых величинах
тогда и только тогда, когда , причём
Линейная регрессия. Статистическое оценивание. Точечные оценки. Линейность, несмещенность, эффективность и состоятельность оценок. Интервальные оценки, доверительный интервал. Метод наименьших квадратов, метод моментов и метод максимального правдоподобия.
Регрессия — способ выбрать из семейства функций ту, которая минимизирует функцию потерь. Последняя характеризует насколько сильно пробная функция отклоняется от значений в заданных точках. Если точки получены в эксперименте, они неизбежно содержат ошибку измерений, шум, поэтому разумнее требовать, чтобы функция передавала общую тенденцию, а не точно проходила через все точки. В каком-то смысле регрессия — это «интерполирующая аппроксимация»: мы хотим провести кривую как можно ближе к точкам и при этом сохранить ее максимально простой чтобы уловить общую тенденцию. За баланс между этими противоречивыми желаниями как-раз отвечает функция потерь (в английской литературе «loss function» или «cost function»).
Пусть – выборка объёма из семейства распределений . Статистикой (или точечной оценкой) параметра называется произвольная функция
являющаяся случайной величиной.
Точечные оценки считаются «хорошими», если они обладают определенными свойствами:
несмещённость (в этом случае математическое ожидание оценки совпадает с оцениваемым теоретическим параметром);
состоятельность (это означает, что для больших выборок вероятность значимых отклонений величины оценки от значения оцениваемого теоретического параметра равна нулю);
эффективность (чем меньше дисперсия оценки, тем она считается эффективнее).
ЛИНЕЙНАЯ ОЦЕНКА – линейная функция от наблюдаемых случайных величин, используемая (при подстановке в нее конкретных значений наблюденных величин) в качестве приближенного значения (оценки) неизвестного параметра анализируемой стохастической схемы.
Специальное выделение класса линейных оценок оправдано следующими обстоятельствами
Линейные оценки легче поддаются статистическому анализу, в частности исследованию на состоятельность, несмещённость, эффективность, построению соответствующих доверительных интервалов и т. п.
В то же время, в достаточно широком диапазоне случаев поиск "наилучших" (в определённом смысле) оценок не выводит за пределы класса линейных оценок
Достарыңызбен бөлісу: |