Методы построения моделей и оценки их качества

Методы построения моделей и оценки их качества.

В основе логистической регрессии лежит так называемая логистическая функция (сигмоид), которая всегда принимает значения от 0 до 1 и имеет следующий вид:



где _, θ и x – вектор-столбцы значений коэффициентов регрессии (θ₁, … ,θ_m) и независимых переменных (x₁, …, x_m).

Для подбора коэффициентов регрессии (θ₁, … ,θ_m) вводится следующая функция штрафа, которую необходимо минимизировать:

где

Принимая во внимание, что y всегда равняется либо 0, либо 1

Таким образом, функция штрафа принимает следующий вид:

Кроме обычной логистической регрессии также применяется логистическая регрессия с регуляризацией. Данный метод применяется для уменьшения эффекта переобучения и заключается в том, что вектор параметров θ рассматривается как случайный вектор с некоторой заданной плотностью распределения. В случае логистической регрессии с регуляризацией функция штрафов принимает следующий вид:

где λ – параметр регуляризации.

Наша цель – по-прежнему минимизация данной функции штрафа относительно вектора параметров θ. С увеличением значений параметров регрессии, значение функции штрафов также будет увеличиваться.
Метод скользящего контроля.



Для тестирования моделей в данной работе используется метод скользящего контроля¹⁵. Метод скользящего контроля заключается в следующем. Исходная выборка делится на две подвыборки: обучающую и контрольную. По обучающей подвыборке происходит построение модели, после чего средняя ошибка модели оценивается с помощью контрольной подвыборки. Иными словами, по обучающей подвыборке строится модель, а затем с помощью данных из контрольной подвыборки проверяется, насколько верно данная модель способна предсказывать результат на новых данных, не использованных для ее построения. Существует несколько разновидностей скользящего контроля. Вследствие малого размера выборки во избежание ее дальнейшего уменьшения в данной работе используется контроль по отдельным объектам (leave-one-out CV). Данная разновидность метода скользящего контроля в качестве контрольной подвыборки использует одно наблюдение. То есть, если выборка состоит из N наблюдений, данный метод предполагает построение модели по N – 1 наблюдению и тестирование модели на оставшейся переменной. Такое перестроение модели повторяется N раз.

Оценка качества построенной модели.
Для оценки качества построенной модели в данной работе используется метод кривой ошибок или ROC-кривой¹⁶ (receiver operating characteristic, операционная характеристика приемника). Это график, позволяющий оценить качество бинарной классификации. В данном конкретном случае этот график будет отображать долю верно определенных дефолтных облигаций в зависимости от доли неверно определенных дефолтных облигаций при последовательном рассмотрении каждого элемента выборки.

Для построения кривой ошибок сделаем предположение, что определение облигации как дефолтной – это положительный исход. Мы можем составить таблицу сопряженности, отображающую соотношение определенных моделью и фактических исходов.

• 
  TP (True Positives) – верно классифицированные дефолтные облигации;
  
• 
  TN (True Negatives) – верно классифицированные недефолтные облигации;
  
• 
  FN (False Negatives) – дефолтные облигации, классифицированные как недефолтные (ошибка I рода);
  
• 
  FP (False Positives) – недефолтные облигации, классифицированные как дефолтные (ошибка II рода).
  

Для построения ROC-кривой используются не абсолютные показатели, а относительные:

• 
  Доля истинно положительных исходов (True Positives Rate):
  



• 
  Доля ложноположительных исходов (False Positives Rate):
  



А также специфичность (specifity) – доля истинно отрицательных исходов, определенных моделью:

• 
  При последовательном добавлении каждого следующего параметра в выборке считаются значения чувствительности Se и специфичности Sp.
  
• 
  Строится график зависимости: по оси Y откладывается чувствительность Se, по оси X – (100 – Sp), или, что то же самое FPR.