Перші (історично) постановки завдання параметричного синтезу, як задачі теорії оптимізації – це розвилка теорій Методу Найменших Квадратів і теорії задач Лінійного Программування с точки зору вирішення задачі параметр ичного синтезу.
Тема 2Витоки оптимізаційної задачі моделювання регрессий. Властивості оцінок параметрів оптимальних моделей Повторимо де що, що ми вже відмічали.
Найпростіша, перша постановка задачі МНК (побудова моделі з одним параметром) виникла з задачі теорії вимірювань: У 1800-тих роках Лаплас, Гаусс і Лежандр, кожен з яких в той час працював над теорією руху небесних тіл (теорія діф. рівнянь) не могли обійти проблеми теорії вимірювань. Їм потрібно було визначити початкові умови для систем диференційних рівнянь, котрі можуть описувати рух небесних тіл.
Завдання такої задачі: найбільш точно визначити початкові координати тіла на небосхилі за неодноразовими їх вимірами .
Лапласом було запропоновано оцінювати невідоме значення вимірюваної величини по його повторним вимірам , як таку величину , яка забезпечує мінімум функціоналу:
(*)
Виявилося, що таке значення відповідає знаходженню вибіркової емпіричної медіани - тобто такому числу , праворуч і ліворуч від якого знаходиться однакова кількість вимірювань.
Пізніше, було показано що завдання мінімізації суми модулів відхилень дуже технологічно вирішується лінійним програмуванням. Ми ці важливі формалізації розглянемо в темі 13.
Але в той час вченому спільноті більш простий і технологічною здалася ідея Гаусса і Лежандра, які для тих же умов завдання запропонували мінімізувати функціонал
(**) і запропонували технологію Методу Найменших Квадратів. Для оцінки коректності застосування МНК для розрахунку параметрів моделей запропоновано оцінювати виконання передумов і постумов методу.
Які ж передумови і постумови застосування МНК?
Запишемо їх спочатку для спрощеної версії завдання яка описана вище. Доведено що при виконанні умов 1-10 (нижче), оцінки по МНК (в тому числі і для найпростішої постановки задачі МНК) будуть спроможні, незміщені та ефективні.
