Пәнді меңгеру жөніндегі әдістемелік нұсқаулар

Информатика және ақпараттық жүйелер кафедрасы

«Қолданбалы интеллектуалды жүйелер» пәнінен 6М070300, 6N0703 – Ақпараттық жүйелер мамандықтарының магистранттарына арналған

Павлодар

Әдістемелік нұсқауларды бекіту парағы			Нысан ПМУ ҰС Н 7.18.3/41
		БЕКІТЕМІН ОІ жөніндегі проректор __________ Пфейфер Н.Э. 2012 ж. «___»___________

Құрастырушы:_________ИжАЖ кафедрасының п.ғ.к., доцент А.Ж.Асаинова

Информатика және ақпараттық жүйелер кафедрасы

«Қолданбалы интеллектуалды жүйелер» пәнінен 6М070300, 6N0703 – Ақпараттық жүйелер мамандықтарының магистранттарына арналған

Кафедра отырысында ұсынылды

201_ ж. «___» __________ , № ___ хаттама

Кафедра меңгерушісі ___________ Оспанова Н.Н. 201_ ж. «__»____

ФМжАТ факультетінің ОӘК мақұлданды.

201_ ж. «_____»______________ №____хаттама

ОӘК төрағасы __________ Искакова А.Б. 2012 ж. «____»____________

ОӘБ бастығы ____________ Жұманқұлова Е.Н.

201_ ж. «____»_____________

1-тақырып. Интеллектуалды жүйелерге кіріспе

Интеллектуалды жүйелермен шешілетін есептер. Интеллектуалды жүйелерді қолдану аймақтары. Жасанды интеллекттің қазіргі әдістері мен құралдары.

Осы уақыттан бері көптеген интеллектуалды жүйелердің (ИЖ) және жасанды интеллекттің (ЖИ) анықтамалары пайда болды. ЖИ (AI - Artificial Intelligence) терминінің өзі 1956 жылы Дартсмут колледжінде (АҚШ) семинарда ұсынылған болатын. Анықтамалардың кейбіреулерін келтірейік. Д. Люгер өзінің кітабында [2] «ЖИ зерттеулермен және орынды тәртіптің автоматизациясымен айналысатын компьютерлік ғылымдар аймағы ретінде» анықтайды.

ИЖ бойынша оқулықтарда келесі анықтама беріледі: «ЖИ – бұл информатика бағыттарының бірі, оның мақсаты бағдарламашы емес пайдаланушыға интеллектуалды деп саналатын есептерді қойып, есептеуге мүмкіндік беретін аппаратты-бағдарламалық құралдарды құру».

Информатика пәні деп белігілі заңдар бойынша ақпаратты өңдеу болып табылады.

ЖИ пәні деп, алдын-ала белгілі заңдарға бағынатын, адамның интеллектуалды әрекетін оқу. ЖИ бұл алгоритмдік әдістер көмегімен өңделе алмайтынның барлығы.

Жүйе деп бір-бірімен қатынаста болатын және себеп-салдарлық байланысты құрайтын элементтер жиынын айтамыз.

Адаптивті жүйе – бұл басқарушы объектінің, басқару мақсатының немесе қоршаған ортаның қасиеттерінің функционалдау алгоритмін ауыстыру жолымен кенеттен өзгеруі кезінде де жұмыс қабылеттілігін сақтайтын жүйе. Әдетте, адаптация әдісі бойынша өздігімен баспталатын, өздігімен оқытылатын және өздігімен ұйымдастырылатын жүйелерді ажыратамыз[4].

Алгоритм ретінде анықталған және шешіліп жатқан есепке тиімді уақытта, қазіргі ЭЕМ-де орындала алатын берілген әрекеттердің реттілігін түсінеміз.

ИЖ ретінде мақсатты әрекеттердің бағдарламаларын құруға мүмкіндік беретін адаптивті жүйені түсінеміз.

Берілген анықтамаға екі маңызды анықтама берейік:

1. 
   Шешілетін ИЖ ортасына келесі ерекшеліктері бар есептеп жатады:
   

• 
  оларда шешу алгоритмі белгілі (осындай есептерді интеллектуалды деп атаймыз);
  
• 
  сандық форматтағы дәстүрлі деректерден басқа, оларда бейне, белгі, әріптер, дыбыстар түріндегі ақпарат қолданылады;
  
• 
  оларда таңдау болады (алгоритмі жоқ болса – бұл дегеніміз анықталмағандық шарттарда көптеген нұсқалар арасында таңдау жасау керекті білдіреді).
  

2. 
   Интеллектуалды роботехникалық жүйелер (ИРЖ) құрамында сыртқы әлемнің және шынайы орындаушы жүйені басқару объектісімен орнататын моделінің айнымалысы бар. Мақсат пен басқарушы ықпал ИРЖ-да сырты орта туралы, басқару объектісі және шынайы жүйедегі жағдайларды модельдеуде білім негізінде қалыптасады.
   

Ережелермен негізделген жүйелер. Фреймдік жүйелер. Семантикалық желілер. Білімді ұсынудың логикалық құралдары. Онтологиялар.

Білім – ИЖ-нің орталықтандырылған ұғымы. Бірнеше анықтамаларды қарастырайық.

1. 
   Білім дегеніміз қоршаған ортаны және оның объектілерін тануымен алынған нәтиже.
   
2. 
   Білім – объективті заңдылықта негізделген принципиалды және біріңғай ұйымдастырылуы бар пікірлер жүйесі.
   
3. 
   Білім – бұл оған сілтеме жасайтын немесе логикалық қорытынды үрдісінде қолданылатын формалданған ақпарат. (1.1-сурет)
   
4. 
   Білім ретінде ережелер мен фактілер жиынын түсінетін боламыз. Білім фрагментін білдіретін ереже ұғымы келесі түрде болады:
   
5. 
   егер <шарт> онда <әрекет>
   

Мысалы, егер Х ақиқат және Ү ақиқат болса, онда Z Р сенімділігі бар ақиқат болады.

Білімде негізделген қорытынды

1.1-сурет. ИЖ-дегі логикалық қорытындының үрдісі

Статикалық білім ретінде ИЖ-ге жобалау кезеңінде енгізілген білімді түсінеміз. Динамикалық білім ретінде ИЖ-ге уақыттың шынайы масштабында жұмыс немес орындалу үрдісінде алынған білімді түсінеміз.

Білімді фактілер және ережелерге бөлуге болады. Фактілер деп «А дегеніміз А» типті білімді түсінеміз, олар деректер қорына тиесілі. Ережелер ретінде «ЕГЕР-ОНДА» типті білімді түсінеміз. Осы білімдерден басқа, метабілім (білім туралы білім) деген түсінік бар. Білімді ұсынуға арналған өнімдік жүйелердің құрылуы компьютерлік бағдарламадағы білім мен басқаруды бөлуге, өнімдік ережелердің модульдылығын қамтамасыз етуіне, яғни ережелер арасында синтаксистік өзара байланысы жоқтығын көрсетуге жол берді.

Білімді ұсыну модельдерін құру кезінде ұсынудың бңртектілігін және түсінудің қарапайымдылығы сияқты факторларды ескеру керек. Осы талапты орындау күрделі және қарапайым есептерде өте қиын.

Білімді алу әдістері, білім инженериясы. Эксперттік жүйенің құрылымы, эксперттік жүйелер мысалдары. Өнімдік эксперттік жүйедегі өнімдер, нәтижені басқару қағидасы. Нәтижелерді шығарудың шыңдыққа ұқсастығы бағасының дәрежесі. CLIPS бағдарламалау тілі – эксперттік жүйелерді құруға арналған тіл. CLIPS тілінде қарапайым эксперттік жүйені құру.

ЖИ әдістері автоматты кеңес беретін жүйелерді құру кезінде қолданыс тапты. 1968 жылға дейін ЖИ саласындағы зерттеушілер комбинаториканы қарапайымдылау ортақ негізі ретіне жұмыс істеді.

70-жылдардың басында сапалы ілгері қадам жүргізілді және сәйкес салада терең білім керек және эксперттен алынатын деректерден білімді ерекшелеу керек туралы түсінік келді. Эксперттік жүйелер, немесе білімде негізделген жүйелер пайда болады.

DENDRAL ЭЖ (60-жылдар ортасы, Стэнфорд университеті) масс-спектрографикалық талдаудың деректерін шифрдан шығарды.

MYCIN ЭЖ (70-жылдар ортасы, Стэнфорд университеті) қанның инфекциялық аурулары кезінде диагноз қойды.

PROSPECTOR ЭЖ (1974-1983 жылдар, Стэнфорд университеті) пайдалы қазбаларды тауып отырды.

SOPHIE ЭЖ электрлік тізбектердегі ақаулықтарды диагностикалауға оқытты.

XCON ЭЖ DEC фирмасының VAX жүйелері үшін құралдарды конфигурациялауға көмектесті.

PALLADIO ЭЖ ИЖЖБ-сұлбаларын жобалауға және тестілеуге көмектесті.

JUDITH ЭЖ азаматтық істер бойынша мамандарға көмектеседі және заңгермен бірігіп және оның сөздерінен істің фактілік және заңды нәтижелерін менгереді, содан соң істің шешілуіне түрлі нұсқаларды қарастыруға ұсынады.

LRS ЭЖ вексельдер және чектермен байланысты кредиттік-ақшалық заңнама саласында заңды актілер және сот шешімдерінің талдауында көмек көрсетеді.

Құрылған ЭЖ тізімін өте ұзақ атауға болады. Мыңдаған жұмыс істеп жатқан эксперттік жүйелер енгізілген.

ЭЖ құруға арналған саймандық құралдарды жасау тұрақты жүргізіледі.

Разработка инструментальных средств для создания ЭС ведется постоянно. Пролог тілі (1975-79 жылдары) ЭЖ-ді құрудың негізгі құралдарының бірі болып келеді. CLIPS тілі (C Language Integrated Production System) 1984 жылы Джонсон NASA космостық орталығында құрыла бастады. CLIPS тілі LISP тілінде негізделген ЭЖ құрудың алдыңғы құралдарындағы кемшіліктерден босатылған. EXSYS құралы пайда болады, ол 90-жылдардың басында ЭЖ құрудағы көшбасшылардың бірі. ХХІ ғасыр басында интеллектуалды агенттер теориясы және олардың негізіндегі эксперттік жүйелер пайда болады. Web-бағытталған құрал JESS (Java Expert System Shell), CLIPS білімді ұсыну тілін қолданады, қазіргі кезде өте танымал. Отандық құралдық орталар ішінде АТ-ТЕХНОЛОГИЯ кешеңінің нұсқасын атап өту керек, ол МИФИ Кибернетика кафедрасында құрылды. Бұл кешеңде бүкіл қолданбалы логика бар.

4 тақырып. Нақты емес енгізу жүйелері

Айқын емес жиын. Меншіктік функция. Айқын емес жиындармен операциялар жасау. Айқын емес қатынас. Айқын емес сандар. Айқын емес логика. t-нормалар, s-нормалар. Лингвистикалық айнымалылар, лингвистикалық термалар. Айқын емес шығару жүйесінің құрылымы және жұмыс алгоритмі. Дефаззификация әдістері. Айқын емес шығару жүйелерінің түрлілігі. Айқын емес шығару жүйелерін құрылымдау (құралдық ортада және әмбебаб бағдарламалау тілі көмегімен).

Биологиялық нейрон. Жасанды нейронның анықтамасы. Жасанды нейронның түрлендіру функцияларының түрлілігі. Жасанды нейрондық желілердің топологиясы. «Немесе» алып тастау мәселесі. Нейрондық желілерді оқыту. Қатенің кері таралу алгоритмі. Кері байланысы бар желілер. Хопфилд және Хэмминг желілері. Жасанды нейрондық желіні құру (құралдық ортада және әмбебаб бағдарламалау тілі көмегімен).

Соңғы онжылдықтаррда әлемде жасанды нейрондық жүйеде (НЖ) маманданған математиканың жаңа қолданбалы саласы қарқынды дамуда. Осы бағыттағы зерттеулердің көкейкесітіг НЖ түрлі қолданысы дәлел. Бұл бейнелерді тану үрдістерінің автоматтандырылуы, функционалдардың апроксимациясы, болжалулар, эксперттік жүйелерді құру, ассоциативті жадыны ұйымдастыру және де басқа көптеген қосымшалар. НЖ көмегімен мысалы, баржы нарығының көрсеткіштерін, оптикалық немесе дыбыстық сигналдардың танылуын, паркілеу кезінде автомашинаны басқару мүмкіндігі болатындай немесе мәтін бойынша сөздерді синтездеуге болатын өздігімен оқыту жүйелерін құруға болады. Батыста НЖ қолданылуы кең тараған болса, бізде бұл жүйелер сирек кездеседі.

НЖ шешетін есептердің кең шеңбері әмбебаб, күшті желілерді құруға мүмкіндік жасамайды, олар түрлі алгоритм бойынша жұмыс істейтін арнайы НЖ құруын талап етеді.

НЖ модельдері бағдарламалық және аппараттық орындалуда бола алады. Ары қарай бірінші тип жайлы сөз қоғзаймыз.

Әртүрлігіне қарамастан, НЖ-нің жеке типтерінің бірнеше ортақ белгілері бар.

Біріншіден, әрбір НЖ негізін қарапайым, көптеген жағдайларда – біртипті элементтер (ұяшықтар) құрайды, олар ми жұмысын имитациялайды. Ары қарай нейрон ретінде жасанды нейронды, яғни НЖ ұяшығын ұғатын боламыз. Әрбір нейрон бастың миынадағы жасушаларына ұқсас жағдайымен сипатталады, олар белсенді немесе тежеулі болуы мүмкін. Оның құрамында синапстар тобы – басқа нейрондардың шығысымен қосылған бірбағытты кіріс байланыстары, сонымен қатар аксоны – берілген нейронның сигнал келесі нейрондардың синапстарына келесін шығыс байланысы. Нерйронның жалпы түрі 1-суретте келтірілген.

1-сурет. Жасанды интеллект

Әрбір синапс синаптикалық байланыс өлшемдігімен немесе оның w_i салмағымен сипатталады, ол физикалық мағына бойынша электрлік өткізгішке эвивалентті.

Нейронның ағымды қалпы оның кірістерінің таразыланған соммасы ретінде анықталады:

Нейрон шығысы оның қалпының функциясы болып табылады:

f сызықтық емес функциясы белсендіруші деп аталады және 2-суретте көрсетілгендей түрлі фордама болады. Кең таралғандардың бірі қанығуы бар сызықтық емес функция болып табылады, ол логистикалық функция немесе сигмоид (яғни S-бейне түріндегі функция) деп аталады [2]:

Кішірейту кезінде  сигмоид =0 болған шегінде 0,5 деңгейінде көлдеңнен сызыққа айналып, едәуір жазық болады, арттырған кезде  сигмоид x=0 нүктесінде Т басты мәнімен сыртқы түрі бойынша бірлік қадам функциясына жақындайды.

2-сурет. а) бірлік қадам функциясы; б) сызықтық бастапқы мән (гис­те­ре­зис); в) сигмоид – гипрболалық тангенс; г) сигмоид – фор­мула (3)

Сигмоидтық функция абсциссалардың бүкіл осінде диффренциалданады, ол оқытудың кейбір алгоритмдерінде қолданылады. Осыдан басқа ол әлсіз сигналдарды, үлкендерден қарағанда жақсырақ күшейтеді, және үлкен сигналдардар қанығуларды тоқтатады, себебі олар сигмоид көлбеу жазық болғанда, аргументтер аймағына сәйкес келеді.

3-сурет. Бірқабатты перцептрон

Қарапайым НЖ мысалы ретінде үшнейронды перцептронды, яғни бірлік қадам* түріндегі активационды функциясы бар желіні қарастырайық (3-сур). n кіріске кейбір сигналдар келіп түседі, олар синапс бойынша 3 нейронға келіп түседі, олар осы НЖ-нің бір қабатын құрайды және үш шығыс сигналды қайтарады:

мұнда Х және Ү – сәкесінше кіріс және шығыс сигналдық векторлар, F( V) – элементтеп V векторының компоненттеріне қолданылатын активациялық функция.

Теориялық тұрғыда, әрбір қабаттағы қабаттар саны және нейрондар саны өздігімен берілуі мүмкін, бірақ іс жүзінде ол компьютер немесе арнайы микросхема ресурстарымен шектелген. НЖ неғұрлім күрделі болса, соғұрлым есептер масштабты болады.

НЖ құрылымын таңдау есеп ерекшеліктері мен күрделілігіне сәйкес орындалады. Кейбір, жеке типтегі есептерді шешу үшін бүгінде оптималды конфигурациялар бар, олар [2],[3],[4] бейнеленген. Егер есеп белгілі типтердің біреуіне де келтірілмесе, онда құрылымдаушыға жаңа конфигурацияның синтез мәселесін шешу керек. Осымен ол бірнеше принциптерге сүйенеді: желінің ұяшықтар саны, олар арасындағы байланыс тығыздығы және бөлінген қабат саны өскен сайын желі мүмкіндігі де өседі; желінің мүмкіндіктері артқан сайын, желінің динамикалық тұрақтылығы туралы сұрақ туындайды; желі функционалдауының алгоритмдерінің күрделілігі НЖ қуаттылығына әсер етеді.

НЖ функционалдау үрдісі, яғни әрекеттердің мәнділігі синаптикалық байланыстарға байланысты, сондықтан қандай да бір есепке жауап беретін НЖ белгілі құрылымын беріп, желі құрылымдаушысы барлық салмақтық коэффициенттерінің оптималды мәнін табуы керек.

Осы кезең НЖ оқытылу кезеңі деп аталады. Осы кезең қаншалықты сапалы жасалынса, соншалықты желі мүмкіндігі оған қойылған талаптарды орындай алады. Оқытылу кезеңінде салмақтың сапа параметрлерін таңдаудан басқа, оқытылу уақыты да маңызды рөл атқарады. Әдетте, осы екі параметрлер кері тәуелділікпен байланысты және оларды компромисс негізінде таңдау керек.

НЖ оқытылуы оқытушымен немесе онсыз да жүргізілуі мүмкін. Алғашқы желілер жағдайында кіріс те, дұрыс шығыс сигналдардың да мәндері беріледі, және ол кейбір ішкі алгоритм бойынша өзінің синаптикалық байланыстарының таразыларын келтіреді. Екінші жағдайда НЖ шығыстары өздігімен қалыптасады, ал таразылары кіріс және өздігімен сигналдардың алгоритмі бойынша өзгереді.

Оқытылудың көптеген алгоритмдері бар, олар екі үлкен классқа: детерминацияланған және стохастикалық бөлінеді. Олардың біріншісінде таразының құрылуы әрекеттердің қатаң реттілігін құрайды, екіншісінде – ол кейбір кездейсоқ үрдіске бағынатын әрекеттер негізінде орындалады.

Сонымен қатар, бинарлық және аналогтық желілерді атап өту керек. Олардың алғашқысы екілік сигналдармен операцияларды жасайды, және әрбір нейронның шығысы тек екі мәнді: логикалық нөл және логикалық бірді қабылдай алады. Желінің осы классына жоғарыда қарастырылған перцептрон да жатады. Осындай желілерде нейрондардың шығыс мәндері үздіксіз мәндерді қабылдай алады.

Тағы да бір классификация НЖ-ні синхронды және асинхрондыға бөледі[3]. Бірінші жағдайда әрбір уақыт моментінде тек бір нейрон ғана өзгертеді. Екінші жағдайда – бір топ нейронның қалпы бірден өзгереді. НЖ-дегі уақыттың алгоритмдік өтуі нейрондармен біртиптік итерациялық әрекеттер орындалуымен беріледі. Ары қарай синхронды НЖ қарастырылады.

4-сурет. Екіқабатты перцептрон

Мұнда активациялық функцияның сызықтық еместігін атап өткен маңызды, себебі оның осы қасиеті болмаса немесе әрбір нейронның жұмыс тәртібіне кірмесе, W⁽ⁱ⁾, i=1,2,...p салмақтық матрицасы бар р-қабатты НЖ функционалдау нәтижесі әрбір і қабат үшін Х кіріс сигналының келесі матрицаға көбейтілуіне келтірілуші еді:

яғни р-қабатты НЖ бірқабатты W^() бір ғана қабаттың НЖ-ге эквивалентті:

Сызықтық еместік туралы әңгімені жалғастыра отырып, ол кейде синаптикалық байланыста енгізіле алатынын атап өтуге болады. Көптеген танымал НЖ нейронның кіріс сандарының соммасын табу үшін қолданылады, бірақ нейбір НЖ қосымшаларында басқа жазбаны енгізуге пайдалы. Мысалы:

Немесе тіпті

Осындай ауытқу нейрондар қабатына әрбір нейронның қосымша синапсты тудыратын, мәні әрқашан 1-ге тең болатын тағы бір кіруді қосу кезінде енгізіледі. Осы кіріске 0 нөмірін меңшіктейміз. Онда

мұнда w₀ = –T, x₀ = 1.

(1) және (12) формулалардың әртүрлілігі кірістерді нөмірлеу тәсілінде тұрады.

2-суретте бейнеленген барлық активациялық функциялардан, бірі ерекшеленеді. Бұл гиперболалық тангенс, оның тәуелділігі Х осіне симметриялық және [-1,1] диапазонында жатыр.

5-сурет. Бірнейрондық перцептрон

О
1-кесте

Сызықтың теңдеуі болып табылады, ол ешқандай шарттарда жазықтықты кіріс сигналдардың жиынындағы нүктелер әртүрлі класстарға жататындай етіп бөле алмайды (6-суретті қара).

1-кестені қарасақ, берілген класстарға бөлу кіріс сигналдар үшін НЕМСЕні алып тастайтын логикалық функцияны орындайды.Осы функцияның бірқабатты перцептронмен орныдала алмауы алынып тасталатын НЕМЕСЕ атауын алды.




6 сурет. 5-суреттегі НЖ жұмысының визуалды ұсынылуы
Бірқабатты желімен орындалмайтын функциялар сызықты бөлінетіндер деп аталады [2]. Осы шектеулікке кіретін есептерді шешу сызықтық емес синапстары бар 2 немесе одан да көп қабатты желілерді қолдануда негізделеді.

Енді біз НЖ оқыту сұрғын толығырақ қарастыра аламыз, ең алдымен – 3-суреттегі перцептрон мысалында.

Оқытушымен оқыту алгоритмін қарастырайық [2][4].

1. Салмақтық матрицаның элементтерін инициализациялау.

2. Кірістерге кіріс векторлардың бірін беру, оларды желі ажырата білуді үйрену керек, және оның шығысын есептеу.

3. Егер шығыс дұрыс болса, 4-қадамға көші.

Әйтпесе шығыстың идеалды және алынған мәндер арасындағы айырман есептеу:

Салмақтарды формулаға сай түрлендіру:

мұнда t және t+1 – ағымды және келесі итерацияның нөмірлері;  – оқыту жылдамдығының коэффициенті, 0<Ј1; i – кіріс нөмірі; j – қабаттағы нейрон нөмірі.

Егер Y_I > Y салмақтық коэффициенттер арттырылса, қателікті азайтады. Керісінше жағдайда олар кемиді, және Ү те кемиді және Y_I жақындайды.

4. 2-қадамдағы цикл, желі қателесуді жалғастырады.

Екінші қадамда түрлі итерацияларда рет бойынша кездейсоқ ретілікпен вектордың барлық мүмкін кірістері ұсынылады. Итерация санын алдын-ала анықтауға болмайды.

Нейрондық желілердің түрлі құрылымы ішінде көпқабатты құрылым танымал болып келеді. Ондағы әрбір еркін қабаттың нейроныалдынғы қабаттағы барлық аксондармен байланысты. Осындай НЖ толық байланысқан деп аталады. Желіде тек бір қабат болғанда, оны мұғаліммен оқыту алгоритмі белгілі, себебі бір ғана қабаттың нейрондарының дұрыс шығыс қалыптары белгілі. Осы принцип бойынша бірқабатты перцептронды оқыту алгоритмі құралады [1].

Көпқабатты желілерде нейрондардың оптималды шығыс мәндері, соңғысынан басқасы белгісіз, және екі және одан да көп қабатты перцептрон НЖ шығыстарымен жетекшеленіп оқытыла алмайды. Осы мәселені шешудің бір нұсқасы – кірістерге сәйкес келетін шығыс сигналдар жиынын құру. Екінші нұсқа – синапстардың барлық коэффициенттерінің динамикалық құру. Үшінші, ең тиімді нұсқа – НЖ шығуларынан кірістеріне қарай қателік сигналдарының таралуы. Осы НЖ оқыту алгоритмі кері таралу процедурасының атауын алды.

Ең кіші квадраттар әдісіне сәйкес, НЖ-нің минимизацияланған мақсаттық функциясы келесі өлшем болады:

мұнда – оның кірісіне р-бейнені беру кезіндегі N нейрондық желінің j нейрон қалпының шынайы қалпы; d_jp – осы нейронның иделады қалпы.

Қосындысы шығыс қабаттың барлық нейрондары бойынша жүргізіледі. Минимизация градиенттік түсу әдісімен орындалады, ол салмақтық коэффициенттерді келесі түрде орнатуды білдіреді:

(2)

Мұнда w_ij – n-1 қабаттың і-ші нейронын n қабатының нейронымен біріктіретін синаптикалық байланыстың салмақтық коэффициенті,  - оқыту жылдамдығының коэффициенті, 0<<1.

[2] –де көрсетілгендей.

Мұнда y_j ретінде j нейронның шығысын айтамыз, ал s_j – оның кіріс сигналдарының салмақтанған қосындысы, яғни активациялық функцияның аргументі. dy_j/ds_j көбейткіші осы функцияның аргументі бойынша туындысы болып табылады, осыдан активациялық функцияның туындысы абсциссалардың бүкіл осінде анықталған болуы керектігі шығады. Осыған байланысты бірлік қадам функциясы және бірмүшелігі бар басқа да активациялық функциялар қарастырылып жатқан НЖ-ге тән келмейді. Оларда гиперболалық тангенс немесе классикалық сигмоид сияқты тегіс функциялар қолданылады.

Гиперболалық тангенс жағдайында

Үшінші s_j/w_ij көбейткіші y_i^(n-1) алдыңғы қабаттың нейрон шығысына тең.

1. Барсегян А.А. Технология анализа данных: Data Mining, Visual Mining, Text Mining, OLAP/ А.А.Барсегян, М.С.Куприянов, В.В.Степаненко, И.И.Холод.— 2-е изд. перераб. и доп. – Спб.: БХВ-Петербург, 2007.— 384 с.: ил.

2. Вагин В.Н. Дедукция и обобщение в системах принятия решений. – М.: Наука, 1988.— 384 с.

3. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. – СПб: Питер, 2000.— 384 с.: ил.

4. Джексон П. Введение в экспертные системы.: Пер. с англ. Уч. пос. – М.: Издательский дом «Вильямс», 2001.— 624 с.: ил.

5. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.— М.: Горячая линия–Телеком, 2001.— 382 с.: ил.

6. Круглов В.В., Дли М.Н., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети: Учеб. пособие. – М.: Издательство физико-математической литературы, 2001.— 224 с.: ил.

7. Финн В.К. Правдоподобные выводы и правдоподобные рассуждения // Итоги науки и техники. Сер. Теория вероятностей. Математическая статистика. 8. Теоретическая кибернетика. – М.: ВИНИТИ, 1988, Т. 28, с. 3–84.

8. Частиков А. П., Гаврилова Т.А., Белов Д. Л. Разработка экспертных систем. Среда CLIPS. – Спб. БХВ-Петербург, 2003.— 608 с.: ил.

9. Ярушкина Н.Г. Основы теории нечетких и гибридных систем.: Учеб. пособие.— М.: Финансы и статистика, 2004. – 320 с.: ил.

10. Автоматическое порождение гипотез в интеллектуальных системах // Сост. Е.С.Панкратова, В.К.Финн., Под. общ. ред. В.К.Финна.. – М.: Книжный дом «ЛИБРОКОМ». 2009. — 528 с.

11. Вагин В.Н., Головина Е.Ю., Загорянская А.А., Фомина М.В. Достоверный и правдоподобный вывод в интеллектуальных системах. – М.: Физматлит., 2004

12. Гаек П., Гаврвнек Т. Автоматическое образование гипотез: математические основы общей теории: Пер. с англ. – М.: Наука, 1983.— 277 с.

13. Джарратано Дж. Райли Г. Экспертные системы: принципы разработки и программирование 4-е изд. Пер. с англ. – М.: Издательский дом «Вильямс», 2006.— 1152 с.: ил.

14. Джонс М.Т. Программирование искусственного интеллекта в приложениях: пер. с англ. – М.: ДМК Пресс, 2004.— 312 с.: ил.

15. ДСМ-метод автоматического порождения гипотез. Логические и эпистемологические основания // Сост. О.М.Аншаков, Е.Ф.Фабриканова, Под. общ. ред. О.М.Аншакова. – М.: Книжный дом «ЛИБРОКОМ». 2009. — 432 с.

16. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике: Пер. с фр. – М.: Радио и связь, 1990.— 288 с.: ил.

17. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений: Пер. с англ. – М.: Мир, 1976.— 168 с.: ил.

18. Кузнецов С.О. Введение в ДСМ-метод // Семиотика и информатика.—1990.— Вып. 31.— с. 3–40.