автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.09, диссертация на тему: Нейронные комплексы в нейроподобных сетях, ориентированных на решение задач искусственного интеллекта
Автореферат диссертации по теме "Нейронные комплексы в нейроподобных сетях, ориентированных на решение задач искусственного интеллекта"
Национальна академю наук Украши 1нститут юбернетики ¡мен! В. М. Глушкова
На правах рукопису
БАЙДИК Тетяна МиколаУвна
НЕЙРОНН1 КОМПЛЕКСЫ В НЕЙРОПОД1БНИХ С1ТКАХ, ОР16НТОВАНИХ НА ВИР1ШЕННЯ ЗАДАЧ ШТУЧНОГО 1НТЕЛЕКТУ
05.13.09 — управлгння в бюлопчних 1 медичних системах (включаючн застосування обчислювальноУ техшки)
Автореферат дисертацм на здобуття наукового ступеня доктора техжчних наук
Днсерташ'ею е рукопис.
Росота впконана в 1нститул' к1бериетики ¡м. В. М. Глушкова HAH Укра'шн.
Науков1" консультанта: акадс.чпк АН УкраУни
АМОСОВ Микола Михайлович,
доктор техшчних наук КУССУЛЬ Ер нет Михайлович.
Офщппп опонснти: доктор техшчних наук, професор ВАСИЛЬбВ Володимир 1ванович,
доктор техшчних наук, професор ГЛАДЛН Шктор Полп-сарпович,
доктор техшчних наук
РОСЬ Анатолий Олександрович. .
Провцша оргашзащя: Доненькин шстнтут проблем штучного ¡нтелскту HAH УкраУни та Мжктерства ocBiTH Укра1ни.
готиш на зааданш снет'ал1зованоУ вчсноУ ради Д 016.45.05 при 1нститут1 KiCepHCTiiKH ¡меш В. М. Глушкова HAH УкраУ-нн за адресою:
252850, Кшв МСД 22, проспект Акадсмжа Глушкова, 40.
3 диссрташею можна ознайомитнся в науково-техшчному apxißi шституту.
Автореферат розюланнн «-» —f-
Вчений секретар епещал;зовано1 ичсноУ ради
ЗАТАЮ НА характеристика ровоти АКТУАЛЬЩСТЬ теш. Остаине десятир!ччя характеризуемся впроваджанняи у piarn гадуз1 мауки i технзки розробок, то пов'я-зан! з системами штучного 1нтелекту: В1д розл!знавання образiв до розробок експертних систем. Iтелекс/ал1зац!я р!зних лрограмних аасоб1в обробки тформацп, розширення 1 вдосконадення ыожл/чос-?ей язаемодп лодши а комп'ютером, розробка систем мультишдт а роавинутими лздскстемами техяшного зору, слуху, В1Дтаорення ih-форташ I. а такоя введения 1н<£ориацп в ЕОМ га дспомого» пера -все це лотребуе нових. по мохяивост! ушверсалыик засоб1в s;;pj-юення задач штучного 1нтелекту. Еагато досл1дник1в пов'язуоть перспективи розробки тагах систем а нейросзтьоЕЮ,! подходом.
Амосовим М.М. та йсго школою роароблено Шдх1д до створення нейронних citok, як! мояуть бути використан! для вир!гиення шиго-кого кода ¿адач штучного 1 нтелекту. Так1 штучш нейронн1 citkm маюгь iepapxiчну структуру. Головна ос Зливзсть полагав в тому, цз будь-який елемен? 1нформзцн в таких атках репрезентуеться не окре мим нейроном, а множиао» нейрон>в, як! виконуюп сшльну функцт Таку мнолмну нейрон 1 в ми назвали нейронном комплексом. Репреаеитац1я 1н$срмац1 г га доломогою нейронних комплекса мае переваги а точки эору штучного 1нтелекту через те, да нейронна С1тка яевного роашру дозваляе залам'ятата 61дьяй 1яформацзйяих елеиент1В. hi* К1льк1сть яейрон1в. Використання нейронних комплекса дозволяв збер1гати лод1бн!сть об'ектзв на ьах р1внях iepapxi i. В системах штучного 1нтелекту, побудованих за 4им принципом, з'явиться можлив!сть широкого використання аналог 1й. -Здат-Я1сть до використання аналог1я е одн1ею з гологних в1дшнностей лрироднього ттелекту в1д штучного 1 стримуе лодальший розвиток систем штучного 1нтелекту.
Властивост1 нейронних комплекс 1 в i можливоет1 ix використання в системах штучного 1нтедекту практично не досл1джен1. lap'-шенню цих питань ярисвячена дисертащя. Актуальнють робот и полагав в тому, да вона вирниуе коло питань, пов'язаних з важливою та малодосл1дженою проблемою в галуг! створення нейростових систем штучного ттелекту.
МЕТА роботш досд1дження властивостей нейронних комплекса Та мождивостей ix використання в нейронних елках, ор!ентованих на вириаення задач штучного 1нтелекту.
• Для ¿^сягнення met мети шгшбно вир1ашти так! задач!:
1. Проанашаува- i проблели отучиого ттелекту i ыдалити т. в них, hkí i лзда роза'на а? и без допоют яейронккх cítok.
2. <\ ,рмужшати вишгя до аейронних cítok, eki сризначен: для розв'яаанля оаяач&иих яробдеы.
3. Лцтити яарспйктиви використання иейрошшх cítok, • сиувааня яких базуеться на яейрояних комплексах.
L Доел! д>ггг. етру-сгуру hí 2ро:ших комплекс! в. Треба В1дштя ти, до нейрона! ¡сомплекси, як1 приЯиаигь упасть у ио:. ..редк1Я i >■ робш тфэршцп. ¡.-ахзтъ пор1внано просту структуру, а нейронн комплекс..;. jcorpi фэркуххгься в ироцес: навчанйя (гаге аван! нейрон «1 ашамбл!), маетъ бзльш складну структуру i шдуть сгиадатася ядра í ( йроми. Тому особлива у^ата повинна првдлятяся досл!д якнн» структура нейрояиих ансамблгв.
5. РсзроСитк i досд1дити Kosi способа кодуваншг 'нформащ для вводу t í у нейронн! ciTir-'. b\j£po6:rrii нейрояш citkíi а заре псаю етруотурою Des авчання ("уроджекГ' структура) для peaaiaa ui? i^oro кодуванпя. Роаробити нейрош» чласяф1катори, ski вило ристову/агь щ способа кодуваяня.
6. Виконаги експер!шеиталья1 рс 'оти з перев! ргч характерце ту,к Htiipоннлх !саас1!ф1иатор!в i пор!вняти íx э 1сну»шши иейроняи ш i вь* Пиями т -адишйними кяасий! кагорами.
7. Еизначити 1НформаЦ1йа/ wjctkjctí .чейроня^ cítok яри фэр »r'Eainii як аясамбл1в з простоя однор; дно» структурою, так i пр формувашп ансамблзв а ядром 1 бахромоя
8. Адат/вати ыетсди еволххийно* оятишзаци до в1дбору ih формативлих оанак в задачах роашзиаваяня образ5в за дояоаого нейр0С1ТЬ0ВИХ систем.
а. Розрсбити П1дходи до розв'яаання аадач розтзнаванкя об paais ва дошмогою нейроиннх cítok.
10. ''рододелшати i досд!дкти моду льну (яеповнозв'яану структуру нейроиних cítok, я!са догволяе зыенши.и дотр1бн1 обсяг пам'ят1 пор1вняяо а гзовйоав'язшиы £йрошшш соками, атаке ощнити ИВИДКОД1И модульних структур. Пор1вняти заярлюноваш ¡ПДХ1Д si стохастичним методом яобудови неповнозв' язних структур
11. Розвинути алгоритм! чау шву опису afiom ативш проектш них нвРроиних CÍTOK.
12. Сфрмулговати вимогя до а. дратних аасоб1в тдтртсси заг ропояоваяих нейронних l^tuí.
Еперпа досд! дямп •■■паетивостз яейрояних комлдегалв. як! реп-резентуеть 1нфорьг и» 2 штучнях нейрояяих сутках.
Еаерва грсаяадззовано -шив вчугришьо* с?р"чтури нейрошшх ансагбл-з. як1 сгигадаэться з ядра , бахроыи. аа тформашяиу шсткють нгйроншн сзток.
Розвинено 1 „роанал 1 зоЕгно апарат асоц1а?ИЕНо-проегаивши нэйрсдашх С1-ГСК 1 слособя його реапгацп Оерарх1чя1 асощ .гиз-яо-лроективя! яейроан сики 1 модуяья! нейрогш штки). Проведено шделгаання ыодульяга ыейронякх сзток та 1х дослздасевчя, доведено, г» IX гикорисгаяня дозволяй зб^дьаити як. вв:1дт>д1а, та« з 1кфор!Ас.й11й:у Ы1СТК1 сть яейронякх сгхок в • эршюшп з ясвнозп'яа-яшт асощагивно-ярсектявяиыи яеЯрояяими спткзх« пр;; уиов1, яр аикориеговувться оперативна пач' ять рзвясго об' еь!у.
Рогроблеко метод оцшед 1н$ор:.ец1йко:: шсгхост1 асощагив-яо-проективяих яеЯролшах спток 1 вихористано його для ялдрахунку шфсрматйно* м1сткост1 «одудьиих яейроиних структур.
РСЭЕННеИО ШВУ ОПИСУ 1ерар21Ч.Ч11Х аС0Ц1аТИВИ0-ПР0еКТИЕНИХ
Запролоновано 1 реал1зовако нов! ыетоди ¡иасифзкацп та роа-Шзяавания образ!в за допомогою нейропод!б них а ток »а викоиая'о IX поршияня з традиад&шми методами класяфкащ*. Роаробдено кдасифгкатори зорових образав, як1 лерев1р&я1 на деликт к1льксо-ц тестових задач.
Вперше використаяо метод еволпщйяох оптишзацп (геяетичиий алгоритм) для влдбору 1 нормативам* оанак для яейросньових систем, ях1 викоркстовуються для розшзнавання образ!в.
Л0сд1Д2саао новкй пишд до кодування вх1дно! тформацп -зсувне кодуваяня, яктй дозволяв розшвна ати сб'екти незалежю взд гх шсцезяаходхення яа гобр^жеши.
Роароблено еыудятср нейра лт'югера, якмй догводяе писан! та яазатоджувати преграда для яейроксмп' ютера на гвичайяих лерсо-яадьних ЕСМ.
Вперше аа довомогою '".ошаиивяо-проекгивпих нейрон»:« сггск роза'яаая! чадач1 позшзяаваняя складних форм об'ектзв, текстур н рукописных сд1в. При рогв'яаанш деяких задач був. ыисориотшшй нег.ркогш' нтер, я кий було розроблено сшлыю з япоысыссм ф! рыов Ч'АСОМ.
ТЕОРЕТИЧНЕ ЙНАЧЕННЯ результатов робота
Теоретична сначуацсть дисертащйно! роботи полягзе в тому, ш а я1й знайша пс алыгий розвиток нова концепщя моделшання 1 ярсярчх глток. ар завочаткована в Гнститут! К1бернетики 14. В. М. Глуикова ЕДЯ Украина. Ироанаизоваяа аналогия мх яейрон-ними колтлмсеаья. дод!бяими до шсааблт Уебба, 1 мнолияалш ьс-тивиих яеьрояав, шр ¿ормуються нейронлмш структурами з наперед задано» структурою. Показано, яр головною властивютю таких нейронных мноаин в обох випадках е абережанкя 1нформац11 про схо-хють об' ект1в, яким вони в1дооз1даот2>. Дя властивють обумов-люеться шпсв переткну в1дпоа!дыих множив акт йен их нейрон1в. Так1 шодини буди назван! иейронними комплексами. •
Лосл1давно властивост! нейрояних кошяекслв, як! е основою ьапролоиовгшоу инцест г. Шказаяо, як ц! властивост 1 вогивать на головн! властивост! яейрояыих С1ГОК. 35>оааал1зоваао проблему зберелаання схожзст! в моделях об'екпв, як! мояуть бути описая1 на Р13НЖС р1внях 1ерарх!Г, 1 показано, ар використання аейровних комплекс 1» В1дкри£ан влях до розв' язаная ще! проблема. В сво» чергу роав'ягання лроблеш збереаення схоласт! доаволяе набдиги-тися до створення систем, як! використовуить тркування га аналога его, ар традщ1йыо е одн!ею а головнмх аадач штучного !нтелекту.
Показало, ар для досл!длеяня 1нфоршдзйяо1 мюткоси ьейроа-них с1ток зручао корлстуватися чиседьно-акад!гичшш ыетодоа, якай лолягаа в тому, до стан матриц: микнейронних зв'язк!в ошягаоетъся анаапично, а недшйна порогова оаератя, результатом я ко* б ви-лдие абудаеала яейрон!в, розраховуеться чиседьао. Цей метод в1дкрмвае велик! моаливост! в дссл1дженн1 стохастичних яейрояних
ПРАКТОНЕ ЗНАЧЕНИЯ роботи.
Результат! дослздаекня головних властивостей яейронних комплекса дозволили по-яовому П1Д1ЙТИ до роав'ягання задач розшана-ваная обраыв. За допошгов яарадтд! ассщативно-яроекгианих яейрояиж с!ток розв'яаая! задач! рогя13яавания складаш форм, роашпнаааяня текстур та рукописиих сл1в,
Запропонованай шдх!д, в якому використовуя7гься яейранш коыплекси, довволяе роарсбити авидкодист система хлаеиф1кац!* образ1в, як! можуть бути ®икористан1 при вир!иенн1 задач контролю якйст! вироб!в та аадач адаптивного керуваяня роботами. При цьому
дашй Я1Д21Д дозволив розрсбиги зшюсио seiidBi 1 bv ¡окопродук-7Mbíij азаратнд аасс-Сл шделшання иейришшу смок (иеярскоиа'пте-ри).
Результата дисертац1йио* робота вшорастовузагжя прч liHöopi apxiTe¡crypu 1 систем кошнд нейргаювтер1в, ягл розроблегп в IX HAH Украш!, а такая я иейрокшя'аагерах ß-512. B-512W, и« рсаробден 1 апльно 1нститутоя ¡аберне-г^й! а япожажю &1рыиг> "УЛСО>Г.
2аяропоиована í рсзвялута в робот! 1дея сшльного зшсорис-ташш генетнчзюго алгоритм/ оптишзаци i нейрос^ьоют присчро-is. Ца дозволяв а гнпаго Секу П1д1йтк до резв'язалая проблема выбору 1н£орматившпс ознак при кириг-эиш задач роэшзнавани? обра-alB.
Ясельно- аяал1тичшп! а&тод для визначеняя шфзраашй--)* ШСТКССТ1 кейрошшх citok догжоляв ¿¿ориулшати к:: юга до anарат-аих aacoölB, iiki notpi6ai для bsipiskl я кенкретнкх £.адач. При ¡»ому нейрогш cithu юлуть складатися з сотеа тисяч, a uoae й нзльйош» иейрошв.
Ззпропокована модульяа стру:ггура иейроиних citok дозволяв реал1зувати на пракивд модел1 нгйронних citok з велюемо lüíopua-Шйнов iiicTKicTxx 5е пов'язаяа з тки. г» веобх1ДО затрати ком-п'етерно* ягм'ят1 яри реал1зацп таких ::ейрошг.1Х «ток зростаягь не квадратично, а лтпна в за-тегяоет! й5д кньжст; яейрыпв.
додоиення, ffi> ВЗНОСИТЬСЯ 30 зажсту.
1. Реп; ггеитащз 1нфорыащг в нейргашя сиках у вигаяд» яейронних комплекса (ансачй5л!з 31 складною структурою - ядром и бахромою) s6epirae шформац!» про exext сть об'аспз, як! представляться за доломогои цих кешлегамв, i дозеоляе оргатзоьува и ефектйвну обробяу 1яфорыац1Г в 1ерар21чних нейрос1тьових структурах.
2. Кодування 1нфоршцп на гаод! нейроняих citok за допомо-гою нейронних комплекс ib дозволяв реалзаузати таке шшряшише яеретворенна видного простору, яке дае зыогу розробити класиф!-натори oópasiB з характеристиками, крадамя за характеристики ic-нузэтих кдасиф1катор1в.
а й^дульна структура нейро-них cítok дозеодяс зиеншити пот-р1бй1 pccMipH паы'ят: в лоршиян> а яовнозв'язнши асошатиз-BQ-npw ¿ктивними нейролними ciTicaini, а такох забезпечус зростання дкод11 в Я0Р1ШШШ2 з повнозв'язнилл нейролщ'лм спга^гл.
4. Сшдьне вигаз: гстання иейронних citok 1 метода еволющйно* атишаацп геяетишюго алгоритму) для аздбору 1яфорштязнш : ж при рс в'яааня! задач росшзнавання o6paaia (а саме вириаеяня задаш роаш знав алия рукописних сд1В) даз змогу токракити результат« ро?"1ацаваиш! oflpaaiB.
Осиовш яауков! положэшщ i результата роботя були докладен! ira яаукових сем шарах "Яейрокомя' югери" Йауково* ради 1'Ж Укра; jí з проблема "Кибернетика" <1989 р. - 1994 р.), а такая на коя^ерея-циа: "„юшка i бюмедк1берне?ика - 85", Яшнград, 1985 р.; Всесоюзна коиферешия а тучного Иггелекгу, Переславдь-Эадбський. 1983 р.; YI1I Ресяублканська коьференшя "Бюягиа - 89", Кременчуг. 1989 р.; Мишародаа конферешця з проблем моделлваяня в бю-В1Ц1 "БЮмод-ЙЗ", Сачкт-Яетербург, 1992 р.; Пгрдз £се**кра*нська кон4еренд1я з роашзнавакня >бра21в "UkrOBRAZ-92"; CiimoaiyM а нейротформатикм i ейрокоып'¡orepiB RHWS/IEEE, Ростов-аа-Дону, 1992 „
Окрем> результата досл1джеиь були вадрукован» в материалах койференща, да в1Дбуллся в Бодгарп (Варна. "ШВ^вЗ"), в Чг-хослоъачинш (Прага, "NeuroNet-вО"), У франц! í (Шм. "№?uroNl тез'SI". "HeuroNinies'S3"), в США (Ролла. iílccypi "АШЕ'91"). Досл1даевня тадриаам! фондом Сороса i шанародшш ппсчктом 1Ш1
Р£АД13ДЩЯ РЕЗУЛЬТАТ 1Е
Робота вли'лнувалась в рамках к1лькох НДР i госпдопшрних роб! т. Результата досл1дження мохошостей яейролодиЗяих cítok i наяраяьован1 рекомевдащ i во »х використанню впрогад*ен1 в резнях установах, про ли св1дчать акти вяроваджеяия наукових розробок.
Автор була в1дпов1дальним виконавцеы госядопшрких роб1т, в тому числ' "Макетування годовних вуал1в гехшчних 8асоб1в систем штучного штелекху (нейрокомп'игера)" (НДОКР "АНОНС"). 1990 р. Зараа автор е в1дпов1далыш! викоиа: дем НДР "Нейрокомя' стер" (1992 р. - 1924 р.).
Були УСП1ШН0 р«ал1аоаан1 1 шод вякорястовую^ься алгоритма роашанавання рукописних сл!в 1 еволюц!йно* оятим1зац1 яа укра-¡гнсько-яяонському яейрокомп' итерг В-512, вэ був розроблений сшльяо урахяськими г я донецкими в пенями.
Бо результатам доол^яня ютшативио-яроективних нейрояо-Д1бних структур та вирюення задач га « дояомогоь буди прочитан1
факультативно декцп дгл студея; в факультету систем автоматиао-вааого керувашга КПЗ.
СТРУКТУРА X С?СЯР дясертацп. Дисергацзя складаатьея а всту-пу, 7 розд1Л1в. висновк1в 1 "писку Д1тератури. Об^чг дисертацн -309 сто^1Яок тексту, ¿мстить 17* тайл..ць 1 67 рисушаа. Список л1-тератури мюгить 208 дяерел ( 117 в)тчиаяяша 1 01 1ногемя5).
У пер дому роздиз дисертац!* зикладено анал! сучасного стану як в розробц! систем «тучного штелгкту, так 1 в роаробщ 1 ДОСЛ1Д2КНН1 гггучаих яейрояних с1ток. ^ли проа. ллгзопал! голоып яроблеыи атучного телекг/, ят яе В!гр1игтться за допомогов тра-диц'. ^них м&тод12. До таких мозыа вцанести проблему яспуку схожэс-Т1 двох чи бататьох об'екпв, проблему пошуку аналог1Я в системах репреаентаци анаяь, проблему побудови висновма а викориетанняы аналог 1й. Буля розгллнут! декларапшт. процедура 1 1 зыьтгип метод» редреаеятащ г зяань. Сагдьшш для них метод 1 а в той факт, то при епаеах складних середоезд катастроф1чко розростаигъся обсяги перел1К1в пдаетивостей об'екпв, "41 складають це середоввдэ. Шоб якось аапоб1гти ; ому. впроваджуеть класк^и-лиа. Бластивоси якогось класу зумовлюоть властивост! об'егсгу. зо до цього класу яалежить. Де дозволяг обмелитк мдькють даяяих. да використо-вуюгься. Але введения класифпещп заяадто зпроиуе опис об'екту, тобто поэбавдяв об'ект його 1ядив1дуаяьних властивостей х сзизк, вр а1др1зняигь Яого ¿1д иших об'екпв, да належать до чьего ж квасу. . ,
Лдшш а вершах, это зроаутв яеможамв1сть адекватного опису складних об'екпв за допомогои строго* класифгкаци, був Л.Заде. 21н ввахав, до скаэд"1 об'ектя неиожливо 1 абсолютною яевшстю в Шести до того чи 1швого кла*./, тому гааропояуваа понятта не-члтко* (розмито*) наояини. а г. лйколагаиу слекенту ставиться у В1д0оа1ди1сть М1ра налеяност1 до тех ыкогаши. Тэку оценку дае лвдина - експерт для початкових множил. а цг" похлдних икотаа (яоедяаяня, перетин та 1и. > мояьа користуиатися форыальними процедурами роярахунюг шри яалегиост1. Такий Я1дх1д виправдоауе себе, яхдо форыал1ауюгься анализ експерпв. але духе часто експерт ояа;тК!Ться в скрутному становий а оциии м1ри налезмоси.
Мэжна роагдяаути лшу шру налелоюст>, яка подобна до шри ¿Заде, але а'являетьса не як суб'вктивяа оцшка лздини, а с^р-муеться як результат роботи певного розшаиавальяого ярисуроа
Шхай об'екти могла в1добразитм -гичками 1,2.3,4 в декартов ому простор! (рис.1).
Год1 за Mipy нале;?лост1 об'екта до певного luacy ыолша виб-рат;. величину, яка аадеяить В1Д В1дстан1 точки, яка в1двов1дае r-v vk.j, до uoímy ваги к.иасу.
1НТУ1ТЛВЯО о уО'д у и i ло, ¡зр коли об'ект diaE схожий на типо-вий сб'е:сг )сласу, тод1 а б1Дыаою влевиешст» його южна шдкееги до цього класу.
Епрозаджуачи таю "об'ектмвт" м1ри иагехиос?1 аашстъ су£"екгивиих оцшок Л. Заде, ми шеш здагу крал» э'ясувази, да дамгь так1 гл р;: для здашаення лорсткост* кяасифшгщи. Але 1 в цьону влпадку. i в мшадку шр Д. Заде ошнка е скалярного велачи-.'ою. ер приводить до втрати анань яро рзаномашттсть г. остеЯ об'екту. ршюмаштшсть йсго веютрного лредставлення.
Нейрона! С1т;аг доэволяеть вСерегти багатство в1Добракеиня якостей об'екту, upo sp шва буда йти у другому i третьему роад!-
У першому ро2Д1д1 йроанал53ован! також шдходи до розробки нейрос1тьов"х систем. Головма увага арид!лена роботам з шделю-вшшя ыислеикя i iichxskh, гапочатксвашш ü М. Амосовям у В1дд1л1 бшиберягтикя 1нституту К1беряетики ан урср б1ля 20 pokíb тому. Гигатеза ií 11 Амосова базуеться да загальних принципах модедюваккя 1 лреробки hiiícpiiauiH (презентац1:: об'екпв, ситуацШ
та i и.) збер1гаеться в лам'ят! в структурах нейрон i в та в зв'явках и ними. Кожноыу поняттю зовшшнього св!ту в1даов1дае своя нейронна структура ("модель" за ¡I ¡¿ Амосовиы). lie ре робка шборма-ци моакоы то е збудаешш одних моделей ашши. Амосов Ú. к аап-ролояував ввести систему посилення-гальмуЕаннл, шр регулге р1вень абудяення piaaiix моделей. Цз ]де* знайши розвиток'в моделях ней-рониих с i ток, роаробдеиих Касаткзно» Л. М. 1 Яаеаткшш О. Ü (актива! СЗШНТИЧН1 НейРГ,ШП С lililí).
Паралельно а цим К/ссул:ы Е. М. роароблялися нейронн1 с!тки а ансамблевой оргая1гащеа Голсвна Е1дм1яа в;д актиыпи семаятич-них С1тс«, а аю1х кошоиу яоиягтю В1 дпогндае одна нейрон, туг воля гае в тому, да коаяому игЗормац! Иному елемепту Я1дяов!даз мно-зшяа нейроя1В, яку мя як 1 .Хебб наливаемо ансамблем. Анс&лйль яейроя1в характеризуется тим. гр м!я нейронами, ар входя-ъ до складу ансамбля, формуюгься зв'язки з б 1 ль по» загою, тх зв'язга' 8 1нни\м нейронами епки.
Вэхай яевному пояяттю в!дяов1даг мнехиыа яейрон1в С (рис.2).
а ккоиусь 1яаоыу пояятто - ыиожииа нейрон 1 в 0. Яюзэ поняття блнзьк1 за ам1сто«, мяояшш С 1 й шгзтг багато стльних кейрошв (яеретин С,10). Тсбто ¿ормувться м!ра схояосп хюнзть як к!льк!ст2> стльних нейроя1в в ансамблях, як! в!дпоа1дають да и пояяттяи.
Ця парадигма нейрояннх сиок названа аеошатиано-проективяи-мл Еейронниыи с1тказа (АПШ). Таким яейрошизы С!ткам яритаыанна асощатианюгь. Взхаивою в!ды1кою В1Д асощатизнях нейроняих с1-ток, 2x1 розребляютьег нажми вчешши, е те, яр для АПНС заяропо-Еовши иэтода побудови 1ерарх1чних структур а зберехенняы яринци-яу розр1длйного кодування яа кояному р1вш. Розр1джене кодуваняя а нейрояяих С1тках е такая сяосзб презентаци 1яфор. ЛЦ1*. коли кшаоыу елемаагу (озаац1, образу, яояяттв. зидношешш та. 1н.) ставиться у в1даов1ДЯ1сть не один ыейрон, а я^дмноамяа нейрон1в, яку ыа навираемо нейрояниа комплексом, 1 шлькють активяих ней-рон1В аначно мекше к1дькост1 нейрон!в в яейроян1й с!тц;. Еайрон-яяй комплекс в бта загальиим терм!яоа я1х яейронний ансамбль 1 яоглияаг йэго. А1ШС розроблеш для вяр1веняя задач тучного 1нт<
-лекту 1 мояуть бути вянористан! для ыоделювання як образного, так 1 пояяттевого мислення. П1Д образним шелеяням розумють ояеру-ванна сукушисто оанак. як1 описуюгь об'ект. Л1д поняттбвим мис-денняы розумють ояеруваяня з 1 менами об'екмв (пояяттями). У ранках Ц1е1 парад!гми виконана дисертащйяа робота.
Розглянут! також 1нш нейрос1тьов1 яарад1гми, як1 роароблен1 ак за кордоном, так 1 в нзшй деряав1. Треба зазначяти, гр 80-Т1 роки стад:; роками буришвого В1дюдження досл!даеяь в ц!й галуз!.
!яшдяки i)радам ХЬпфи ,a, Йохоиена, Налца, Рроссберга, Хехт-&яь-сона та J ним. Суля отриыаш шкал! результат« розробки i Biiiiopir.-тгшня iкейронних ciTozt для лпрзсгаля -деяких задач втучного .;:'тела1сгу. В nepsiä глав i дроанал1зован1 Ул не.!* ■•ваги i недолиш. П jeptras: ась до розаови лро смстеми сгучного 1лтелегсгу, троба тдгначта i той ¿акт, up система штучного lurex&ivry - цг найчгзс-TÍK2 символьна систем!. За симводьну 1и£с>ргащзо íssmo lüsaa сб'елти. пена ситуащй, тойго яшсь 1денх1ф1катори (ciüsojsí, . Аде вчзб визначити схйхлстъ об'екпв, треба яоршшватн на сильна ix i vena, смльки сшей них об'екпа. В деяких систсгах вгучгого 1нтелекту робмлися спробя вирюити да проблему такиа чиной. Щж-лускаоть , вд нижшй р!вень lepapxiunoï сястеш ктучаого штелен-ту охоплке ycri сукугапсть озиак об' шша. Наступнкй pisaíis - цэ ревень сплсу luaciB об'екпа, цр a6epiras ош:с icosioro лредста?,-ника кдапу. ñ цьоиу вяладку й.„лстивост1 сб'екпв яр;! переход1 s р1г.ня на piBCHb абер таиться, аза обезгм 1яфоршди аростаоть ек-споненщалыю.
Використаиия мейронпмх нножия в jiarsix роботах дозволяв отри-ьптн компроиюне piпения, »юли а.гаст..лосИ cö'sisir на яерхшх р!В!!л>: частково зберагаоться, але обгягя описи» не зрсстаать.
Реп, еаента .¡я 1нфоршц1Т у тш\аяд1 нейронних moarâ:, якз иг-кснуюгъ enmay функщэ i яга ки назвали нзйронаи-ч Ksiaieja;a¿r.j, ir чаоляс абертати не Т1льки cxoaicrt об'екпв аа рртуиок ягретн-яу нейронних комплекса пк1 tu В1дгю21дзлп>, ase fl доаволяе по-едяуватя в одному üiüici як i иена об'Екпв, так 1 ïx озяаки.
У першыу роад1Л1 роаглянуп 1снугл шдхода да розробт; нейронних класиф!катор>в. Еахлиаии аспектом вякорастаняа нейронних ci ток s ïx лристосовшсть до вир1Еегшя прикладах задач. Еа-raTDiaapoBi персептронм я аворотшы лошареняяы помадки вякорксто-пуитьса дилгатньо шроко иа заход1 для вир1шнкя задач itsacKáaisa-Д1 ï. Розглянут! i 1нш1 нейронн! гшасифлкатори.
Другий роздал прясвячрний оаису . орадтш репрезенгатг la-форшцэ t - асовдативно-проекгивяим яейрояним ciTKau. Головной L-руктурно» одикице» АПНС е нейрояяе поле. Шйронае поде - це п1дмло«ша нейрон1в, яю гиконуять однакавай наЫр 4.ЯКЦ1Й. У нейрон ib одного поля зв'язки wis собоз» i 3 1яиами нейронами фзр-ыуоться га сл1льниш правилами дль scix нейрон i в поля. УЬл pospia-яяемо 2 типа нейронних нолей: пощативне 1 буфгрне. Асощативне яейронне поле поязначаеться ^да форыувамня нейронних aacaißaia в npoueci яаачання i для асощатквного вгдновлення нейронних ан-
caítóülB а робочоху peasoii. 3 дисертацп наведена схема асоцзатив-кого поля, розглянутз ?ою фушацх i властивостз. Буферне иоле аризначагться для "бору, тиычасового збврежегшя 1 норм^аачия роа-aipie нейронйих ансаиблзз. рч допомогоэ буферного ноля vor.'j, ана-ходити ¿1зющю двох абуджиих нейроь..их ачса*а5лзв. Дудь-яке иеи-рояке поле «аз спецзаданий лзчилмшк, якмЯ дсзволяе пздра^ойуваги к!_!с1сть абудяен-х нейронза у тому полз. 3 аеоцдативких i 6у-фэрмих полей за допоыогоа прогеткЕши j рецептизннх зв'язкзг ут-ворхагпься 1ерарХ1чн1 АПИС. Проективнз эв'яакк не ашкмотьея в яроцес! наачаяня. Структура ав'язкзв встановлюе вааеюю однсанач-иу вздповзднзсть шл яейронаш одного дссщагш: .ого пола з нейронами lijsoro асоцзативаого пола, акз нале-ать рзгним герархзчипм рзвггга. Рецаггтивн1 эн'язта встаяовлтгь вздобратекшз яздмножшн вейроязв одного поля в один нейрон знпого.
В дисертаци описана функцз ональна схеыа бгнарних нейроиза, ski вякористовуигься в асоцзативних полях. Значения сигналу на
виход1 нейрону q визначавться у вздповздносп а формулой (1). _д
1 0, я кар ^ ачУч< th
де aj- сигнал на 3-ку асоцзативноыу вход1 нейрону; сичантична вага 1-го входу нейрона; th - значения порогу нейрона.
йога маги тзлъки два значения - О або 1.
НейрсннЗ сзтки скдадааться з таких бзнарних иейранза i 61-
нара-х зв'язкза В процесз наз'ганн.ч вага зв'аакзз в нейроиыих с1тках шдаф1куг?ься i citkk адатяз залам' ятсаувати мову i ¡¡формата, Головне яразидо <закон яаачання) ней: энних сзток с^ормулшав йгб& яшз нейрон A абудаув не..рои В, i «ей лроцес яовторюеться, то «тактична вага зв' язку тх зиш яейрояаш аростаз. Де правило а деякшги аарзацзами доскть чаете аикористовуеться в сучасних моделях нейроннах сзток.
В АПШ дикориетовует.' оя ао,цйф1коване правило Хгбба 15аачання нейрону «ае. Шсздг, коли е ситняа на навчаючону ьход1 (trAi). Будет рогрззняти навчання при позитивному лздкрзяленяз (tr>ü) i пру а1я'емкоиу тдкрзплевн1 (tr<0). При позитивному пздкрз плеши гшитання синаотачно* вагн в1дбуваеться у в1доов1дност1 а
V?- WtU (а^ q & h4> . (2)
де U - ангк диэ'шкщк; $ - знак кон'шкш*; У* - сичаптичяа »ara П1сгя окавчання; Уг - синаптична вата до навчання; еиг-
яал на 1-му асощативному вход1; q - сигнал на виход! нейрону; hj-
бэнарда вкпадкоьа величина, яка приймае значения одинищ з ймов!р-шста, яка доршисе гигнаду тдкршлення tr:
Щя в1д'емному шдкртаешм зм!на синаптячно* вти в!ДПов1да8:
V*- V^ (ajft q Й hj ; (4)
де | tr | - абсолютна величина сигналу шдкршлеккя.
В роад1Л1 роавинута специальна мова для огшсу 1ерарх1чшсс
АШЗ, яка мож використовуватися на етат роаробки таких структур. Структура мови пабдижена до структура иови ярограмування С 1 аручна в корястуванн1.
Ваашивмм етапом в розробцз нейрошшх citok е кодування 1н-формаш тобто задания оплсу об'екту в формат! яейронних сник. б^дь-який 1нфэр. лц1йний элемент в ahhg мае аиглад нейронного комплексу. Заяропсноваш два тдходи до кодування - локально ав'явне кодування 1 зсувне ¡вдувания. Обидва способ« ыдносяться до так званих метод1в г низьким pi пнем активности, тобто к1ль-К1сть нейрон1В в нейроююму комплекс1, який кодуе об'era, мае бутя ьначио меяясю his шлькють яейрон1в у нейрояя1й с1тц1. Особ-ливютю локально зв'язного кодування е те, до pssni члслов1 значения параметра, як J шеиа ицх параметра, преаеитуяяься pisan-ш бтаршаш стохастмчниыи векторами. йгхай роашр вектору - п, к1лък1стг збуджених нейрон1в ансамбля - т (тобто вектор мае а одимщь в виладковнх розрядах вектору). Цри цьоыу ю;<а Так! век-тори Mil иааиваеыо маскаш. Щрб подата таку маску на вх!д асоща-1 зного яоля, треба абудити нейрояи цього поля, номера яких сшв-садаять з номерами поакшй б 1 парного вектору-маски, в я кому в одиннчш еле-янти. Розробдена процедура отриманнд таких п-роаряд-них вектор1в на типовому нейрокоыя' iccepi. Уак1 маски автоматично формуються >;а -гриому етал! робота неярошшх citok 1 залам' ято-вухггься у сам' я? 1 комя'ютера.
йар на вход треба подати олис об'визу, який складаяться а к1лькох ознак, то шоса об'екту формуеться як поразрядна диа'шк-щя маток оаяак. Бра цьому млькють одиничних едеданпв не повинна яеревищуваги a JJd6 виконати цю умову викорисговуигь норыу-вання маски об'егсту. тобто вилучаюгь aaflsi одиничш едементи аа доломогою спетально* процедур«, яка гарантув приблиаио pi вне представнацтво yctx ознак а ыасц! об'екту.
Дуж> вахдиво при кодуваян! аберелгм тформацш про власти* вся! даних в нейрошшх мноюшах, якими ix рспреаентуигь. Одна ъ
оаяяяшх зластгасстей п >зат;ллса. Рпзроблено процедура кодувзння чисдовях яарааетр1в, як1 дсзголяп.ь гберепл метрику за рахунок того, пр блиаьш числа кають nsüpoiíHl код'-s, а якя вйлшз К5ль-kictí сшлыш нейроша.
Осузяз кодуваняя, a: i локально ав'язне. вжористовуз Ciuap-кий стохастячний гад. Йараиетр иэдувться за дсяомогою ¿aeic, а його чисельне значения - зсувом того гаду аа в1длив1дну кзль-jtiCTb розряд!а. Ыа рис. 3,а наведено яриклад такого гсодугакня для ода 1С* озшш! X (- абудагаяй нейрон ; - - яоабудаенля нейрон). 1Ьхай треба закодувати значения ще* ознаки, яке дар i влас +1. Дсб закодуватя цв значения, эсунгмо ус» каску на один розряд праворуч (р:!С. 3,6).
Ряс. а Эсувяе кодуваняя: а - П'-чатковий код: б - код координат« Х-+1 Дрозигшзоваяо repesara i яедолш! ютого a щас потод1в кодуван-
При и!р1Е2ян1 задай етучного ютелекту га дсяомогою АШС еи-siatas нес5х1дя1сть побудоая нейронних сзток, яр складаоться з со-тея »неач або мигьйогпв нейрон 1 в. Але збтвення шлысост! нейро-тз яризводагь до квадракшого аростання потр1бно1 яан'ят!. Тому будя розроблсн1 гюдулыи (неп03!102а'ягн1) яейроит citkh, в якмх яаи'ять зростаз лшйко в аале:л:ос?1 в1д к1льхост1 нейрон i а. Ояи-caaí два шдходм до розробки ходухьних нейронних citok. Опия з wx буа заяроаоясваний JSyusato S.H. Bin пов'яззяий а тин, - гр в козпояу рядку матриц! зв'яак1в за дояомого» вияадково* процедура аид1гяюгъсг к едеыгнт13, в яких дсзволяеться утворен'-я ав'яаюв (k«<n). íhii'ять сбчислазальяого пристрою розрахована на «i к еде-гггетча. Ероцедура Hitficpy доавохэних елеменпв будуетьса так. щоб юг:а будо й1дао8яти яалояеявя цгнс елгшнпв в когноцу рядку ш:- -рвд1 без великих нитрат naif ят1.
Другая П1ДХ1Д роароблявся аа участи автора Bin лов'язаяиЯ а ties, ¡33 шолаша нгйрогпа п розбивааться на к бдоглв, ксаен з ягшх а свои черту розбивагтьса na к гюдул1в (рис. 4), V-i, X означая повита нейрона.
блок 1 ' блок 2 блок 3 блок 4
XX ХХ.ХХ.ХХ ХХХХХХХХ XX XX XX XX XX XX XX XX »•ПДУЛЬ Mjg
Позначно» «одулз через М,i (1 - номер блоку, i - номер мо-
дуда у блощ) з роам.смшэ rx у пряшкууязЯ матриц (Taiz. 1).
15эдул1 одного блогсу рогмзг&чотьса е озфеюму радгсу ыа?рзпдз. Э'ед-нагыо виходи нейрон зв. якз иадехзгь модулям ззераого стовпца иат-рад», з входами иезгроязв, ср налезать модулям верного рядка <"кожи а кохзшм"). Аналогзчио цьому гиходи другого стовяця з'едззаггз а входа«! нейроязв другого рядка мат;. лщ з так далз. ?азсу ст;/к тур/ ¡si ззазиваемэ модульной нейгозшоз езткоп. Лосл1даез1ня таки структур буде описано нижче.
У третьему роздзлз опасанз нейроннз кошле.чеи, язи фэрыуать ся на е
апз попередиыл обробкч вхздно* 3Hλpmu3ï за допоиого; яейроннлх езток г: яалере; задано» структуров. тобто езток, якз и ззавчатеься. Введения тгршяу нейронняй зимезлезо: дозволило розгля кути системно, у взаейогалелност!. форму вант нейронного коду к входз иейронног езтки 1 формувазша ззейрошзих ансамбл!в в яроздес: яавчан'ш нейрошюзг езтки.
Було розглануто излука вариант!_ нейронних езток. орзеятова них на риад1защю автоматичного кодуванта: багатопоплавзеового ло;алыхо ав'язного. та кодування за допоьогозз ci ток з ззипадковии ncporaiM (RTC). На ochobI колшого з них буди рссроблен! нейронн кдасицикатори. Дал того ирб иогна було працюваеи а градуальнзах сигналаш. впровадгено бзлъз узагальиену схеиу ьгйрону. Сигнал н; гходз такого нейрону, або вага зв'язку ¡азяе маги значения г пев нога зятервалу. а не тзльки гыачгнна О або 1. Сигнал на доход такого нейрону з'являвгься. коли суша ззхздних сигиалза перевижу певну величзшу порогу нойронз ТгкяЯ нейрон вздповздаг рецептив ним нейронам, як! реагухаь на сигнали, w ги: зиизться в певнои дзаяааон!. Як правило, в природных нейронних езтках перетворенн: !Hiopisau3ï на вход1 а аба' зечузсть нейроннз структура. як! ijop ыупгься пзд ааливоа генетичних факгор:в. Аналопчяо цьешу в тех яачних пристроях корисно виконувати допередшо обробку сигнал!в а; допомогою нейронних ci ток, якз не навчазсггься, а шжгь наперед за дану структуру. Яри '£.ону вданться прискорити пронес навчаяня н каступних рзанях обробзе* з"фортцзï 1 отрзвлати бзльву евидкодз техн!чного засобу.
Роаглянеыо, наарихлад, класифзкатор а випадхдвзши портам (RTC). Яехай е а-виызрний прост 1р ознак, зеолша точка якого опи суеться d-вии: «им вектором Х-х. Бэхай цьЛ прост!р розби
го на к областей, ЯК1 називавть кдасами. Така обгзсггз. мота бути аеопуклоа, багагозв' заноз 1 недлмйиоа &хзЛ е аавчажча посл1-
йовяють СХ.О - ÍXj.Cj), ()^.С2). де Ц - точка
a простор1 ознак, Gt - ш'я класу, до якого иалезскть точка. Робота кл^яф! кагора палпгае в тему. для «moí кто г точки X, яка не входить в наачашу посшдовшсть. вказати. до якогэ класу вона налезать, в5Еа.^истовуючи цавчашу лооя1довн1сть íX,C>.
В1ДОНО. Ер оптитльним гслагшф1катороы е бгЯгсовсьшй к.-тек-ф1катор. ИЬб його яобудуватя, треба знати аярюрг -ü рогподзл ¡Ью-BipuocTeñ Ksacia 1 умсвний рсзпод1л ймов1риостей представши« а коетсго класу в простор! параметров. якгр р_зпсд!д Не в1домиЛ чу над;-а складчип, Еоб toro ко-тна було апронсимуват« 4уякц1яии з кевг runm» к1ль:-с1стп napairerpia, квссрйстсвуггь лепараиг? piran метода лгаскф1кад1Х (метод иайбдягчого сус1да, istom сотеад!ая12 та lucí). Ase «i метода потребугяь багаго разрахушав. sp призводить до яоаивьяо* ройсти jcsacKíixaropia.
В останн! рока багато нзукоащв ярадаеть гад стзоренням ней-ронких кдас:>ф1кагср1в. Оди:ш з spsntraais в багатевароаий перс а строи з aaopoTHiM поаярекням яомядки. Адэ mücop^craaua таких класи-ф1катор1в утрудагегъся ткм, гр казчання norpLjya багато часу. Нрэи того результата навчацкп заделать :лд сочзтковаго стану ней-ронно? cítkjü. Sararo аз при розрсбт таких кдасиф1катор1в заменять Е1Д Д0СВ1ДУ ДОСЛ1ДНККЭ (К1ДЬК1СТЬ SaplB, К1ДЬК1СТЬ HeñpC'ilb
у зоэзяому capí). Тему icays гад1каален!стъ в розробщ а-йронних клзсиф!катор1в з достатньо простое структурой '
. Голоана 1дся прл розробц! бзгатоаоялавкового класиф!катору i клас^фиетору з. акяздкоин« порогами пов' язааа з перетаоренняц входного простору ознак в lnz-iñ npocTip так, ггб в цьоиу простор! клааи ставала лшйие розд1ли1':эгл. Ha pir 5 наведена блок-схема кяаифкатору з випадиошши пор,. гами.
Структура кодушо* с Iímí гашдазгься з з тшоаих нейронних
труп з одни« аиходаим нейроном в- KOZHiil rpsm (Ь1 . bs ). Ш. входи козшо? груше подашься yci езнаки (Xj. Xd). Кожа салака подаетьел на входа дво" нейрин!в hf i lj, де i (í-i. d) -
гоь^р ознзки; J (3-1,2. s) - номер пейренпо! rpinn ifopir sim-
кання нэйрьлу щдаз за пор ir hj . Ifap_ra Фэрлуються за до-
изгою визадковог процедура, ÍJopir нейречу Ь3 дор1аняе к!дькост1 входних озпа-í. гбуджвння лередгетьея на ззичаГзннй одногаро-