Рекурентни невронски мрежи
Оваа статија можеби бара дополнително внимание за да ги исполни стандардите за квалитет на Википедија. Ве молиме подобрете ја оваа статија ако можете. |
Кај рекурентните мрежи среќаваме дводимезионален податочен тек (јамки).
Џорданова мрежа уреди
Едноставната рекурентна мрежа која е варијација на перцептронот на повеќе нивоа се нарекува Џорданова мрежа. Трислојна мрежа имаме со додавање на повратни врски од излезните единки до т.н. состојбени единки со фиксирана вредност на тежините на 1. Скриениот слој е поврзан со врските од овие контексни единки.
При секој чекор влезот се пренесува преку стандарден feed – forward начин, и поупа се применува правилото за учење (вообичаено back propagation). Фиксните повратни врски резултираат со одржување на копија од вредности на претходните вредности од скриениот слој. Системот може да задржи одредена состојба притоа дозволувајќи да изведува задачи како предвидување на секвенци, што не се во моќите на стандардниот перцептрон на повеќе нивоа.
Кај комплетно рекурентната мрежа, секој неврон добива влез од секој друг неврон во мрежата. Овие мрежи не се ангажирани во слоеви. Вообичаено само подмножества на неврони добиваат надворешни влезови, и друго дисјунктно множество на неврони го репортира излезот надвор од мрежата и го враќа кон сите неврони. Овие дисјунктни влезови и излези ја изведуваат функцијата на влезните и излезните слоеви кај feed – forward или едноставни рекурентни мрежи и ги соединуваат останатите неврони во рекурентна обработка.
Елманова мрежа уреди
Џеф Елман во 90 - те предложил сличен модел на Џорданова мрежа, само тука повратните врски се решаваат исклучиво во скриените слоеви.
Хопфилдова мрежа уреди
Хопфилдовата мрежа е комплетно поврзана мрежа од N јазли, каде сите јазли се истовремено и влезни и излезни.
Целта е да се постигне асинхроно ажурирање на активационите вредности на јазлите. Системот се стреми да стигне во т.н. стабилна состојба каде ажурирањата на врските се соодветни за проблематиката која ја решава системот.
Надворешни врски уреди
- Recurrent Neural Networks with over 60 RNN papers by Jürgen Schmidhuber's group at IDSIA (англиски)
- Elman Neural Network implementation for WEKA (англиски)