模糊類神經網路之 函數近似使用基因演算法 四自控四甲 翁一成 49012059 陳立偉 49012032 張桐榮 49012003

模糊類神經網路之函數近似使用基因演算法

四自控四甲翁一成 49012059陳立偉 49012032張桐榮 49012003

類神經網路簡介1. 前言2. 類神經網路特性功能應用3.類神經網路架構4.生物神經網路與類神經網路 (1) 膜電位與通道 (2) 動作電位 (3) 生物學習能力 (4) 類神經網路系統架構 (5) 單層前饋式類神經網路 (6) 回饋式類神經網路 (7) 類神經網路之學習方式

一、前言 類神經網路（ Neural Network ）與模糊理論 (Fuzzy Theory ） - 目前均被成功地應用在各個不同的領域上，因此在這裡我們所要探討的。舉例來說：類神經網路與模糊集合常常被相提並論，基本上兩者均有增加系統智慧，模擬一個輸入，輸出對應關係等的能力。這意謂著，兩者間有一種巧妙的關係存在。到底這種關係為何，兩者間有何相似、差異性，便是一個值得思索的題目。此外，在工程應用或問題解決上，如何在兩耆間做一合適的選擇，也是常見的問題。更甚者，如何擷取兩者間的優點，互補缺失，並發展一種新的模式，也 是一研究發展方向。

類神經網路今日已經廣泛地應用在各各領域，從電機，資訊機械化工土木水利環工海洋，等理工相關領域，到醫學農學等生物相關領域及經濟，管理財務金融，都可以看到類神經網路的相關研究，

因而在語音聽覺影像和視覺方面均有很完美的表現，其記憶存取與斯維推論也十分神奇，類神經網路及仿造神經系統的運作藉由大量的運算單元 ( 神經元 ) 和位於運算單元間的眾多連結所組成，這些運算單元乃是以平行且分散的方式所運作，而此一設計可被用來處理各種需要大量資料運算的應用，如語音手寫辨識等。

類神經網路

模仿人類神經系統之資訊處理能力所建構之電腦軟硬體系統。

類神經網路為平行處理式架構，具備大量互相連結的處理單元。

類神經網路之特性

聯想速度快 網路架構易維持 解決最佳化、非線性系統問題 具容錯特性 具平行處理能力

類神經網路之功能

學習（ Learning ） 回想（ Recall ） 歸納推演（ Generalization ）

類神經網路之應用

最佳化（ Optimization） 辨識與分類（ Recognition/Classification）

預測（ Prediction） 評估、診斷與決策（ Diagnosis/Decision） 聯想（ Association） 近似（ Approximation） 歸納推演（ Generalization）

模糊類神經網路的架構

如圖一所示模糊類神經網路，總共有四層；第一層為輸入節點，代表輸入的語意變數。第二層作為隸屬函數，分別描述各個語意變數的語詞。第三層描述模糊法則庫。第四層表示模糊法則的後件部。

生物神經系統

感覺輸入（ sensory input ）

整合（ integration ） 動作輸出（ motor out

put ）

生物神經元（ Neuron ） 具有相當大的細胞體（ cell body or soma ），內有細胞核（ nucleus ），擁有纖維狀的突起來延長傳導訊息的距離。

突起分為：樹突（ dendrite ）：將訊息傳入細胞體。軸突（ axon ）：將訊息傳出細胞體，僅一個。軸突與細胞體之相接處為神經軸丘（ axon hillock ）。

軸突末端分出千百個分支，形成特化的末稍，稱為突觸（ synaptic ）。

生物神經元（ Neuron ）

生物神經元（ Neuron ）

生物神經元（ Neuron ）

神經訊息在生物神經元內的傳遞是一種電的訊號，靠離子（ iron ）流動通過細胞膜（ cell membrane ）來達成。

膜電位（ membrane potential ）：細胞膜內外之電位差。

膜電位為負神經元處於休止狀態（ resting state ）。

生物神經元（ Neuron ）

外界刺激造成神經元表面的離子流動，進入或離開細胞膜內，使得膜電位變小或變大；若在某一時刻，一神經元所有刺激對膜電位影響的總和超過該神經元之門檻值（ threshold ），則該神經元會產生動作電位（ action potential ），由神經元之軸突將訊號傳出，再藉由突觸末端視出神經傳導物質將訊息傳至下一神經元。

生物學習能力 生物大腦中有數十億至數百億個神經元，有的神經元間沒有相互連結，有的則以複雜方式連結（如：環狀或回饋連結），相連結的神經元才可互相傳遞訊息，神經元間的連結有強弱之分，因而影響到接收訊息神經元的膜電位。

生物對新事物之學習是造成神經元間連結強弱的改變或是使沒有連結的神經元間產生新的連結。

學習演算法1. 簡介與通用學習法(1)赫賓學習法(2)最小均方演算法（ LMS）(3) Delta 學習法(4) Correlation學習法(5)贏者全拿（ Winner-Take-All ）學習法(6) Grossberg學習法2. 類神經網路及模糊理論的共同特性3.類神經網路及模糊理論的差異性性4.類神經網路模糊理論優缺點5..結論

簡介與通用學習法

簡介類神經網路的學習與訓練為網路中連結權重的調整，藉由不斷的調整權重，使網路的輸出滿足我們的需求。

學習演算法即為權重調整演算法。監督式學習：權重的調整依據輸入條件與輸出結果和目標輸出值的差異來決定。

非監督式學習：權重的調整只依輸入條件來決定。

簡介與通用學習法

通用學習法（ Amari, 1990 ）r ：學習訊息函數Wj：所有連結到第 j 個神經元的連結權重向量

Wj=[wj1, wj2, …, wjn]T

Wj： Wj的疊代調整量 X ：輸入向量 dj ：第 j 個神經元的目標輸出值 ：學習率，正數

簡介與通用學習法

赫賓學習法 “Organization of Behavior”- by Hebb, 19

49. 假設神經元的軸突足以刺激鄰近的神經元，當我們持續不斷地給予刺激，因而激發了神經元的新陳代謝，促使神經元的功效增加。

神經元傳送訊息之兩種法則（ Stent, 1973 ）若兩個連結的神經元同時被激發，則其連結的強度將增強；

若兩個連結的神經元非同時被激發（即一個有反應，另一個沒有反應），則其連結的強度將變弱或消失。

最小均方演算法（ LMS ） 最小均方演算法（ least-mean square algorithm, L

MS ）由 Widrow 及 Hoff 發展（ 1960 ），又稱Widrow-Hoff 學習法或 Delta 學習法，為監督式學習法中最常用的方法。

神經元活化函數為輸入向量與連結權重向量乘積之線性疊加值，如下式：

XWxw

xwfnetfT

iji

iji

)()(

最小均方演算法（ LMS ）

最小均方演算法（ LMS ）

為學習速率（正值）； 太小收斂速度慢， 太大會發生震盪與不穩定的狀況；因此， Haykin （ 1996 ）建議值的範圍為：

max

20

Delta 學習法

Delta 學習法由 McClelland 及 Rumelhart 發展（ 1986 ），為監督式學習法，適用於活化函數為連續函數的神經元。

學習訊號為：)()]([ XWfXWfdr T

jTjj

Delta 學習法

與感知器學習法比較， Delta 學習法用於神經元具有連續性質，又稱為連續性感知器學習法。

Delta 學習法有時又稱為 LMS ，與 Widrow-Hoff 之 LMS比較， McClelland Rumelhart 的 Delta 學習法則適用於任一具有連續性質的活化函數。

Correlation 學習法 Correlation 學習法為監督式學習方式，適用於活化函數為非連續函數的神經元（如二位元）。

以通用學習法來看其學習訊號 r=dj。 權重值之調整方式為：

nixdw ijji ,,2,1for , 赫賓學習法之特例，學習訊號為訓練範例的目標輸出

值 dj。 權重初始值需設為零。

贏者全拿（ Winner-Take-All ）學習法

贏者全拿（ Winner-Take-All ）學習法為非監督式學習方式。

演算過程是針對一群神經元進行競爭式學習。 Winner-Take-All 是將輸入項的特性記憶於優勝

神經元的連結權重；優勝神經元為對輸入項有最大反應值之神經元，即與輸入項最為相似之神經元；僅優勝神經元可調整其連結權重值，其他神經元則不可調整其連結權重值。

贏者全拿（ Winner-Take-All ）學習法

此學習法每次疊代過程中逐漸縮小輸入向量與優勝神經元之連結權重向量差距，最終，每一神經元的連結權重向量代表數個被歸為同一類別輸入向量的平均值。

Grossberg 學習法

Grossberg 學習法為監督式學習方式。 演算過程是針對同一層神經元進行競爭式學習以選取優勝神經元，並調整其連結的權重向量。

需目標輸出值，以調整連結到輸出神經元的權重向量，使得網路輸出向量與目標輸出向量趨於一致。

結論

類神經網路及模糊理論的共同特性

1. 模擬人類的心智，推理等屬於心理成份的部份。如果我們把類神經網路比喻成大腦的硬體成份，則模糊邏輯就好像軟體部份，藉由兩者間的相輔相成，便能描述人類的種種思考行為。

2. 由不同模糊集合（ Fuzzy set) 上的不同的歸屬程度（ Membership grade ）所表達。

3. 兩者均是可以訓練的動態系統 4. 均具有歸納（ Generalization）能力及容錯能

力

類神經網路及模糊理論的差異性 1. 可快速產生模糊法則 2. 可產生較為接近資料分佈的歸屬函數 3. 對於有新增加資料的情況，不需重新產生全 部的模糊群

類神經網路及模糊理論優缺點 優點： 可以建構非線性的模型。 良好的推廣性，對於未知的輸入亦可得到正確的輸出。 可以接受不同種類的變數作為輸入，適應性強。可應用

的領域相當廣泛。 缺點： 類神經網路以迭代方式更新鍵結值與閥值，計算量大，

相當耗費電腦資源。 類神經網路的解有無限多組，無法得知哪一組的解為最佳解。

類神經網路訓練的過程中無法得知需要多少神經元個數，太多或太少的神經元均會影響系統的準確性，因此往往需以試誤的方式得到適當的神經元個數。

基因演算法基本演化流程

簡介 倒傳遞類神經網路（ BPN ）架構 倒傳遞類神經網路（ BPN ）學習演算法 倒傳遞類神經網路（ BPN ）應用實務探討 應用實例 例題

報告簡介

基因演算法

基因演算法的運作，是將欲求解的問題其目標變數 (Object Variable) ，以模擬生物學上的染色體 (Chromosome) 將其轉換成字串 (String) 的形式，字串中各個位元 (Bit) 即為染色體中的基因 (Gene) ，從生物學的觀點來看基因演算法則是根據親代來進行複製 (Reproduction) 、交配 (Crossover) 及突變 (Mutation) 等運算，以完成世代演算並找出最佳化的解。

基因演算法的特點

基因演算法的特點

1. 基因演算法以族群字串工作，並行搜尋許多峰值而非單一的點。

2. 基因演算法採用機率轉變法則，而非決定性法則。 3. 基因演算法採用目標函數資訊，而非導數或其他輔助知識，所以對於連續或非連續變數的系統皆可適用，不像傳統的搜尋方法只能用連續變數的系統。

實數型基因演算法

使用二進位基因演算法在編碼及解碼上耗費許多時間，尤其是當參數增加時，多參數問題的大量運算將嚴重延遲程式執行的效率。

我們改以實數型基因演算法來搜尋多參數問題的最佳解。針對最佳化問題，假設 w 為所求參數的集合 (即模糊類神經網路所有權重值集合 )。

模擬結果下圖為三種交配方法由第 1 代到第 200 代的誤差情形

實數型的交配過程： 方法 1 ：隨機選擇交配點法。 此種方法為傳統所使用的方法，其交配點為隨機選擇，

不去測試交配後新族群的適應性是否會比未交配前的族群好，惟有保留原族群適應性最佳的染色體到下一代的族群。

方法 2 為循序搜尋交配點法，我們從頭至尾搜尋交配後適應

性函數會較交配前高的交配點； 方法 3 為循序搜尋單參數交配點法，若交配點為 j，則我們只在 j 行做線性組合的交配運算而已。

基本演化流程

以下是四個輸入與一個輸出的倒傳遞網路模型

圓圈的部分代表神經元

簡介

倒傳遞類神經網路（ Backpropagation Neural Network ， BPN ） 以最佳化方式建立輸入與輸出間的非線性映射關係。 以最陡坡降法調整參數，配合網路運算逐步修正參數，經過多次疊代以獲得更精確解。

學習精度高、回想速度快、輸出值可為連續值。 應用：樣本辨識、分類、函數趨近、預測、系統控制、雜訊過濾、資料壓縮等。

倒傳遞類神經網路學習演算法 誤差倒傳遞演算法（ EBP ）

正向傳遞：輸入訊息由輸入層經由隱藏層加權運算，透過活化函數處理後，再傳向輸出層

反向傳遞：當正向傳遞在輸出層不能得到目標輸出值時。

倒傳遞類神經網路學習演算法

個神經元的偏權值層第 第

的連結權重

個神經元層第 個神經元與第層第 第

活化函數

層輸出值的權重累加值 第

個神經元輸出值層第 第

:

1 :

:

1:

:

)(1

jnb

i njnw

f

nnet

jny

bywnet

netfy

nj

nji

nj

nj

i

nj

ni

nji

nj

nj

nj

倒傳遞類神經網路學習演算法

倒傳遞類神經網路學習演算法 BPN 之學習效率提升方法

加入慣性項（ momentum term ）批次學習使用變動的學習速率使用不同的轉換函數使用不同的目標函數 加入範例重要性因子 加入隨機擾動量以跳出局部最小值（ local minim

a ）

倒傳遞類神經網路學習演算法 加入慣性項（ momentum term ）

基本概念為：每一代權重的更新依著前一代的方向進行。

倒傳遞類神經網路學習演算法 優點：

多組範例推求誤差函數的平均梯度，其效果通常佳。若範例中含有雜訊干擾時，學習效果較好。批次學習亦較適用於細緻複雜的最佳化搜尋方法。

缺點：需較大的儲存空間與運算技巧。若輸入範例特意加入白雜訊，批次學習因平均效應而無法脫離局部最佳解。

倒傳遞類神經網路應用實務探討

隱藏層層數不需超過兩層以上； 1至 3 層。兩層隱藏層，各層隱藏層含少量神經元。考慮因素：網路大小、訓練時間、精確度、對硬體需求。

倒傳遞類神經網路應用實務探討

隱藏層神經元個數對網路之影響： 決定網路參數之多寡； 影響網路規納推演之能力。

決定隱藏層神經元個數之方法： 網路修剪法（ pruning algorithm ）： 網路增長法（ constructive algorithm ）：

倒傳遞類神經網路應用實務探討 參數設定限制

輸入項資料前處理輸入項資料正規化至 [0.1, 0.9]範圍間，

輸出值的限制目標輸出值需考慮神經元之活化函數特性與輸出範圍，建議目標輸出值範圍為： [0.1, 0.9] 。

倒傳遞類神經網路應用實務探討

學習速率設定學習速率小，收斂慢，疊代次數多；學習速率之設定需依據問題與訓練範例資料，以試誤方式找出。

批次學習。

應用實例

函數趨近與預測：非線性函數映射、股價預測

分類、診斷：信用評等分類、設備診斷 訊號處理 非線性控制系統

例題介紹

半徑式函數網路（ Radial Basis Function Network ）做 y(x)=1/x 函數近似的應用

X=1.3.5....99共 50筆的數據作為訓練樣本， X=2.4.6.....100共 50筆的數據作為測試樣本，在類神經網路未訓練前，所得到的結果如下圖所示：

例題介紹

由下圖可看出類神經網路的輸出與系統的輸出幾乎相同，此時就可以停止訓練

例題介紹

例題介紹

下圖表示類神經網路訓練過程中價值函數的變化情形，價值函數是類神經網路收斂的指標，會隨著網路的訓練越來越小，最後幾乎不再有變化，此時就可判定此網路訓練完成。

由於網路的初始鍵結值是由隨機所產生，因此網路的訓練的結果並非唯一解，

例題介紹

例題介紹

四、應用

如類神經網路被用在語音辨識、影像處理、高速 modem、 機場爆炸物偵測等。而模糊系統則用在地下鐵駕駛、 電視電腦的磁頭調整、空調系統的調整、機械手臂、工業製造程序、電梯、交通號誌的控制等。

而類神經網路與模糊邏輯理論結合（類神經模糊網路）之應用也是非常廣泛。在洗衣機的應用方面，類神經網路即當作模糊控制器之補償器，在洗衣機中，除了原有之模糊控制器外，有一類神經網路被加進來，根據電導特性來量測水的乾淨或不乾淨。

資料分析及類神經網路模式的建立 模糊系統 (FS) 的資料決策與分析 基因演算法之搜尋最佳決策點 自我調適式專家系統 系統偵錯、數據修正及程序控制 資料辨識 及認證 遺傳演算法用於股市策略之研究 股票市場的決策系統 用類神經網路預測未來走勢的上下限來決定買賣點 投資決策支援系統、智慧型決策系統 基因演算法選擇最佳化的動態決策系統 基因演算法選擇最佳化的規則庫

冷氣機中壓縮機運轉時間與外界溫度、室內溫度、相對濕度有關。則外界溫度、室內溫度、與相對濕度可作為類神經網路的輸入，而壓縮機運轉的時間可作為系統的輸出。

在冰箱的應用方面，可以利用類神經網路來學習去預測一天當中何時冰箱的門開的頻率最高，此估測值被用到模糊控制器中，使冰箱能自動預先冷卻，這種方法可使冰箱中的食物溫度變化量在 2.2C 內。

五、未來研究方向

目前以類神經網路作為解決方案且有良好效果的問題有：語音辨識，天氣預測，文字辨識，股票指數預測，機器人控制，雷達偵測，影像辨識，汽車自動駕駛，醫學檢測，蛋白質 3D 結構檢測等，這也是類神經網路之所以能在短短的十年間，廣受重視且發展迅速的原因。

結論