泛朦第三系神经系.pptx

泛朦第三系神經系(Neural Network)泛朦第三系神经系第1页類神經網路導論類神經網路導論n類神經網路類神經網路（artificial neural network）或譯為人工神經網路或譯為人工神經網路：模仿生物神經網路資訊處理系統。泛朦第三系神经系第2页精確定義n 一種計算系統：硬體、軟體。n大量簡單相連人工神經元：模仿生物神經網路能力。n取得資訊：外界環境、人工神經元。n輸出結果：外界環境其它人工神經元。泛朦第三系神经系第3页背景（1）n1957年（電腦發展早期）：第一種類神經網路模式 感知機感知機（Perceptron）提出。n1960年代中期沒落。泛朦第三系神经系第4页沒落原因n1.本身理論無法突破（EX：XOR問題）。n2.數位電腦、人工智慧吸引。n3.當時相關技術無法實現神經電腦。泛朦第三系神经系第5页背景（2）n80年代中期：類神經網路研究復興，而在短短數年之內蔚為風潮。n原因：以下4點。泛朦第三系神经系第6页復興原因（1）n類神經網路在理論建立與模式開發上有了突破，最明顯突破包含：霍普菲爾網路霍普菲爾網路（Hopfield neural network，HNN）倒傳遞網路倒傳遞網路（Back-propagation network）。泛朦第三系神经系第7页復興原因（2）n解決電腦科學與人工智慧難題，（EX：樣本識別、機器學習）。n電子、光學等技術進展：提供實現神經電腦可能性（EX：基於VLSI神經電腦與光神經電腦誕生）。泛朦第三系神经系第8页復興原因（3）n從現代生物學、認知學、心裡學對生物神經網路瞭解，提供了發展新類神經網路模式啟示。泛朦第三系神经系第9页生物神經元模型n生物神經網路：由巨量神經細胞，或稱神經元所組成，神經細胞形狀和普通細胞有很大不一样。泛朦第三系神经系第10页神經細胞n神經核：神經細胞呈核狀處理機構。n軸索（神經軸）：神經細胞成軸索狀輸送機構。n樹突（神經樹）：神經細胞成樹枝狀輸出入機構。n突觸（神經節）：神經細胞神經樹上乘點狀連結機構。泛朦第三系神经系第11页神經核（soma）神經軸突（axon）神經突觸（synapses）（synapses）神經樹突（dendrites）(dendrites）泛朦第三系神经系第12页人工神經元模型（1）n類神經網路：由許多人工神經細胞（artificial neuron）所組成。又稱類神經元、人工神經元、處理單元（processing element）。n每一個處理單元輸出以扇形送出，成為其它許多處理單元輸入。泛朦第三系神经系第13页人工神經元模型（2）其中Yj=模仿生物神經元模型輸出訊號輸出訊號。處理單元輸出值與輸入值關係式：普通用輸入值加權乘積和之函數來表示泛朦第三系神经系第14页人工神經元模型（3）nf 模仿生物神經元模型轉移函數轉移函數（transfer function）。nWij 模仿生物神經元模型神經鏈結強度，又稱鏈結加權值鏈結加權值。泛朦第三系神经系第15页人工神經元模型（4）nXi 模仿生物神經元模型輸入訊號輸入訊號（input signal）。n模仿生物神經元模型閥值閥值（threshold value）。泛朦第三系神经系第16页泛朦第三系神经系第17页人工神經元模型（5）n鏈結鏈結（connection）：介於處理單元間訊號傳遞路徑。n每一個鏈結上有一個數值加權值Wij，用以表示第i處理單元對第j處理單元之影響程度。泛朦第三系神经系第18页人工神經元模型（6）n一個類神經網路:由許多個人工神經元所組成，並且能够組成不一样 網路模式網路模式（network model）或 網路典範網路典範（networkparadigm）。泛朦第三系神经系第19页類神經網路模型(1)n倒傳遞網路（back-propagation network，BPN）:應用最普遍。nBPN:包含許多層(含若干個處單元)泛朦第三系神经系第20页類神經網路模型(2)n輸入層單元輸入層單元:輸入訊息。n輸出層單元輸出層單元：輸出訊息。n隱藏層單元隱藏層單元：提供類神經網路表現處理單元間交互作用與問題內在結構能力。泛朦第三系神经系第21页泛朦第三系神经系第22页網路分類（1）n当前著名類神經網路不下數十種，主要分為四類n1.監督式學習網路監督式學習網路：從問題領域中取得訓練範例（有輸入變數值，也有輸出變數），並從中學習輸入變數與輸出變數內在對映規則，以應用於新案例（只有輸入變數值，而需推論輸出變數值應用）如BP。泛朦第三系神经系第23页網路分類（2）n2.無監督式學習網路：無監督式學習網路：從問題領域中取得訓練範例（只有輸入變數值），並從中學習範例內在聚類規則，以應用於新案例。n3.聯想式學習網路聯想式學習網路：從問題領域中取得訓練範例（狀態變數值），並從中學習範例內在記憶規則，以應用於新案例，如霍普菲爾網路霍普菲爾網路。泛朦第三系神经系第24页網路分類（2）n4.最適化應用網路最適化應用網路：對一問題決定其設計變數值，使其在滿足設計變數下，使設計目標達最正确狀態應用，如退火神退火神經網路經網路。泛朦第三系神经系第25页類神經網路運作（1）n類神經網路運作過程分成兩個階段：學習過程：從範例學習，以調整網路連節加權值過程。回想過程：網路依回想演算法，以輸入資料決定網路輸出資料過程。泛朦第三系神经系第26页類神經網路運作（2）n1.訓練範例：藉此調整網路連結加權值。訓練範例型式依所使用網路模式之不一样而異。n2.測試範例：用以評估網路學習结果所使用範例。n（1.2）差異：前者只用回想演算法得到推論輸出值，並與目標輸出值比較，以評估網路學習精度。泛朦第三系神经系第27页類神經網路運作（3）n3.待推案例：網路學習過程完後，可用網路推論待推案例結果。n（2.3）差異：前者沒有目標輸出變數向量泛朦第三系神经系第28页優點n高速計算能力n高容記憶能力n學習能力n容錯能力泛朦第三系神经系第29页應用n監督式學習應用：分類、預測。n非監督式學習應用：聚類。n聯想式學習應用：雜訊過濾、資料擷取。n最正确化問題應用：設計、排程。泛朦第三系神经系第30页基本架構（1）n處理單元：類神經網路基本單位n作用可用三個函數來說明：1）集成函數 2）作用函數 3）轉換函數泛朦第三系神经系第31页基本架構（2）n層：若干個具相同作用處理單元集合成。n層三種作用：1）正規化輸出 2）競爭化輸出 3）競爭化學習 泛朦第三系神经系第32页基本架構（3）n網路：若干個具不一样作用層集合成網路n網路兩種作用：1）學習過程 2）回想過程泛朦第三系神经系第33页泛朦第三系神经系第34页nC：實數型常數。單調(monotonic)遞增、平滑且可微分函數。n採用：倒傳遞類神經網路倒傳遞類神經網路、連續型霍普連續型霍普菲爾網路菲爾網路，都是此種活化函數。泛朦第三系神经系第35页倒傳遞網路n倒傳遞類神網路模式是当前類神網路學習模式中最具代表性，應用最普遍模式。n倒傳遞類神經網路屬於監督式學習網路，因而適合診斷、預測等應用。泛朦第三系神经系第36页輸出向量輸入向量輸出層：表示輸 出變數 隱藏層：表示輸 入處理 單元間 交互 影響輸出層：表示輸 入變數泛朦第三系神经系第37页範例n文章：Integration of Gray Prediction and Fuzzy Model for Improving Back-propagation Learning Algorithm R.J.Kuo,C.Y.Chiu,and C.C.Hsieh Fuzzy 泛朦第三系神经系第38页題目簡述n基本觀念：利用灰預測和含糊理論來改进BP訓練速度。n模擬：XOR範例n設定：初始學習率：0.3，學習次數1000次。n由MSE（mean square error）來判定收斂效。泛朦第三系神经系第39页解法（灰色）n建立GM（1,1）模型灰微分方程式目标：預測error（PE）and change of error(PCE)。n用PE和PCE根據FUZZY規則，調整訓練參數。泛朦第三系神经系第40页解法（類神經）1.各層間初始權重：亂數。2.開始時訓練誤差大：給大學習率使系統收斂快。3.當訓練靠近最正确化：給小學習率以免震盪。4.訓練速度調整是根據PE和PCE。泛朦第三系神经系第41页解法（含糊）nPE大時或非常大，訓練速率大，反之亦然。nPCE負時訓練速率應增加，PCE正時訓練速率應減小。泛朦第三系神经系第42页含糊規則nIf PE is Very Large and PCE is Negatively Large THEN the training rate should be increased Positively Large 泛朦第三系神经系第43页泛朦第三系神经系第44页泛朦第三系神经系第45页泛朦第三系神经系第46页泛朦第三系神经系第47页