導(dǎo)語：如何才能寫好一篇神經(jīng)網(wǎng)絡(luò)的算法，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

【關(guān)鍵詞】深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 權(quán)值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術(shù)的快速發(fā)展，芯片的設(shè)計與生產(chǎn)進(jìn)入了納米時代，計算機(jī)的計算能力與計算速度得到了空前的提高，但是人們的需求是無限的，要求計算機(jī)能更加任性化的服務(wù)于我們的生活，這也就要求計算機(jī)本身能像人一樣識別與感知周圍的環(huán)境，并對復(fù)雜的環(huán)境做出正確的判斷。而圖片信息是我們周圍環(huán)境最直觀的，最容易獲取的信息，要求計算機(jī)能對為的環(huán)境做出識別與判斷也就要求計算機(jī)能夠智能的識別圖像信息。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個新的研究領(lǐng)域。通過深度學(xué)習(xí)的方法構(gòu)建深度網(wǎng)絡(luò)來抽取目標(biāo)特征進(jìn)而識別周圍的環(huán)境。卷積神經(jīng)網(wǎng)絡(luò)對圖像的處理具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性。在處理圖像是更加快捷和便利。卷積神經(jīng)網(wǎng)絡(luò)使得計算機(jī)在感知識別周圍環(huán)境的能力有了巨大的提升，使得計算機(jī)更加智能。卷積神經(jīng)網(wǎng)絡(luò)擁有強(qiáng)大的特征提取能力，使得其在圖像分類識別，目標(biāo)跟蹤等領(lǐng)域有著強(qiáng)大的運用。

1.1 國內(nèi)外研究現(xiàn)狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導(dǎo)神經(jīng)網(wǎng)絡(luò)輸出誤差進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)。通過BP算法，神經(jīng)網(wǎng)絡(luò)能夠從大量訓(xùn)練數(shù)據(jù)中的學(xué)習(xí)到相關(guān)統(tǒng)計信息，學(xué)習(xí)到的數(shù)據(jù)統(tǒng)計信息能夠反映關(guān)于輸入-輸出數(shù)據(jù)模型的函數(shù)映射關(guān)系。

自2006年以來，Geoffery Hinton教授提出深度信念網(wǎng)絡(luò)。從此深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。深度學(xué)習(xí)不僅改變著傳統(tǒng)的機(jī)器學(xué)習(xí)方法，也影響著我們對人類感知的理解，迄今已在語音識別和圖像理解等應(yīng)用領(lǐng)域引起了突破性的變革。各種相關(guān)的算法和模型都取得了重要的突破，使得深度學(xué)習(xí)在圖像分類，語音識別，自然語言處理等領(lǐng)域有廣泛的運用。

2013年百度成立百度深度學(xué)習(xí)研究院以來我國的人工智能領(lǐng)域取得了長足的進(jìn)步。在人工智能專家吳恩達(dá)的帶領(lǐng)下，百度陸續(xù)推出一系列人工智能產(chǎn)品，無人駕駛技術(shù)，DuerOS語音交互計算平臺，人臉識別技術(shù)，美樂醫(yī)等優(yōu)秀產(chǎn)品。此外Imagenet圖像識別大賽中也誕生了一系列經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，VGG，F(xiàn)ast-R-CNN，SPP-net等等，可以說人工智能技術(shù)在近幾年得到了空前的發(fā)展。

2 深度學(xué)習(xí)概述

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個新方向，通過學(xué)習(xí)樣本數(shù)據(jù)內(nèi)在規(guī)律和深層特征深度，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠像人一樣有分析和學(xué)的能力，尤其在文字處理，圖像識別，語音等領(lǐng)域更加突出。能夠自主學(xué)習(xí)一些新的東西。目前深度學(xué)習(xí)使用的典型技術(shù)是通過特征表達(dá)和分類器來進(jìn)行目標(biāo)識別等任務(wù)的。并在語音識別、圖像處理、機(jī)器翻譯等領(lǐng)域取得很多成果。

深度學(xué)習(xí)不同于以往的淺層學(xué)習(xí)，淺層學(xué)習(xí)模型值包含一個隱藏層，或者不存在隱藏層，深度學(xué)習(xí)則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實驗對輸入信息進(jìn)行分級表達(dá)。目前深度學(xué)習(xí)框架主要包含三種深度學(xué)習(xí)框架，如圖1、2、3所示。

3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層次比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)復(fù)雜，卷積神經(jīng)網(wǎng)絡(luò)包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經(jīng)元權(quán)值共享的規(guī)則，因此卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量遠(yuǎn)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)少，卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和前向測試的復(fù)雜度大幅度降低，同時也減少了神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)過擬合的幾率。卷積神經(jīng)網(wǎng)絡(luò)主要有兩部分，分別是卷積核和下采樣核。卷積核主要對上一層的圖像進(jìn)行卷積運算，提取圖像特征，下采樣核則是對上層的數(shù)據(jù)進(jìn)行將為處理，減少神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。

卷積神經(jīng)網(wǎng)絡(luò)中每一個神經(jīng)元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統(tǒng)人類能理解的特征，也包括神經(jīng)網(wǎng)絡(luò)自身能夠識別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無關(guān)。

圖4是經(jīng)典的LeNet5卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，LeNet5架構(gòu)中卷積核和下采樣核交替出現(xiàn)，下采樣核及時的將卷積核生成的特征向量進(jìn)行降維，減少神經(jīng)網(wǎng)絡(luò)的運算量。LeNet5算法在1962年幼Hubel等人提出，在識別手寫數(shù)字mnist中有極高的準(zhǔn)確率。

4 R-CNN、Fast-R-CNN對比分析

卷積神經(jīng)網(wǎng)絡(luò)在對圖像進(jìn)行識別具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性，并且能夠?qū)崿F(xiàn)高準(zhǔn)確率識別圖像，但是在現(xiàn)實生活運用中往往需要神經(jīng)網(wǎng)絡(luò)標(biāo)記出目標(biāo)的相對位置，這是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不具備的功能。因此在前人傳統(tǒng)卷積神經(jīng)網(wǎng)路基礎(chǔ)上對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，產(chǎn)生了具有對圖像中目標(biāo)進(jìn)行識別和定位的卷積神經(jīng)網(wǎng)絡(luò)R-CNN，F(xiàn)ast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫即對圖像進(jìn)行局部區(qū)域的卷積處理，其核心思想主要是利用候選區(qū)圖像對物體探測中位置信息進(jìn)行精確處理和利用監(jiān)督式預(yù)訓(xùn)練和區(qū)域特殊化的微調(diào)方法，代替了傳統(tǒng)的非監(jiān)督式預(yù)訓(xùn)練和監(jiān)督式微調(diào)。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計算機(jī)視覺算法將每一張圖片分割成1000-2000張的候選區(qū)圖片后，要將這些候選區(qū)圖片進(jìn)行變換，生成固定大小的候選圖片，在訓(xùn)練提取特征時一般采用經(jīng)過預(yù)訓(xùn)練的模型參數(shù)進(jìn)行finetuning，榱嗽黽友盜費本，模型在也將生成的候選框以及標(biāo)定的標(biāo)簽作為訓(xùn)練樣本進(jìn)行訓(xùn)練。R-CNN采用SVMs分類器對特征向量進(jìn)行分類，在訓(xùn)練SVMs時將候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征和SVM標(biāo)定結(jié)果輸入到SVMs分類器訓(xùn)練分類器模型。而在測試時將圖像全部候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征輸入到SVMs分類器中，得到每一類的評分結(jié)果。但是R-CNN在處理一張圖片是要處理需要對一張圖片1000-2000個候選區(qū)圖像進(jìn)行前向運算，保存所有后選取圖片的特征值，要求計算硬件有大量的存儲空間，同時處理每一張圖片的時間也會增加。由于訓(xùn)練集龐大，本文采用hard negative mining method方法提高存儲的利用率。

R-CNN的體現(xiàn)出了極大的優(yōu)勢，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計算的時間成本很大，達(dá)不到實時的計算效果，R-CNN在對候選區(qū)進(jìn)行處理時會使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進(jìn)的一種基于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤定位算法。相比于R-CNN，F(xiàn)ast-R-CNN從單輸入變?yōu)殡p輸入，在全連接層后有了兩個輸出，引入了Rol層。

Fast-R-CNN在運行的時候同樣會生成大量的候選區(qū)，同時將原始的圖片用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，將原始圖片提取的特征與生成的候選區(qū)坐標(biāo)送入Rol層為每一個候選區(qū)生成一個固定大小的特征向量。最后將Rol生成的特征向量全連接層產(chǎn)生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計算K+1分類的損失，K為第K個目標(biāo)，1為背景；Regression LOSS計算候選區(qū)的四個角的坐標(biāo)。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計算候選區(qū)是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實驗測試

對于本文提出的卷積神經(jīng)網(wǎng)絡(luò)識別圖像定位圖像目標(biāo)算法R-CNN，F(xiàn)ast-R-CNN，在本章給出實驗結(jié)果。實驗平臺為基于Linux系統(tǒng)的debian8下運行caffe進(jìn)行訓(xùn)練，采用顯卡K620進(jìn)行實驗。

訓(xùn)練模型初始化參數(shù)在是服從高斯隨機(jī)分布，R-CNN采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，F(xiàn)ast-R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

本次實現(xiàn)的訓(xùn)練樣本為錄制實驗室視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換成幀圖片，對每張圖片數(shù)據(jù)進(jìn)行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進(jìn)行旋轉(zhuǎn)，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬張樣本圖片，其中136.8萬張圖片作為訓(xùn)練樣本，7.2萬張作為測試樣本。

6 總結(jié)

在目標(biāo)識別定位領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的圖像處理能力，對圖像的識別定位具有很高度平移，旋轉(zhuǎn)，扭曲不變形的優(yōu)良性能。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)R-CNN和Fast-R-CNN都有強(qiáng)大的圖像處理能力。Fast-R-CNN在識別準(zhǔn)確率上比R-CNN高。R-CNN算法復(fù)雜，對一張圖片需要進(jìn)行1000-2000次的卷積運算，特征重復(fù)提取。因此在訓(xùn)練和前向測試時，R-CNN用的時間長，不能很好的適用于處理實時圖片數(shù)據(jù)，尤其視頻數(shù)據(jù)。R-CNN在對每個候選區(qū)進(jìn)行特征提取之后需要將提取的特征向量存入內(nèi)存，降低訓(xùn)練測試時間的同時也需要耗費大量內(nèi)存。因此從各方面分析可知，F(xiàn)ast-R-CNN性能優(yōu)于R-CNN。

參考文獻(xiàn)

[1]謝寶劍.基于卷積神經(jīng)網(wǎng)絡(luò)圖像分類方法研究[D].合肥工業(yè)大學(xué)，2015.

[2]鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識別中的新進(jìn)展[J].中國圖象圖形學(xué)報，2014（02）：175-184.

[3]陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與運用研究[D].杭州：浙江工商大學(xué)，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機(jī)應(yīng)用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

篇2

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN），是基于人類大腦的生物活動所提出的，是一個數(shù)學(xué)模型。它由眾多節(jié)點通過一定的方式互聯(lián)組成，是一個規(guī)模巨大、自適應(yīng)的系統(tǒng)。其中有一種學(xué)習(xí)算法是誤差傳遞學(xué)習(xí)算法即BP算法。BP算法是人工智能最常用到的學(xué)習(xí)方法，從一定意義上來講，BP算法的提出，終結(jié)了多層網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練算法上的空白史，是在實際應(yīng)用中最有效的網(wǎng)絡(luò)訓(xùn)練方法，對ANN的應(yīng)用和發(fā)展起到了決定性的作用。

BP算法是使用從輸出層得到的誤差來估算前一層的誤差，再利用該誤差估算更前一層的誤差。依次進(jìn)行，就會獲得其他所有各層的估算誤差。這樣就實現(xiàn)了將從輸出層的得到誤差沿著與輸入信號傳送相反的方向逐級向網(wǎng)絡(luò)的輸入端傳遞的過程[1]。但是，BP算法也存在著不可忽視的缺陷。基于此，該文總結(jié)介紹了BP的改進(jìn)方法。

2 BP算法的基本思想

2.1 BP算法的基本原理

BP算法是有監(jiān)督指導(dǎo)的算法，它的學(xué)習(xí)訓(xùn)練過程一般分為兩步：首先是輸入樣本的正向傳遞；第二步誤差的反向傳遞；其中信號正向傳遞，基本思想是樣本值從輸入層輸入，經(jīng)輸入層傳入隱藏層，最后通過輸出層輸出，中間層對樣本數(shù)據(jù)進(jìn)行處理操作，利用各層的權(quán)值和激活函數(shù)對數(shù)據(jù)進(jìn)行操作然后在輸出層獲得輸出[2]；接下來就是反向傳遞，算法得到的實際輸出值與期望目標(biāo)輸出之間必然會有誤差，根據(jù)誤差的大小來決定下一步的工作。如果誤差值較小滿足訓(xùn)練的精度要求，則認(rèn)為在輸出層得到的值滿足要求，停止訓(xùn)練；反之，則將該誤差傳遞給隱藏層進(jìn)行訓(xùn)練，按照梯度下降的方式，對權(quán)值和閾值進(jìn)行調(diào)整，接著進(jìn)行循環(huán)，直到誤差值滿足精度要求停止訓(xùn)練[3]。

3 BP算法的缺陷

盡管BP算法有著顯著的優(yōu)點，但是在實際應(yīng)用過程中，BP算法會出現(xiàn)很多問題。尤其是下面的問題，對BP神經(jīng)網(wǎng)絡(luò)更好的發(fā)展有很大影響。有的甚至?xí)?dǎo)致算法崩潰。

3.1 收斂速度的問題

BP算法在進(jìn)行訓(xùn)練學(xué)習(xí)時，收斂速度慢，特別是在網(wǎng)絡(luò)訓(xùn)練達(dá)到一定的精度時，BP算法就會出現(xiàn)一個長時間的誤差“平原”，算法的收斂速度會下降到極慢[4]。如果盲目的加快收斂速度，則會使算法產(chǎn)生震蕩現(xiàn)象。

3.2 局部極小點問題

在一些初始權(quán)值的條件下，BP算法在訓(xùn)練過程中會陷入局部極值。這是由于BP網(wǎng)絡(luò)采用最速下降法，誤差曲面非常復(fù)雜且分布著許多局部極值點，一旦陷入，BP算法就很難逃脫，進(jìn)而會使BP網(wǎng)絡(luò)的訓(xùn)練停止。算法可以在某處得到一個收斂值，但是并不能確定取到了誤差曲面的最小值。這樣就會使網(wǎng)絡(luò)難以達(dá)到事先規(guī)定的誤差精度[5]。

3.3 網(wǎng)絡(luò)癱瘓問題

在算法的學(xué)習(xí)訓(xùn)練過程中，網(wǎng)絡(luò)的權(quán)值會變得很大，從而使得節(jié)點的輸入變大，這就會導(dǎo)致其激活函數(shù)的導(dǎo)函數(shù)在改點取得的值很小，接著會導(dǎo)致算法的訓(xùn)練速度變得極低，最終會導(dǎo)致BP網(wǎng)絡(luò)停止收斂，網(wǎng)絡(luò)癱瘓。

3.4 步長問題

BP的收斂是建立在無窮小權(quán)修改量的基礎(chǔ)上，而這就意味著網(wǎng)絡(luò)所需要的訓(xùn)練時間是無窮的，這顯然是不可取的。因此，要限定權(quán)值修改量的值。這主要是因為，如果步長太小，那么網(wǎng)絡(luò)的收斂速度就會下降，如果步長太大，就會使BP神經(jīng)網(wǎng)絡(luò)產(chǎn)生癱瘓和振蕩。學(xué)者們經(jīng)過研究提出一個較好的方法，就是用自適應(yīng)的步長代替原來的定值步長，以使權(quán)值修改量隨著BP網(wǎng)絡(luò)的訓(xùn)練而不斷變化[6]。

4 改進(jìn)BP算法的方法

BP算法應(yīng)用廣泛，但它又存在很多缺陷，針對BP算法的問題，國內(nèi)外許多學(xué)者提出各種改進(jìn)方法，主要的改進(jìn)方法分為兩類：一是啟發(fā)式改進(jìn)，如附加動量法和自適應(yīng)學(xué)習(xí)率等；二是結(jié)合新理論的改進(jìn)。這些方法在不同程度上提高了網(wǎng)絡(luò)的收斂速度，避免了局部最小問題。

4.1 啟發(fā)式改進(jìn)方法

啟發(fā)式改進(jìn)方法是建立在BP網(wǎng)絡(luò)梯度下降規(guī)則的基礎(chǔ)上，通過對BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和學(xué)習(xí)率的改進(jìn)，從而解決BP網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練過程中遇到的問題。它的核心思想是：使權(quán)重的調(diào)整量最大限度的適應(yīng)誤差下降的要求。該文主要介紹了附加動量法。

傳統(tǒng)的BP算法實際上是運用最速下降規(guī)則來搜索最優(yōu)點的算法，該規(guī)則是順著梯度的反方向進(jìn)行權(quán)值的修正，并不將前一階段積累的經(jīng)驗考慮進(jìn)來。因此會在訓(xùn)練過程中發(fā)生震蕩，導(dǎo)致收斂速度緩慢。但是將動量項引入到BP網(wǎng)絡(luò)中后，當(dāng)輸入樣本依照順序輸入時，則可以將權(quán)值的修正公式看作為以t為變量的時間序列，那么權(quán)值的修改公式就改變?yōu)槿缦滤荆?/p>

加入動量項以后若本次。

4.2 BP網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化

在BP算法中，輸入和輸出節(jié)點的個數(shù)由實際問題確定，網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化主要是針對隱藏層的節(jié)點數(shù)和層數(shù)。許多研究表明，一個隱藏層就可以解決各種分類問題。那么對于隱藏層節(jié)點的個數(shù)的確定，有的學(xué)者給出了公式[NH=NI+NO+L]（其中[NH]表示隱藏層節(jié)點數(shù)，[NI]表示輸入層節(jié)點數(shù)，[NO]表示輸出層節(jié)點數(shù)），但是公式缺乏一定的理論支持，所以目前最好的方法是通過經(jīng)驗和在學(xué)習(xí)訓(xùn)練過程中不斷的調(diào)整隱藏層節(jié)點數(shù)，最后得到一個合適的網(wǎng)絡(luò)結(jié)構(gòu)。

4.3 基于新理論的算法改進(jìn)

隨著對BP網(wǎng)絡(luò)結(jié)構(gòu)知識的研究，能夠更加深刻的理解BP算法誤差傳遞的本質(zhì)。出現(xiàn)了許多基于新興理論的BP算法的改進(jìn)，這種改進(jìn)方式是結(jié)合了其它領(lǐng)域比較成功的優(yōu)化算法和理論，比如將遺傳算法與BP算法相結(jié)合，將遺傳算法高效的全局尋優(yōu)能力引入進(jìn)來，利用GA算法來優(yōu)化BP算法的權(quán)值和閾值，解決BP神經(jīng)網(wǎng)絡(luò)存在容易陷入局部極值和收斂速度慢的問題，兩種算法的結(jié)合實現(xiàn)了各自優(yōu)勢的互補(bǔ)，取得了良好的效果[8]；將粒子群優(yōu)化算法用于BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練，使算法更容易找到全局最優(yōu)解，具有更好的收斂性[9]。很多研究者還將BP算法與模糊數(shù)學(xué)理論、小波理論、混沌算法等相結(jié)合。這些改進(jìn)使得BP神經(jīng)網(wǎng)絡(luò)得到更進(jìn)一步的應(yīng)用。

5 小結(jié)

BP算法是目前在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中得到最廣泛應(yīng)用的。該文總結(jié)了BP算法的原理，針對BP算法中出現(xiàn)的問題，雖然給出了BP算法的改進(jìn)方法，但還是有很多不足之處。隨著科學(xué)日新月異的發(fā)展，各種新的優(yōu)化算法 不斷的提出，BP算法也會得到更廣泛的發(fā)展。

參考文獻(xiàn)：

[1] 胡彩萍.基于BP神經(jīng)網(wǎng)絡(luò)的排序評價算法研究及應(yīng)用[D].南昌：江西師范大學(xué)碩士學(xué)位論文，2009.

[2] 劉翔.BP算法的改進(jìn)及其應(yīng)用[D].太原：太原理工大學(xué)碩士學(xué)位論文，2012.

[3] 張璐璐.基于遺傳神經(jīng)網(wǎng)絡(luò)的人民幣識別方法研究[D].長春：吉林大學(xué)碩士學(xué)位論文，2009.

[4] 張波.DRP決策支持系統(tǒng)及小波網(wǎng)絡(luò)在其中的應(yīng)用[D].成都：四川大學(xué)碩士學(xué)位論文，2006.

[5]付海兵，曾黃麟.BP神經(jīng)網(wǎng)絡(luò)的算法及改進(jìn)[J].中國西部科技，2012，11（8）：1671-6396.

[6] 周羽.紅外圖像人臉識別研究[D].大連：大連理工大學(xué)碩士學(xué)位論文，2007.

篇3

關(guān)鍵詞： BP算法； 入侵檢測； 神經(jīng)網(wǎng)絡(luò)； 隨機(jī)優(yōu)化算子

中圖分類號： TN915.08?34； TP393.08 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2017）11?0091?04

Research on BP algorithm based on neural network and its application

in network intrusion detection

LUO Junsong

（College of Information Science and Technology， Chengdu University of Technology， Chengdu 610059， China）

Abstract： By analyzing the problems of BP neural network applied to the detection system， the automatic variable?rate learning method， forgetting factor and random optimization operator are introduced into the BP algorithm on the basis of traditional BP algorithm. The BP algorithm is applied to the network intrusion detection system. The simulation results show that the improved BP neural network algorithm applied to intrusion detection has the characteristics of fast speed and easy convergence， and can quickly obtain the target accuracy of 0.02. The detection rate， missed detection rate and false alarm rate of the improved BP neural network algorithm can reach up to 96.17%， 3.83% and 4.15% respectively， whose detection rate is 11.65% higher than that of the traditional BP algorithm， the missed detection rate is 10.66% lower than that of the traditional BP algorithm， and the false alarm rate is 4.07% lower than that of the traditional BP algorithm. The superiority of the algorithm is obvious.

Keywords： BP algorithm； intrusion detection； neural network； random optimization operator

0 引 言

隨著通信技術(shù)和計算機(jī)技術(shù)的快速發(fā)展，計算機(jī)的網(wǎng)絡(luò)規(guī)模越來越大，通信系統(tǒng)也越來越復(fù)雜，由于計算機(jī)網(wǎng)絡(luò)本身具有漏洞，同時還有黑客對網(wǎng)絡(luò)進(jìn)行攻擊，因此計算機(jī)網(wǎng)絡(luò)受到的威脅和攻擊日益增加[1?3]。網(wǎng)絡(luò)安全形勢越來越嚴(yán)峻。通過入侵檢測技術(shù)可收集計算機(jī)網(wǎng)絡(luò)中的若干關(guān)鍵點信息，同時對這些信息進(jìn)行分析，并對網(wǎng)絡(luò)是否遭到襲擊、是否存在違反安全策略行為進(jìn)行檢查，并做出及時響應(yīng)，對網(wǎng)絡(luò)連接進(jìn)行切斷并報警等[4?6]。目前傾向于通過入侵檢測技術(shù)結(jié)合人工智能算法進(jìn)行相關(guān)研究，對于各種入侵行為，采用人工智能算法通過自學(xué)習(xí)、自適應(yīng)能力進(jìn)行識別、檢測[7]。

作為一種重要的模式識別方法，人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織、推廣能力強(qiáng)等特點[8]。在入侵檢測系統(tǒng)中，應(yīng)用人工神經(jīng)網(wǎng)絡(luò)方法可使系統(tǒng)能較好地識別已知攻擊，同時還具有對未知攻擊進(jìn)行檢測的能力[9]。但是在異常入侵檢測系統(tǒng)中，應(yīng)用標(biāo)準(zhǔn)BP算法存在收斂局部極小值、學(xué)習(xí)速度慢等缺點，這在很大程度上影響了入侵檢測系統(tǒng)的性能[10]。本文在對原有BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)的基礎(chǔ)上，研究了優(yōu)化的神經(jīng)網(wǎng)絡(luò)BP算法及其在網(wǎng)絡(luò)入侵檢測中的應(yīng)用。

1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，包括輸入信號前向傳遞和誤差反向傳播兩個過程，在結(jié)構(gòu)上一般由輸入層、隱含層、輸出層三層構(gòu)成，每一層的神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。它被廣泛應(yīng)用在BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型中。網(wǎng)絡(luò)結(jié)構(gòu)一般只需單個隱含層就能以任意精度逼近任意有理函數(shù)。訓(xùn)練樣本的輸入、輸出向量的維數(shù)分別決定了網(wǎng)絡(luò)的輸入、輸出層神經(jīng)節(jié)點個數(shù)，典型的只有單個隱含層、單個輸出的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

圖1中，為BP神經(jīng)網(wǎng)絡(luò)的一組輸入向量；為網(wǎng)絡(luò)的目標(biāo)輸出值；為輸入層與隱含層之間的連接權(quán)值；為隱含層c輸出層之間的連接權(quán)值；分別為隱含層和輸出層的節(jié)點閾值。若設(shè)隱含層節(jié)點個數(shù)為則在前向傳遞中，輸入信號向量從輸入層經(jīng)隱含層逐層傳輸，最后到輸出層，通過各層連接權(quán)值矢量、閾值矢量和每一層相應(yīng)的激勵函數(shù)進(jìn)行計算。得到輸出層的預(yù)測輸出值若預(yù)測值與目標(biāo)值之間有誤差，則誤差部分轉(zhuǎn)入反向逐層傳遞，沿誤差減小方向調(diào)整網(wǎng)絡(luò)各層連接的權(quán)值、閾值。反復(fù)執(zhí)行以上過程，使得BP神經(jīng)網(wǎng)絡(luò)的預(yù)測值不斷逼近實際輸出值。

2 入侵檢測算法

網(wǎng)絡(luò)入侵檢測通過分析系統(tǒng)數(shù)據(jù)，一旦有網(wǎng)絡(luò)攻擊行為、非授權(quán)網(wǎng)絡(luò)訪問時，入侵檢測系統(tǒng)就會報警，同時對入侵線路進(jìn)行切斷。入侵檢測系統(tǒng)應(yīng)具有監(jiān)視系統(tǒng)、用戶的活動，對系統(tǒng)、用戶活動進(jìn)行分析，對異常行為模式進(jìn)行分析，對已知進(jìn)攻模式進(jìn)行識別，審計系統(tǒng)弱點、構(gòu)造，跟蹤管理系統(tǒng)審計，對系統(tǒng)、數(shù)據(jù)文件完整性進(jìn)行評估，對用戶違反安全策略行為進(jìn)行識別。常見的攻擊手段目前包括非授權(quán)獲得權(quán)限、非授權(quán)訪問、探測、拒絕服務(wù)等。在實際中，這些攻擊手段變異很大，入侵檢測難度較大。BP神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的自學(xué)習(xí)和自組織能力，經(jīng)過訓(xùn)練后，對以前觀察到的入侵檢測行為模式，BP神經(jīng)網(wǎng)絡(luò)會進(jìn)行歸納和總結(jié)，可識別出已觀察到的攻擊和已知攻擊變異的新攻擊，圖2為網(wǎng)絡(luò)的入侵檢測過程。

3 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)入侵檢測

3.1 BP神經(jīng)網(wǎng)絡(luò)用于檢測系統(tǒng)存在的問題

BP神經(jīng)網(wǎng)絡(luò)采用分布式存儲，但傳統(tǒng)的BP算法存在一些不足，包括極小的局部，較慢的學(xué)習(xí)收斂速度，缺乏理論隱含層節(jié)點的選取，已經(jīng)學(xué)完樣本會受到新加入樣本的影響，每次樣本的輸入必須具有確定相同的特征數(shù)目。

在入侵檢測中，BP神經(jīng)網(wǎng)絡(luò)的實現(xiàn)方式主要是與現(xiàn)有系統(tǒng)結(jié)合進(jìn)行，BP神經(jīng)網(wǎng)絡(luò)與應(yīng)用模式識別系統(tǒng)相結(jié)合使用，例如與專家系統(tǒng)結(jié)合。在這種方式中，BP神經(jīng)網(wǎng)絡(luò)可作為系統(tǒng)組成部分，通常是作為信息過濾模塊或信息預(yù)處理模塊，當(dāng)信息輸入系統(tǒng)后，神經(jīng)網(wǎng)絡(luò)會對信息做過濾處理。另外，神經(jīng)網(wǎng)絡(luò)可規(guī)則自動生成模塊，進(jìn)而更新入侵檢測系統(tǒng)規(guī)則庫、模式庫。這種方式的優(yōu)點是能將入侵檢測系統(tǒng)的工作性能提高，缺點是這種方式神經(jīng)網(wǎng)絡(luò)的真正優(yōu)勢不能得到充分發(fā)揮。

3.2 改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法

在信號檢測、非線性處理、模式識別等領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)應(yīng)用較多，這是因為人工神經(jīng)網(wǎng)絡(luò)自組織性、自適應(yīng)性非常好，同時其非線性特性明顯，信息存儲為分布式模式、可進(jìn)行大規(guī)模的并行處理。實質(zhì)上BP神經(jīng)網(wǎng)絡(luò)算法屬于非線性優(yōu)化的梯度算法，在收斂性上，該算法存在不足，也就是說該算法的學(xué)習(xí)結(jié)果有可能落入到均方誤差全局最小點，也有可能落入到局部極小點，造成算法不收斂，使工作模式陷入錯誤。

入侵檢測系統(tǒng)的主要功能是對入侵計算機(jī)網(wǎng)絡(luò)的行為和計算機(jī)系統(tǒng)進(jìn)行檢測，包括數(shù)據(jù)聚類、數(shù)據(jù)采集、分析判斷行為、對入侵行為進(jìn)行響應(yīng)、報警等。BP網(wǎng)絡(luò)各層神經(jīng)元僅連接相鄰層神經(jīng)元；在各層內(nèi)部，神經(jīng)元間無連接；同時各層神經(jīng)元間也無反饋連接。在信號輸入后，傳播到隱節(jié)點經(jīng)變換函數(shù)再將信息傳播到輸出節(jié)點，經(jīng)過處理，輸出結(jié)果。本文將改進(jìn)的BP 神經(jīng)網(wǎng)絡(luò)用于入侵檢測系統(tǒng)，其檢測模型見圖3。

3.2.1 采用自動變速率學(xué)習(xí)法

傳統(tǒng)BP算法在梯度基礎(chǔ)上，采用最陡下降法LMS學(xué)習(xí)問題，學(xué)習(xí)步長為一個較小值，并且這個值是固定不變的，對網(wǎng)絡(luò)收斂無益處。因而選擇基于梯度方向自動對學(xué)習(xí)速率進(jìn)行調(diào)節(jié)。通過梯度對學(xué)習(xí)方向做最終確定，在梯度方向上，學(xué)習(xí)步長由速率決定。若相鄰兩次梯度方向是相同的，表明該方向的收斂有利；若相鄰兩次梯度方向是相反的，表明該方向的收斂不穩(wěn)定。根據(jù)這個規(guī)律，通過兩次相對梯度的變化確定學(xué)習(xí)步長。當(dāng)兩次梯度為相同方向時，學(xué)習(xí)步長增大，該方向上學(xué)習(xí)速度要加快；在兩次梯度為相反方向時，學(xué)習(xí)步長減小，整個網(wǎng)絡(luò)收斂速度要加快，自適應(yīng)速率調(diào)節(jié)方法如下：

（1）

（2）

式中表示在時刻和時刻梯度的乘積。

3.2.2 引入遺忘因子

根據(jù)相鄰兩次梯度變化，通過自適應(yīng)變速率學(xué)習(xí)法對學(xué)習(xí)步長算法進(jìn)行確定。變化單純學(xué)習(xí)速率，這時收斂速度不能完全保證，但不會有振蕩產(chǎn)生，因此考慮變速率學(xué)習(xí)法，在權(quán)值調(diào)節(jié)量上，加一個量，這個量正比于前幾次的加權(quán)，權(quán)值調(diào)節(jié)量采用式（3）計算：

（3）

式中：表示遺忘因子，引入遺忘因子項，在學(xué)習(xí)過程中可通過對學(xué)習(xí)速率進(jìn)行等效微調(diào)的效果進(jìn)行說明。遺忘因子的作用是緩沖平滑，并使調(diào)節(jié)的平均方向朝底部變化。

3.2.3 引入隨機(jī)優(yōu)化算子

BP神經(jīng)網(wǎng)絡(luò)算法在引入遺忘因子，采用自動變速率學(xué)習(xí)法后，雖然可微調(diào)學(xué)習(xí)速率，但BP神經(jīng)網(wǎng)絡(luò)的不足和限制仍存在，為了進(jìn)一步對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，本文引入隨機(jī)優(yōu)化算子，當(dāng)網(wǎng)絡(luò)權(quán)值誤差迭代達(dá)到一定次數(shù)后，收斂不明顯或連續(xù)幾次發(fā)生系統(tǒng)誤差函數(shù)梯度變化，這種情況表明網(wǎng)絡(luò)進(jìn)入疲乏狀態(tài)，要借助外界推動力對網(wǎng)絡(luò)進(jìn)行激活。當(dāng)出現(xiàn)這兩種情況時，與權(quán)值維數(shù)相同的隨機(jī)數(shù)就產(chǎn)生了，直接將權(quán)值和隨機(jī)數(shù)相加，對系統(tǒng)誤差變化進(jìn)行判斷，若誤差未降低，繼續(xù)產(chǎn)生隨機(jī)數(shù)，進(jìn)行權(quán)值修改，當(dāng)誤差出現(xiàn)減少時停止，然后再從新權(quán)值繼續(xù)開始BP算法，隨機(jī)優(yōu)化算子可隨機(jī)變化搜索方向，局部極小點就擺脫掉了，圖4為改進(jìn)的BP算法流程圖。

4 仿真實驗

本文的仿真實驗在Matlab 7.0實驗平臺進(jìn)行，以此來驗證提出改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法是否能達(dá)到較好的效果，本文同時給出采用未改進(jìn)的BP算法網(wǎng)絡(luò)入侵檢測和改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法網(wǎng)絡(luò)入侵檢測模型仿真實驗結(jié)果。

圖5為兩種算法得到的訓(xùn)練精度。從兩種算法的實驗仿真結(jié)果可看出，將改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法用于入侵檢測，速度快、易收斂，目標(biāo)精度0.02很快達(dá)到。在規(guī)定周期內(nèi)，未改進(jìn)的BP算法不能達(dá)到規(guī)定的目標(biāo)精度，易陷入局部極小，本文提出的改進(jìn)的BP算法所用訓(xùn)練周期較短，學(xué)習(xí)時間縮短顯著，效果良好。

評價檢測模型的標(biāo)準(zhǔn)為漏報率、誤報率、檢測率，其定義分別如下：

表1為未改進(jìn)的BP算法與改進(jìn)的BP算法的比較結(jié)果，從表1中可看出，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法的檢測率、漏報率、誤報率分別為96.17%，3.83%，4.15%，檢測率比未改進(jìn)的BP算法要高出11.65%，漏報率比未改進(jìn)的BP算法要低10.66%，誤報率比未改進(jìn)的BP算法要低4.07%。

表1 兩種算法的入侵檢測結(jié)果

[算法 訓(xùn)練周期 /s 檢測率 /% 漏報率 /% 誤報率 /% 基本BP算法 480 84.52 14.49 8.22 改進(jìn)的BP算法 480 96.17 3.83 4.15 ]

5 結(jié) 語

本文在對原有BP 神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)的基礎(chǔ)上，研究了改進(jìn)優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)算法及其在網(wǎng)絡(luò)入侵檢測中的應(yīng)用。通過分析BP神經(jīng)網(wǎng)絡(luò)用于檢測系統(tǒng)存在的問題，在傳統(tǒng)BP算法基礎(chǔ)上，采用自動變速率學(xué)習(xí)法，引入遺忘因子、隨機(jī)優(yōu)化算子，并將其用于網(wǎng)絡(luò)入侵檢測系統(tǒng)。仿真實驗表明，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法用于入侵檢測，速度快易收斂，目標(biāo)精度0.02很快達(dá)到。本文算法具有明顯的優(yōu)越性，各種入侵行為檢測率得到明顯提高，系統(tǒng)誤報率也降低了，入侵檢測系統(tǒng)性能得到有效改進(jìn)，本文算法優(yōu)越性明顯。

參考文獻(xiàn)

[1] 宋玲，常磊.變異粒子群優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)在入侵檢測中的應(yīng)用[J].智能系統(tǒng)學(xué)報，2013，8（6）：558?563.

[2] 劉伉伉，謝福，郭雪雪.基于BP神經(jīng)網(wǎng)絡(luò)的云計算入侵檢測技術(shù)研究[J].計算機(jī)與數(shù)字工程，2014（12）：2357?2361.

[3] 黃煜坤.基于BP神經(jīng)網(wǎng)絡(luò)算法的入侵檢測技術(shù)[J].電子制作，2015（10）：60?62.

[4] 沈夏炯，王龍，韓道軍.人工蜂群優(yōu)化的BP 神經(jīng)網(wǎng)絡(luò)在入侵檢測中的應(yīng)用[J].計算機(jī)工程，2016，42（2）：190?194.

[5] 王玲.基于BP 算法的人工神經(jīng)網(wǎng)絡(luò)建模研究[J].裝備制造技術(shù)，2014（1）：162?164.

[6] 王俊士，李江濤.一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法在入侵檢測中的應(yīng)用[J].電腦知識與技術(shù)，2014，10（3）：614?617.

[7] 顏謙和，顏珍.遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)入侵檢測系統(tǒng)[J].計算機(jī)仿真，2011，28（4）：141?144.

[8] 汪潔.基于神經(jīng)網(wǎng)絡(luò)的入侵z測系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)應(yīng)用與軟件，2013（5）：320?322.

篇4

為降低神經(jīng)網(wǎng)絡(luò)的冗余連接及不必要的計算代價，將量子免疫克隆算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的優(yōu)化過程，通過產(chǎn)生具有稀疏度的權(quán)值來優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。算法能夠有效刪除神經(jīng)網(wǎng)絡(luò)中的冗余連接和隱層節(jié)點，并同時提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率、函數(shù)逼近精度和泛化能力。該算法已應(yīng)用于秦始皇帝陵博物院野外文物安防系統(tǒng)。經(jīng)實際檢驗，算法提高了目標(biāo)分類概率，降低了誤報率。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；量子免疫克隆算法；目標(biāo)分類；冗余連接；網(wǎng)絡(luò)優(yōu)化

中圖分類號： TP273

文獻(xiàn)標(biāo)志碼：A

Quantum-inspired clonal algorithm based method for optimizing neural networks

Abstract：

In order to reduce the redundant connections and unnecessary computing cost， quantum-inspired clonal algorithm was applied to optimize neural networks. By generating neural network weights which have certain sparse ratio， the algorithm not only effectively removed redundant neural network connections and hidden layer nodes， but also improved the learning efficiency of neural network， the approximation of function accuracy and generalization ability. This method had been applied to wild relics security system of Emperor Qinshihuangs mausoleum site museum， and the results show that the method can raise the probability of target classification and reduce the false alarm rate.

Key words：

neural network； quantum-inspired clonal algorithm； target classification； redundant connection； network optimization

0 引言

神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛地應(yīng)用于模式分類、函數(shù)逼近、信號預(yù)測等各種領(lǐng)域，是近年來的研究熱點之一[1-2]。在應(yīng)用過程中，研究人員發(fā)現(xiàn)，當(dāng)神經(jīng)網(wǎng)絡(luò)的規(guī)模過大會產(chǎn)生連接數(shù)量冗余大、計算代價過高的問題，降低了大規(guī)模神經(jīng)網(wǎng)絡(luò)的實用性。針對此問題，研究人員提出了多種方法在保持神經(jīng)網(wǎng)絡(luò)的前提下優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)權(quán)值。Leung等[3-4]改進(jìn)了傳統(tǒng)的遺傳算法（Genetic Algorithm， GA）并將其應(yīng)用于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值優(yōu)化過程，利用遺傳算法的快速收斂性來提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度，其缺點在于當(dāng)目標(biāo)函數(shù)維數(shù)過大時容易陷入局部最優(yōu)。Xiao等[5]使用混合優(yōu)點（Hybrid Good Point， HGP）優(yōu)化前向神經(jīng)網(wǎng)絡(luò)的參數(shù)和結(jié)構(gòu)，避免權(quán)值陷入局部最優(yōu)，但其對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化沒有達(dá)到最優(yōu)。Shu等[6]提出正交模擬褪火（Orthogonal Simulated Annealing， OSA）算法， 使用褪火算法和正交算法的優(yōu)點來同時優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，其算法收斂速度快、魯棒性好，缺點則在于計算代價較大。杜文莉等[7]提出了使用量子差分進(jìn)化（Cooperative Quantum Differential Evolution， CQGADE）算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值，使用量子遺傳算法優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和隱層節(jié)點數(shù)，算法綜合了量子遺傳算法和量子差分算法的優(yōu)點，收斂速度快，但其缺點在于需要同時協(xié)同兩種算法的優(yōu)化結(jié)果，算法復(fù)雜度較高，且容易陷入局部最優(yōu)。Tsai等[8]提出混合田口遺傳算法（Hybrid Taguchi Genetic Algorithm， HTGA），將傳統(tǒng)的GA與Taguchi方法結(jié)合起來，使得算法具有魯棒性好、收斂性快等優(yōu)點，但其缺點在于獲得最優(yōu)解的計算代價較大。

量子免疫克隆算法[9-12]（Quantum-inspired Immune Clonal Algorithm， QICA）也稱為量子遺傳算法（Quantum Genetic Algorithm， QGA），其將量子搜索機(jī)制和免疫算法克隆選擇原理相結(jié)合，利用量子編碼的疊加性和隨機(jī)性構(gòu)造抗體，利用遺傳算法的克隆操作產(chǎn)生原始種群和克隆子群實現(xiàn)種群擴(kuò)張，使搜索空間擴(kuò)大，提高了局部搜索能力；同時借助全干擾交叉操作避免陷入局部最優(yōu)。QICA采用了多狀態(tài)量子比特編碼方式和通用的量子旋轉(zhuǎn)門操作， 引入動態(tài)調(diào)整旋轉(zhuǎn)角機(jī)制和量子交叉[11]。QICA在組合優(yōu)化問題中具有良好的表現(xiàn)。

針對上述問題，提出了使用量子克隆免疫算法對神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和連接權(quán)值同時進(jìn)行優(yōu)化，通過產(chǎn)生具有一定稀疏度的連接權(quán)值對網(wǎng)絡(luò)隱層數(shù)量和連接權(quán)值進(jìn)行優(yōu)化，提高了算法的效率和收斂速度，避免了算法陷入局部最優(yōu)。

1 帶開關(guān)權(quán)值的神經(jīng)網(wǎng)絡(luò)模型

在經(jīng)典的神經(jīng)網(wǎng)絡(luò)理論中，網(wǎng)絡(luò)結(jié)構(gòu)在初始化后便不再變動，僅通過權(quán)值的變化來計算產(chǎn)生結(jié)果，這種算法增加了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜性，在實際應(yīng)用中增加了計算結(jié)果的代價。Leung等[3-4]提出了帶開關(guān)權(quán)值的神經(jīng)網(wǎng)絡(luò)，通過調(diào)整開關(guān)的通斷就能調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和連接數(shù)量，從而減少計算代價。帶開關(guān)權(quán)值的神經(jīng)網(wǎng)絡(luò)模型如圖1所示[7]。

2.2 權(quán)值計算及優(yōu)化方法

根據(jù)量子克隆免疫理論，將神經(jīng)網(wǎng)絡(luò)權(quán)值計算及優(yōu)化過程分為以下四個過程。

2.2.1 權(quán)值抗體初始化

量子克隆免疫算法是基于量子計算和遺傳算法組成的，其抗體的編碼方式采用量子比特編碼。一個抗體中的量子位的狀態(tài)是不確定的，可以為0或1，其狀態(tài)表示為式（5）：

3.1 算法復(fù)雜度分析

量子克隆免疫算法的實質(zhì)是通過量子理論的隨機(jī)特性提供豐富的種群數(shù)量，并通過使用遺傳算法對種群進(jìn)行淘汰和進(jìn)化，因此其算法的復(fù)雜度等于種群生成算法的復(fù)雜度：假設(shè)神經(jīng)網(wǎng)絡(luò)有x個輸入，其隱層節(jié)點數(shù)量為N，輸出為y，則網(wǎng)絡(luò)中的輸入與隱層節(jié)點間的連接權(quán)值ω的數(shù)量為：x*N，隱層節(jié)點與輸出層的連接權(quán)值v的數(shù)量為：N*y。種群生成需要對所有節(jié)點進(jìn)行權(quán)值初始化，并將隨機(jī)位置的n（nN）個節(jié)點的權(quán)值設(shè)置為0， 其算法復(fù)雜度為O（n2）。而克隆免疫算法在種群克隆及抗體選擇過程中使用遺傳算法，因此其算法的復(fù)雜度與傳統(tǒng)遺傳算法相同，其算法復(fù)雜度也為O（n2）。因此，使用量子免疫克隆的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的復(fù)雜度為O（n2）。

3.2 非線性函數(shù)逼近

選取復(fù)雜交互非線性函數(shù)（Complicated Interaction Function，CIF）：

其中0

選取樣本700組，其中500組用于訓(xùn)練，其余200組用于檢測性能。神經(jīng)網(wǎng)絡(luò)的初始隱層神經(jīng)元設(shè)置為20個，初始網(wǎng)絡(luò)結(jié)構(gòu)為：2-20-1，初始連接權(quán)值為隨機(jī)值。在此條件下驗證不同稀疏度條件下對CIF的二維逼近效果如圖3所示。

圖3顯示隨著稀疏度的不斷降低，神經(jīng)網(wǎng)絡(luò)的逼近能力有所減弱，逼近誤差則逐漸增大。這主要是因為神經(jīng)網(wǎng)絡(luò)中的連接權(quán)值數(shù)量降低，造成神經(jīng)網(wǎng)絡(luò)的適應(yīng)性差。具體逼近效果見表2。

從表2中可以看出，隱層節(jié)點數(shù)量直接影響著神經(jīng)網(wǎng)絡(luò)的性能。高稀疏度條件下的計算量大，但逼近精度高；低稀疏度條件下的計算量小，但逼近精度較差。實驗表明當(dāng)稀疏度大于0.6時，算法的逼近精度高于90%，優(yōu)化后的網(wǎng)絡(luò)具有較好的非線性逼近能力。當(dāng)神經(jīng)網(wǎng)絡(luò)隱層節(jié)點數(shù)量低于12時逼近精度大幅下降，說明此時神經(jīng)網(wǎng)絡(luò)處理信息的能力也隨之大幅減弱，隱層節(jié)點的最合適的數(shù)量為12～14個，這也符合文獻(xiàn)[14]的實驗結(jié)果。

圖4為不同稀疏度下，算法適應(yīng)度的收斂情況。可以看出量子克隆免疫算法具有很好的收斂特性，算法收斂速度很快，能夠在很短的進(jìn)化次數(shù)內(nèi)收斂至極值，且稀疏度越低，神經(jīng)網(wǎng)絡(luò)的連接權(quán)值數(shù)量越少，算法收斂速度越低，最優(yōu)適應(yīng)度越差。

表3為相同條件下，不同算法的最優(yōu)計算結(jié)果，包括目標(biāo)分類的準(zhǔn)確度、隱藏層節(jié)點數(shù)量等。可以看出，當(dāng)稀疏度高于0.8時，本文算法收斂性和適應(yīng)度均優(yōu)于混沌粒子群（Chaotic Particle Swarm Optimization，CPSO）[15]、粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）[16]、混合田口遺傳算法[Hybrid Taguchi-Genetic Algorithm，HTGA][8]等其他算法，說明算法具有很好的收斂速度、尋優(yōu)精度和魯棒性。

3.3 微地震信號目標(biāo)分類

實驗場地選擇在秦始皇兵馬俑博物館內(nèi)K9901號坑旁。所有傳感器節(jié)點沿公路一側(cè)直線部署，距離公路1m左右。可能產(chǎn)生地震波的活動物體包括人員行走、機(jī)動車和挖掘活動。將采集到的微地震信號進(jìn)行濾波、分幀、特征提取等處理后輸入至神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識別。

系統(tǒng)對傳感器采集到的數(shù)據(jù)進(jìn)行分幀，并使用功率譜二次分析[17]算法對其進(jìn)行處理，最后將經(jīng)過預(yù)處理的數(shù)據(jù)輸入至神經(jīng)網(wǎng)絡(luò)對其進(jìn)行分類。根據(jù)其活動特點，將輸出目標(biāo)分為三類：人員活動、挖掘活動以及機(jī)動車輛活動。傳感器采集到的三類活動的經(jīng)典波形如圖5所示。

表6中給出了算法的最優(yōu)計算結(jié)果，包括不同稀疏度條件下神經(jīng)網(wǎng)絡(luò)的隱藏層節(jié)點數(shù)量、最優(yōu)適應(yīng)度以及分類準(zhǔn)確率等。可以看出，算法能夠有效減少冗余的隱藏層節(jié)點數(shù)量，并降低節(jié)點連接數(shù)量。算法的稀疏度越高，其適應(yīng)度越好，其分類的準(zhǔn)確性越好，但稀疏度高帶來的則是計算代價增大、計算復(fù)雜度增加。當(dāng)稀疏度低于0.7時，算法的適應(yīng)度變差，目標(biāo)的識別率為90%，在實際應(yīng)用過程中帶來了誤判率較高的問題，降低了實用性。因此在秦始皇帝陵博物院野外文物安防系統(tǒng)中使用了稀疏度為0.7的算法對模式識別的神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。

4 結(jié)語

本文提出了基于量子免疫克隆算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法，該算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)優(yōu)化權(quán)值的同時刪除了冗余連接和多余的隱層節(jié)點，實現(xiàn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)權(quán)值的優(yōu)化。通過經(jīng)典非線性函數(shù)逼近和目標(biāo)識別檢驗，算法能夠有效地優(yōu)化神經(jīng)網(wǎng)絡(luò)，提高神經(jīng)網(wǎng)絡(luò)的優(yōu)化效率，減少計算復(fù)雜度。使用優(yōu)化后的神經(jīng)網(wǎng)絡(luò)已經(jīng)用于秦始皇帝陵博物院野外文物安防系統(tǒng)中。

參考文獻(xiàn)：

[1] QIAO H， ZHOU Y，SHAO N， et al. Software reliability prediction based on learning vector quantization neutral network[J]. Journal of Computer Applications， 2012，32（05）：1436-1438.）（喬輝，周雁舟，邵楠，等.基于學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)的軟件可靠性預(yù)測[J].計算機(jī)應(yīng)用，2012，32（5）：1436-1438.）

[2] PAN Y， DENG Y， ZHANG Q， et al. Deterministic prediction of wavelet neural network model and its application[J]. Journal of Computer Applications，2013， 33（4）：1001-1005.（潘玉民，鄧永紅，張全柱，等.小波神經(jīng)網(wǎng)絡(luò)模型的確定性預(yù)測及應(yīng)用[J].計算機(jī)應(yīng)用，2013，33（4）：1001-1005.）

[3] LEUNG H F，LAM H F， LING S F， et al. Tuning of the structure and parameters of neural network using an improved genetic algorithm[C]// Proceedings of the 27th Annual Conference of IEEE Industrial Electronics Society. Piscataway： IEEE，2001：25-30.

[4] LEUNG H F， LAM H F， LING S H， et al. Tuning of the structure and parameters of a neural network using an improved genetic algorithm[J]. IEEE Transactions on Neural Network，2003，14（1）：79-88.

[5] XIAO C， CAI Z， WANG Y， et al. Tuning of the structure and parameters of a neural network using a good points set evolutionary strategy[C]// Proceedings of the 9th International Conference for Young Computer Scientists. Piscataway： IEEE， 2008：1749-1754.

[6] SHU L， HO S Y， HO S J. Tuning the structure and parameters of a neural network using an orthogonal simulated annealing algorithm[C]// Proceedings of the 2009 Joint Conferences on Pervasive Computing. Piscataway： IEEE，2009：789-792.

[7] DU W， ZHOU R， ZHOU L， et al. Cooperative quantum differential evolution algorithm based method for optimizing neural networks[J].Journal of Tsinghua University： Science and Technology， 2012，52（3）：331-335.（杜文莉，周仁，趙亮，等. 基于量子差分進(jìn)化算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法[J].清華大學(xué)學(xué)報：自然科學(xué)版，2012，52（3）：331-335.）

[8] TSAI J， CHOU J， LIU T. Tuning the structure and parameters of a neural network by using hybrid Taguchi-genetic algorithm[J]. IEEE Transactions on Neural Network， 2006，17（1）：69-80.

[9] LI Y， JIAO L. Quantum-inspired immune clonal algorithm and its application[C]// Proceedings of the 2007 International Symposium on Intelligent Signal Processing and Communication Systems. Piscataway： IEEE， 2007：670-673.

[10] JIAO L， LI Y， GONG M，et al. Quantum-inspired immune clonal algorithm for global optimization[J]. IEEE Transactions on Systems， Man and Cybernetics， Part B： Cybernetics， 2008，38（5）：1234-1253.

[11] ZHOU C， QIAN F. Improvement of quantum genetic algorithm and its application[J]. Journal of Computer Applications， 2008，28（2）：286-288.（周傳華，錢峰.改進(jìn)量子遺傳算法及其應(yīng)用[J].計算機(jī)應(yīng)用， 2008，28（2）：286-288）

[12] ZHOU Q， JIANG S， ZHAO X， et al. Improved quantum genetic algorithm and its application in test data generation[J]. Journal of Computer Applications，2012，32（2）：557-560.（周綺，姜淑娟，趙雪峰，等.改進(jìn)的量子遺傳算法及其在測試數(shù)據(jù)生成中的應(yīng)用[J].計算機(jī)應(yīng)用，2012，32（2）：557-560.）

[13] QIAO J，LEE Y G， SCOTT D S， et al. Self-organizing radial basis function network for real-time approximation of continuous-time dynamical systems[J]. IEEE Transactions on Neural Networks，2008，19（3）：460-474.

[14] HAN H， QIAO J， BO Y， et al. On structure design for RBF neural network based on information strength[J]. Acta Automatica Sinica， 2012，38（7）：1083-1090.（韓紅桂，喬俊飛，薄迎春，等.基于信息強(qiáng)度的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計研究[J].自動化學(xué)報， 2012，38（7）：1083-1090.）

[15] ZHAO L. Fuzzy identification and neural networks learning based on cooperative PSO algorithm[D]. Shanghai： Shanghai Jiao Tong University，2008.（趙亮.基于協(xié)同PSO算法的模糊辨識與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)[D].上海：上海交通大學(xué)，2008.）

篇5

關(guān)鍵詞： ATR2神經(jīng)網(wǎng)絡(luò)； 警戒值； 模式漂移； 模式識別

中圖分類號： TN911?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2014）18?0041?03

An improved algorithm based on ART2 neural network

HU Xin， YE Qing， GUO Geng?shan

（Changsha University of Science and Technology， Changsha 410114， China）

Abstract： Aiming at the problems of setting vigilance parameter and pattern drift produced in the process of classification identification of the traditional ART2 neural network， a new ART2 neural network model based on modified algorithm is presen?

ted in this article to solve problems concerning analysis of pattern identification. Reasonable vigilance parameter needed by clustering is deduced through the processing of self?organization， weighting and iteration. In order to conduct reasonable classification of clustering objects， the measures of slowing learning rate which can be realized by modifying the weight training of ART2 neural network to reduce the speed of pattern drifting should be taken. The experimental results have proved that the new model is of high validity and feasibility.

Keywords： ATR2 neural network； security value； pattern drift； pattern recognition

0 引 言

ART2神經(jīng)網(wǎng)絡(luò)的輸入為任意模擬輸入矢量，所以它有非常廣泛的應(yīng)用范圍，通過對警戒值的調(diào)整，ART2神經(jīng)網(wǎng)絡(luò)可以對輸入的模擬矢量進(jìn)行不同精度的分類。ART2是基于自適應(yīng)諧振理論的一種自組織神經(jīng)網(wǎng)絡(luò)，通過競爭學(xué)習(xí)和自穩(wěn)機(jī)制原理實現(xiàn)分類，它主要是為了解決下列問題而提出的：設(shè)計一個學(xué)習(xí)系統(tǒng)，同時擁有穩(wěn)定性和可塑性，即系統(tǒng)在不斷學(xué)習(xí)新知識的時候能保持原有的知識[1?2]。

迄今為止，基于ART網(wǎng)絡(luò)的模式分類方法有很大發(fā)展，其中具有代表性的就是S.Grossberg和A.carpenter提出的用于并行分類和自適應(yīng)模式分類方法[3?4]。

傳統(tǒng)的自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)也存在著一些缺陷，主要體現(xiàn)在：傳統(tǒng)的ART神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)訓(xùn)練前要給出警戒參數(shù)，該警戒參數(shù)對于網(wǎng)絡(luò)聚類結(jié)果具有直接的影響。當(dāng)警戒參數(shù)較高時，ART系統(tǒng)對模式的相似性要求就越高，類的劃分就越細(xì)，形成的類別就越多；當(dāng)警戒參數(shù)較低時，網(wǎng)絡(luò)有較強(qiáng)的容錯能力，因此就產(chǎn)生較少的分類數(shù)目[5?6]。

由于傳統(tǒng)的ART2網(wǎng)絡(luò)在對輸入模式識別分類時，會產(chǎn)生模式漂移現(xiàn)象，從而無法實現(xiàn)更準(zhǔn)確的分類。對部分權(quán)值的修正放慢學(xué)習(xí)速度，將改善模式漂移現(xiàn)象。

1 ART2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和原理

1.1 ART2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

ART2系統(tǒng)由定向子系統(tǒng)OS和注意子系統(tǒng)AS構(gòu)成，注意子系統(tǒng)AS由感受層SL和反應(yīng)層RL和控制增益GC組成，既有短時記憶[OS（t）]和[OR（t）]，又有長時記憶，包括自低向上的長時記憶[Ω（SR）]和自頂向下的長時記憶[Ω（RS）]。作為神經(jīng)計算的模型，ART2系統(tǒng)是由人工神經(jīng)元形成的系統(tǒng)。感覺神經(jīng)元構(gòu)成了系統(tǒng)的感受層，而反應(yīng)神經(jīng)元構(gòu)成了系統(tǒng)的反應(yīng)層，ART2網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。

圖1 ART2神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

在系統(tǒng)中，各感覺神經(jīng)元之間的聯(lián)結(jié)關(guān)系包括：[Dab：SLaSLb]，[Dbc：SLbSLc]，[Dcd：SLcSLd]，[Dde：SLdSLe]，[Def：SLeSLf]，[Dda：SLdSLa]，[Dfc：SLfSLc]。各子集[SLk（V（S）k）（k∈{a，b，c，d，e，f}）]之間的聯(lián)結(jié)關(guān)系式對應(yīng)元素之間的聯(lián)結(jié)，因而，其聯(lián)結(jié)關(guān)系矩陣[Dij（i，j∈{a，b，c，d，e，f}）]均為對角矩陣。

在感受層SL中，只有子集[SLa（V（s）a）]可以接受外部輸入信號[x]，另外只有子集[SLe（V（S）e）]的狀態(tài)向量[OSe]能作為系統(tǒng)感受層SL的輸出，用于系統(tǒng)的反應(yīng)層RL[3]。

1.2 ART2神經(jīng)網(wǎng)絡(luò)的工作原理

1.2.1 參數(shù)及聯(lián)結(jié)權(quán)值初始化

所有神經(jīng)元的輸出置0向量，計數(shù)器初始值為[C=0]；SL層從下到上的長時記憶初始為：

[Ω（SR）=0.5（1-α3）?mnm]

RL層從上到下的長時記憶初始為：

[Ω（RS）=（0）mn]

各參數(shù)確定為：

[α1>0， α2>0，0

1.2.2 計算步驟

ART2網(wǎng)絡(luò)的運行按照如下的步驟進(jìn)行：

（1） [SLa]運算：

[O（S）a=x+α1O（S）d]

（2） [SLb]運算：

[O（S）b=O（S）aε+O（S）a]

（3） [SLc]運算：

[O（S）c=f（O（S）b）+α2f（O（S）f）]

式中：[x>α3]時[f（x）=x]，[x≤α3]時[f（x）=0]。

（4） [SLd]運算：

[O（S）d=O（S）cε+O（S）c]…

（5） [SLe]運算：

[O（S）e=O（S）d， C=0O（S）d+ω（RS）kα4， C>0]

（6） [SLf]運算：

[O（S）f=O（S）eε+O（S）e]

（7） SL測試：如果短時記憶[O（S）i（i∈a，b，c，d，e，f）]沒有達(dá)到穩(wěn)定狀態(tài)，轉(zhuǎn)到步驟（11）。

（8） 計數(shù)和轉(zhuǎn)移：如果[C=0]，轉(zhuǎn)到步驟（11）。

（9） OS運算：

[r=O（S）d+α4O（S）eε+O（S）d+α4O（S）e]

若[r

（10） 復(fù)位操作：如果復(fù)位信號[r=1]，則置[O（S）k=0]，抑制[v（R）k]到ART2系統(tǒng)達(dá)到“諧振”狀態(tài)，重置短時記憶[OS=0]和[C=0]，轉(zhuǎn)到步驟（1）；否則[r=0]，轉(zhuǎn)向步驟（14）。

（11） RL運算：

[O（R）k=α4， ω（SR）TkO（S）e=maxω（SR）TiO（S）e0， 其他]

其中[O（R）k=α4] 的單元[v（R）k]記作競爭獲勝單元。

（12） 引發(fā)期待：[Ω（RS）Tω（RS）k]。

（13） 計數(shù)和轉(zhuǎn)移：[C=C+1]，轉(zhuǎn)向步驟（5） 。

（14） 諧振：[r=1]說明[x]與[ω（RS）k]匹配，ART2系統(tǒng)達(dá)到諧振狀態(tài)，ART2快速學(xué)習(xí)機(jī)制啟動。

（15） 前饋學(xué)習(xí)：更新前饋聯(lián)結(jié)關(guān)系[Ω（SR）]的第[k]個列向量[ω（SR）k]：

[ω（SR）k=O（S）d1-α4]

（16） 反饋學(xué)習(xí)：更新反饋聯(lián)結(jié)關(guān)系[Ω（RS）]的第[k]個行向量[ω（RS）k]：

[ω（RS）k=O（S）d1-α4]

（17） 停機(jī)條件：若對于任意輸入[x]，[Ω（RS）]和[Ω（SR）]都是穩(wěn)定的，ART2系統(tǒng)停止運行；否則刪除輸入模式，RL中所有被抑制的反應(yīng)神經(jīng)元恢復(fù)起始，重置短時記憶[OR=0]和[OS=0]，重置計數(shù)器[C=0]。

2 改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)

在上述傳統(tǒng)的ART2神經(jīng)網(wǎng)絡(luò)算法中對于警戒值[ρ]的選擇是根據(jù)經(jīng)驗所得，這里提出了一種在神經(jīng)網(wǎng)絡(luò)計算前對[ρ]的選取算法。同時為了解決模式漂移的問題，對ART2神經(jīng)網(wǎng)絡(luò)中F2至p層和p層至F2層的權(quán)值進(jìn)行修改，減緩學(xué)習(xí)速率，從而可以有效地減少模式漂移帶來的誤差[7]。

2.1 具體算法描述

（1） 設(shè)置警戒參數(shù)初值ρ，開始設(shè)置接近l，在初始聚類時，對于接近的輸人向量也會在這個過程進(jìn)行融合，每個差異較大的輸入向量就會產(chǎn)生一個類別。

（2） 由于ART2模型的輸出端是一維陣列，可按神經(jīng)元模值將神經(jīng)元放置在x軸上，以模值大小順序?qū)敵鰧由窠?jīng)元的位置進(jìn)行重新排列，以模值為判斷依據(jù)，同時對自頂向下和自低向上權(quán)重矩陣進(jìn)行調(diào)整。

（3） 在解決漂移模式問題中，模式漂移現(xiàn)象主要

原因是權(quán)值的修正方法不準(zhǔn)確引起的，在傳統(tǒng)的ART2算法中，權(quán)值修正公式在每次輸入模式結(jié)束時，權(quán)值都近似等于[O（S）d1-α4]，在學(xué)習(xí)新的模式之后容易遺忘已經(jīng)學(xué)過的輸入模式，權(quán)值總是向當(dāng)前的輸入數(shù)據(jù)靠近。所以對ART2神經(jīng)網(wǎng)絡(luò)中F2至p層和p層至F2層的權(quán)值進(jìn)行修改，減緩學(xué)習(xí)速率，修正后的權(quán)值為：

從F2層到p層的權(quán)值為：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]；

從p層到F2層的權(quán)值為：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]；

2.2 具體算法步驟

加入警戒值選擇和權(quán)值修改后的改進(jìn)ART2神經(jīng)網(wǎng)絡(luò)算法如下：

（1） ρ=ρ-del ；del為警戒參數(shù)遞減值；

（2） 將第k次迭代神經(jīng)網(wǎng)絡(luò)輸出層的每一個神經(jīng)元代表的類別向量組成第k+1次迭代神經(jīng)網(wǎng)絡(luò)的輸入向量樣本集X（k+1）；

（3） 按序輸入X（k）樣本集中每個向量，訓(xùn)練的算法按照步驟（4）整個過程；

（4） 在傳統(tǒng)ART2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的對步驟（15），步驟（16）進(jìn)行修改如下：

步驟（15） 前饋學(xué)習(xí)：更新前饋自適應(yīng)聯(lián)結(jié)關(guān)系[Ω（SR）]的權(quán)值：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]

步驟（16） 反饋學(xué)習(xí)：更新反饋自適應(yīng)聯(lián)結(jié)關(guān)系[Ω（RS）]的權(quán)值：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停機(jī)條件不變。

3 實驗及其結(jié)果分析

為了驗證算法改進(jìn)后的分類效果，對傳統(tǒng)ART?2神經(jīng)網(wǎng)絡(luò)算法和改進(jìn)后的算法進(jìn)行了實驗比較[8?10]。本文采用實際數(shù)據(jù)做為測試數(shù)據(jù)。實際數(shù)據(jù)采用來自美國加州Irvine大學(xué)信息與計算機(jī)科學(xué)系中所提供的Glass數(shù)據(jù)。Glass數(shù)據(jù)是在記錄玻璃所包含的化學(xué)元素情況，記錄中包含了處理過與非處理過的建筑用窗戶、處理過與非處理過的貨車窗戶、容器、餐具以及車燈共7種類別，而在G1ass數(shù)據(jù)中則有9種不同的化學(xué)元素，分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性，Glass數(shù)據(jù)集一共是214組。在不同用途的玻璃中化學(xué)元素的含量不同，如表1所示。

表1 不同用途的玻璃中化學(xué)元素的含量

在進(jìn)行ART2神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時候，對于參數(shù)設(shè)為ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。將神經(jīng)網(wǎng)絡(luò)程序運行結(jié)果， 與數(shù)據(jù)集中正確分類進(jìn)行對比之后，發(fā)現(xiàn)以前ART2網(wǎng)絡(luò)由于模式漂移和警戒參數(shù)人工設(shè)置問題設(shè)置產(chǎn)生了10個分類，產(chǎn)生了較大分錯率。由改進(jìn)的ART2網(wǎng)絡(luò)下運行結(jié)果顯示降低了這些問題的影響，只產(chǎn)生了8個分類，而且在每一類的分類中，改進(jìn)后的神經(jīng)網(wǎng)絡(luò)可以更好地對每一組數(shù)據(jù)進(jìn)行正確的分類。如表2所示。

表2 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和改進(jìn)后神經(jīng)網(wǎng)絡(luò)的分類比較

4 結(jié) 語

針對本文中摘要提出的警戒值選取問題，在改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)聚類算法中，利用以前警戒參數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)結(jié)果的基礎(chǔ)上迭代，改變了神經(jīng)網(wǎng)絡(luò)主觀設(shè)定警戒參數(shù)的問題。針對模式漂移的問題，通過改進(jìn)聯(lián)結(jié)權(quán)值，使改進(jìn)后的ART2神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)減慢了學(xué)習(xí)速率，近而降低了模式漂移的速度。實驗證明，在改進(jìn)選取警戒值和對聯(lián)結(jié)權(quán)值修改后的ART2神經(jīng)網(wǎng)絡(luò)更好地實現(xiàn)了聚類分類，同時提高了模式識別的精度。

參考文獻(xiàn)

[1] 陳國燦，高茂庭.ATR2神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)[J].計算機(jī)工程與應(yīng)用，2013（4）：2?3.

[2] 沈艷超，葉青.車輛特征提取和分類方法的研究[D].長沙：長沙理工大學(xué)，2010.

[3] 阮曉剛.神經(jīng)計算科學(xué)[M].北京：國防工業(yè)出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 錢曉東，王正歐.基于算法改進(jìn)的ART2數(shù)據(jù)聚類方法研究[J].哈爾濱工業(yè)大學(xué)學(xué)報，2006（9）：1549?1553.

[6] 錢曉東，王正歐.基于神經(jīng)網(wǎng)絡(luò)等技術(shù)的數(shù)據(jù)與文本聚分類研究[D].天津：天津大學(xué)，2005.

[7] 譚錦華，鄺獻(xiàn)濤.基于ART2神經(jīng)網(wǎng)絡(luò)與動態(tài)聚類的分類器[J].控制工程，2005（z1）：68?70.

[8] 姚光順.ART?2神經(jīng)網(wǎng)絡(luò)的缺點及其改進(jìn)[J].儀器儀表用戶，2008（2）：117?118.

篇6

關(guān)鍵詞：字符識別；BP神經(jīng)網(wǎng)絡(luò)；車牌識別

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A

1 引言（Introduction）

汽車牌照的識別是計算機(jī)視覺與模式識別應(yīng)用于的重要研究課題，車牌識別的準(zhǔn)確率和高效性是識別的關(guān)鍵。由于車牌圖像難免會受到光照、天氣等因素影響，車牌圖像質(zhì)量會有所下降，為了對車牌字符的進(jìn)行有效地識別，首先要對其進(jìn)行去噪、增強(qiáng)等預(yù)處理，之后應(yīng)用識別算法對其進(jìn)行識別[1]。本文研究了用BP神經(jīng)網(wǎng)絡(luò)方法對汽車牌照字符的識別算法。首先對分割、歸一化后的字符特征進(jìn)行提取，所提取的特征向量記錄的就是字符的特征。把這個特征向量送到BP網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，就可以得到訓(xùn)練好的權(quán)值，用這個權(quán)值對車牌字符進(jìn)行識別。對于車牌圖像的識別率達(dá)90%以上，表明該方法是有效的。

2 字符識別的原理（The principle of character

recognition）

字符識別的基本原理即對字符進(jìn)行匹配識別。提取代表未知字符基本特征、結(jié)構(gòu)的樣本庫和提前在計算機(jī)中保存的標(biāo)準(zhǔn)字符的字典（字符基本特征和結(jié)構(gòu)的集合），在一定的規(guī)則下逐個匹配比較。在計算機(jī)中保存的標(biāo)準(zhǔn)字符的字典中，尋找與輸入字符樣本最相似的表達(dá)項，然后找出對應(yīng)的字符就是識別的結(jié)果[2]。字符識別的原理框圖如圖1所示。

3 BP神經(jīng)網(wǎng)絡(luò)字符識別算法（The BP neural network

character recognition algorithm）

BP算法基本原理是利用輸出后的誤差來估計輸出層的直接前導(dǎo)層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計[3]。對BP網(wǎng)絡(luò)的設(shè)計要點是高效率的特征提取方法、具有代表性的大量訓(xùn)練樣本和穩(wěn)定高效的學(xué)習(xí)方法。

3.1 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

算法的基本流程就是：

（1）設(shè)置變量和參量，包括輸入向量（訓(xùn)練樣本和樣本個數(shù)）、每次迭代中輸入層和隱含層之間、隱含層與隱含層之間、隱含層與輸出層之間的權(quán)值向量矩陣、迭代次數(shù)、每次迭代的實際輸出、期望輸出和學(xué)習(xí)效率。

（2）隨機(jī)初始化權(quán)值矩陣。給三類權(quán)值矩陣賦一個相對較小的隨機(jī)非零值。

（3）進(jìn)行樣本輸入。采用隨機(jī)輸入的方法。

（4）前向傳播。按照公式一層一層的前向計算隱藏神經(jīng)元和輸出神經(jīng)元的輸入和輸出。

（5）誤差計算，判斷。根據(jù)每次迭代的期望值和實際輸出結(jié)果算出誤差，判斷誤差值滿足要求與否，如果滿足進(jìn)行第8步，否則進(jìn)行下一步。

（6）迭代次數(shù)判斷。如果已經(jīng)達(dá)到最大的迭代次數(shù)，則進(jìn)行第8步，否則進(jìn)行反響傳播，即反向按照公式一層層迭代計算每層神經(jīng)元的局部梯度。

（7）權(quán)值更新。依據(jù)反向傳播過程計算出的局部梯度值，計算出各矩陣的權(quán)值修正值，并進(jìn)行修正。

（8）終止判斷。終止條件為：所有的樣本都學(xué)習(xí)完成。否則進(jìn)行第3步。

3.2 實際使用BP神經(jīng)網(wǎng)絡(luò)過程中的一些問題

①樣本的處理。可適當(dāng)放寬輸出條件，例如當(dāng)輸出大于0.9時就當(dāng)作是1，輸出小于0.1時當(dāng)作0。對于輸入樣本，也應(yīng)該進(jìn)行歸一化處理。

②初始化權(quán)值的選擇。權(quán)值的不同對學(xué)習(xí)結(jié)果會產(chǎn)生影響，因此選擇一個相對比較合理的權(quán)值是非常重要的。實際使用時，應(yīng)該用較小的隨機(jī)數(shù)來對權(quán)值進(jìn)行初始化，隨機(jī)數(shù)的大小的分布也應(yīng)該是均勻的。

③學(xué)習(xí)率的選擇。神經(jīng)網(wǎng)絡(luò)中有一個學(xué)習(xí)率的概念，為了保證系統(tǒng)的穩(wěn)定性，通常應(yīng)該取較小的學(xué)習(xí)率，一般選取范圍在0.01―0.8。如果學(xué)習(xí)率過大，可能會導(dǎo)致系統(tǒng)不穩(wěn)定。如果學(xué)習(xí)率過小，會使得學(xué)習(xí)時間變長，收斂也會變慢。

3.3 BP神經(jīng)網(wǎng)絡(luò)應(yīng)用過程

BP神經(jīng)網(wǎng)絡(luò)應(yīng)用過程如圖2所示。

3.4 BP網(wǎng)絡(luò)三個層的神經(jīng)元數(shù)目的確定

目前還沒有什么成熟的定理能確定各層神經(jīng)元的神經(jīng)元個數(shù)和含有幾層網(wǎng)絡(luò)，大量經(jīng)驗表明，三層的網(wǎng)絡(luò)可以逼近任意一個非線性網(wǎng)絡(luò)。

首先，使用已知的樣本對BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練。對于輸入層的結(jié)點，其數(shù)目是之前車牌圖像預(yù)處理后輸出特征的維數(shù)。

對于隱含層的結(jié)點數(shù)目，一般情況下，隱含層神經(jīng)元數(shù)目和BP網(wǎng)絡(luò)精確度成正比，數(shù)目越多，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間也會越長。但是，當(dāng)隱含層神經(jīng)元數(shù)目過大時，識別的準(zhǔn)確率就會受到影響，同時也會使得網(wǎng)絡(luò)的抗噪聲能力下降[4]。綜合考慮上述情況，根據(jù)以往經(jīng)驗，使用10個隱含層的神經(jīng)元。

對于輸出層結(jié)點數(shù)目，受輸入層結(jié)點數(shù)的約束。本文中，我們采用8421碼對數(shù)字0―9，字母A―Z，省名簡稱“京津滬冀魯豫鄂蘇皖晉湘桂閩川浙甘寧陜吉遼臺”依次進(jìn)行編碼。例如，對于輸出“1”，表示為（0，0，0，0，0，1），對于輸出“A”，表示為（0，0，1，0，1，0），對于輸出“京”，表示為（1，0，0，1，0，0）。因此，采用6個輸出層神經(jīng)元。

然而，實驗中發(fā)現(xiàn)，當(dāng)使用上述結(jié)構(gòu)的標(biāo)準(zhǔn)輸出向量時，會出現(xiàn)BP神經(jīng)網(wǎng)絡(luò)無法收斂的問題。原因在于BP網(wǎng)絡(luò)學(xué)習(xí)中采用的激活函數(shù)的輸出只可能無限接近1或0，但不會是1或0。針對這個問題，對標(biāo)準(zhǔn)輸出向量的編碼方式進(jìn)行如下調(diào)整：用0.1代替0，用0.9代替1。即對于輸出“0”，表示為（0.1，0.1，0.1，0.1，0.1，0.1），對于輸出“1”，表示為（0.1，0.1，0.1，0.1，0.1，0.9），對于輸出“A”，表示為（0.1，0.1，0.9，0.1，0.9，0.1），對于輸出“京”，表示為（0.9，0.1，0.1，0.9，0.1，0.1），以此類推。

3.5 BP神經(jīng)網(wǎng)絡(luò)識別字符的流程

使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識別，實際上可看作是訓(xùn)練和識別兩個過程。其中，訓(xùn)練就是提取訓(xùn)練樣本的特征向量。第一步，將挑選好的圖像形式的已知數(shù)據(jù)作為訓(xùn)練樣本，這些已知數(shù)據(jù)能夠很好的反應(yīng)樣本的可分性。第二步，在訓(xùn)練樣本圖像經(jīng)過進(jìn)行特征提取操作后送入BP網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。訓(xùn)練之前，要提前輸入一系列訓(xùn)練參數(shù)。

經(jīng)過BP網(wǎng)絡(luò)的訓(xùn)練后，就可以用其對待識別數(shù)據(jù)進(jìn)行識別。待識別數(shù)據(jù)在經(jīng)過灰度化、二值化、歸一化、分割等預(yù)處理操作后，再經(jīng)過特征向量提取，最后在BP網(wǎng)絡(luò)中進(jìn)行識別，得出識別結(jié)果。

3.6 實驗結(jié)果

實驗中采用了在不同環(huán)境下拍攝到的100張車牌圖像，這些牌照的清晰程度、區(qū)域大小都不相同，按照前文所述BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行模擬實驗。根據(jù)表1所示識別結(jié)果，由于個別字母與數(shù)字之間有相似之處，導(dǎo)致其識別率相對較低，分別為95.9%、96.2%。而車牌中漢子字符數(shù)量很少，且特征相對比較明顯，使得其識別率相對較高，實驗結(jié)果為98.0%。

4 結(jié)論（Conclusion）

基于BP神經(jīng)網(wǎng)絡(luò)的車牌字符識別方法，對于比較清晰的車牌圖像，本方法能有效識別其中的字符，但對于較低解析度和較為模糊的車牌還需要進(jìn)行很多預(yù)處理的工作，因為必須將車牌中的字符獨立地被分割后，才能用該方法進(jìn)行識別。而事實上，在那些圖像不夠清晰的車牌上分割出獨立的字符也是特別困難的。雖然，BP神經(jīng)網(wǎng)絡(luò)在識別效果上提高的余地較大，具有較強(qiáng)的容錯能力，還可進(jìn)一步訓(xùn)練學(xué)習(xí)，識別率較高，但其識別速度較慢，不能滿足實時性的要求。

參考文獻(xiàn)（References）

[1] 郭榮燕，胡雪惠.BP神經(jīng)網(wǎng)絡(luò)在車牌字符識別中的應(yīng)用[J].計

算機(jī)仿真，2010（9）：299-301；350.

[2] 劉靜.幾種車牌字符識別算法的比較[J].電腦與電信，2008（8）：

72-73；78.

[3] 石云.BP神經(jīng)網(wǎng)絡(luò)的Matlab實現(xiàn)[J].湘南學(xué)院學(xué)報，2010（5）：86-

88；111.

[4] 尹念東.BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用設(shè)計[J].信息技術(shù)，2003（6）：18-20.

作者簡介：

篇7

關(guān)鍵詞：自主角色; 神經(jīng)網(wǎng)絡(luò); 遺傳算法

中圖分類號： TP183

文獻(xiàn)標(biāo)識碼：A

0引言

隨著計算機(jī)圖形學(xué)和硬件技術(shù)的高速發(fā)展，計算機(jī)游戲近十幾年也取得了很大的發(fā)展，游戲軟件已成為軟件產(chǎn)業(yè)中非常重要的內(nèi)容。游戲的類型主要包括FPS（第一人稱射擊）、RPG（角色扮演類型）和RTS（即時戰(zhàn)略游戲）等幾種類型，這些不同類型的游戲都要求游戲控制的角色（NPC）與玩家控制的角色（PLAYER）要有行為的交互，交互的方式直接影響玩家對游戲的興趣度。因此，對NPC與PLAYER之間的角色交互行為方式的研究已經(jīng)成為游戲軟件中的一個非常重要的研究課題。

目前大多數(shù)游戲中的角色行為的交互方式采用的是確定型的交互行為，其特征主要表現(xiàn)在角色的行為都是預(yù)先確定的，這種類型的行為實現(xiàn)起來較為簡單，也是目前大多數(shù)游戲所采用的交互方式。像這種確定性的行為往往體現(xiàn)不出角色的自主性，而且還會導(dǎo)致角色行動單調(diào)乏味，其行動很容易被玩家所預(yù)測,降低游戲的可玩性。為此,我們需要在游戲軟件中設(shè)計和實現(xiàn)這樣的NPC角色，它能夠根據(jù)當(dāng)前環(huán)境的變化以及以往的經(jīng)驗知識來動態(tài)地改變對PLAYER的行為。具有這種能力的角色，我們稱之為自主角色,也稱為自適應(yīng)角色。具有自主和自適應(yīng)特點的角色可具有推理能力和自適應(yīng)能力,在游戲環(huán)境下可更受玩家的歡迎。

一款擁有自主角色的游戲能夠牢牢地吸引玩家的注意力，從而延長這款游戲的生命周期，因此促使游戲開發(fā)人員花更多的時間來研究自主角色的實現(xiàn)。一些公司已經(jīng)開始嘗試從人工智能領(lǐng)域發(fā)展出更加高級的技術(shù)，如采用決策樹或者強(qiáng)化學(xué)習(xí)來實現(xiàn)角色的自主性，也有的像著名的游戲Colin McRae Rally2則采用了學(xué)習(xí)系統(tǒng)和神經(jīng)網(wǎng)絡(luò)來實現(xiàn)角色的自主性。

有關(guān)自主角色行為的論文已經(jīng)有很多做出了卓有成效的成績，如在Reynolds的文獻(xiàn)［1］中，對自主角色的群體行為進(jìn)行了描述。Blumberg和Galyean［2］中引入更多的行為控制機(jī)制，并考慮了行為學(xué)習(xí)這樣一個令人感興趣的問題。對于自主角色的更高層次的認(rèn)知能力方面，John David Fungc［3］中指出，認(rèn)知模型是用于創(chuàng)建虛擬世界的模型“金字塔”的頂層，底層的行為模型作為認(rèn)知模型和物理學(xué)模型之間的緩沖區(qū)，并將情景演算(situation calculus)［4］用于高度動態(tài)的虛擬世界。

但是，上述各種方法因為側(cè)重點不同，各有優(yōu)缺點，且相互之間較為獨立，因此本文結(jié)合上述一些方法的優(yōu)點，在此基礎(chǔ)上提出了基于認(rèn)知角色建模，采用神經(jīng)網(wǎng)絡(luò)和遺傳算法相結(jié)合的游戲自主角色的設(shè)計思路。基于此，各小節(jié)安排如下：

第一節(jié)確定了基于認(rèn)知建模方法的游戲自主角色模型；第二節(jié)介紹了神經(jīng)網(wǎng)絡(luò)在實現(xiàn)自主角色中的應(yīng)用；第三節(jié)說明了遺傳算法對神經(jīng)網(wǎng)絡(luò)的優(yōu)化；第四節(jié)對自主角色的實驗進(jìn)行了分析。

1基于認(rèn)知建模的角色自主性模型

由于認(rèn)知建模方法能夠采用精確的數(shù)學(xué)方式來定義自主角色的行為和學(xué)習(xí)模式，因此本文采用認(rèn)知建模方法來對游戲角色的自主性進(jìn)行建模。這里將游戲中存在的非玩家控制的角色簡稱為NPC,通過認(rèn)知建模方法研究NPC的高級行為規(guī)劃，指導(dǎo)NPC,提高NPC的智能水平能力，使NPC能夠?qū)Νh(huán)境作出判斷，并根據(jù)當(dāng)前的狀態(tài)進(jìn)行推理，進(jìn)而完成相應(yīng)的行動序列,有利于創(chuàng)建聰明自主的智能體――具有認(rèn)知能力的自主的角色。

在計算機(jī)游戲中，我們將游戲角色關(guān)于他所在世界的內(nèi)部模型稱“認(rèn)知模型”(Cognitive Model)。認(rèn)知模型可以用于游戲中，控制一類自主的角色。通過認(rèn)知模型支配游戲角色對其所在環(huán)境的了解程度，如何獲取知識，以及如何利用知識選擇行動。

NPC的行為分為“預(yù)定義的”和“非確定性的”兩種，建立的認(rèn)知模型也各不相同。建立預(yù)定義行為的認(rèn)知模型比較簡單，只要將事先定義好的NPC所在環(huán)境的領(lǐng)域知識賦予NPC系統(tǒng)，NPC就可以根據(jù)人們的要求采取某種行動。而非確定性的行為不容易控制。為了實現(xiàn)人為的控制，我們采取一種折中的方法，即將領(lǐng)域知識和人的指導(dǎo)賦予NPC，使NPC主動地向人們希望它達(dá)到的目標(biāo)發(fā)展。可由下面的公式表示:

知識+指導(dǎo)=行為

領(lǐng)域知識能夠用來規(guī)劃目標(biāo)，而指導(dǎo)對如何達(dá)到目標(biāo)提供一種框架計劃。

當(dāng)然NPC在決定采取什么樣的行動時并不需要整個虛擬世界的知識。所以，我們認(rèn)為NPC的認(rèn)知模型是角色對其虛擬世界的一種內(nèi)部簡化模型〔simplified model〕。

為此我們在現(xiàn)有游戲系統(tǒng)之上營造一個通過認(rèn)知模型定義的高級行為規(guī)劃器來實現(xiàn)對NPC的行為指導(dǎo)。規(guī)劃器模型設(shè)計如圖1所示。

NPC的預(yù)定義行為和非確定行為都可以形式化為認(rèn)知模型，通過認(rèn)知模型來指導(dǎo)NPC高級行為規(guī)劃器，由于神經(jīng)網(wǎng)絡(luò)在非確定中的強(qiáng)大的學(xué)習(xí)作用，因此本項目通過神經(jīng)網(wǎng)絡(luò)來實現(xiàn)NPC高級行為規(guī)劃器的三個方面：目標(biāo)引導(dǎo)、行為協(xié)調(diào)、約束滿足。

2基于人工神經(jīng)網(wǎng)絡(luò)的角色自主系統(tǒng)

這里,我們采用的是神經(jīng)網(wǎng)絡(luò)中的BP網(wǎng)絡(luò)作為NPC的感知系統(tǒng)。BP算法是一種用于多層前向網(wǎng)絡(luò)的學(xué)習(xí)算法，它包括輸入層、輸出層和隱含層，隱含層可以是多層結(jié)構(gòu)。BP網(wǎng)絡(luò)的學(xué)習(xí)過程包括兩個階段:第一階段計算前向輸出;第二階段從反向調(diào)整連接權(quán)矩陣。

在前向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的輸出作為上層神經(jīng)元的輸入.如果在輸出層，實際輸出值與期望輸出值有誤差時，則以反向?qū)⒄`差信號逐層修改連接權(quán)系數(shù)并且反復(fù)迭代，最后使實際輸出值與期望值的均方差為最小。在修正連接權(quán)系數(shù)時，通常采用梯度下降算法。

BP神經(jīng)網(wǎng)絡(luò)使用的是指導(dǎo)式的學(xué)習(xí)方法,即在學(xué)習(xí)過程中,向網(wǎng)絡(luò)提供有明確輸入和輸出目標(biāo)的樣本對。BP學(xué)習(xí)算法是基于最小二乘法LMS 算法,運用梯度下降方法,使網(wǎng)絡(luò)的實際輸出與期望輸出的均方差最小。網(wǎng)絡(luò)的學(xué)習(xí)過程是一種誤差邊向后傳播邊修正連接權(quán)的過程。因為BP網(wǎng)絡(luò)對以分類為主要目的的學(xué)習(xí)非常有效,所以,我們采用B P網(wǎng)絡(luò)進(jìn)行NPC分類的自學(xué)習(xí)。需要輸入NPC自主系統(tǒng)中BP網(wǎng)絡(luò)的特征參數(shù)主要是NPC的生命值,NPC的攻擊力，NPC的防御力，NPC的情感值等，玩家虛擬角色的生命值,玩家虛擬角色的攻擊力，玩家虛擬角色的防御力，玩家虛擬角色的情感值等。

NPC在虛擬游戲環(huán)境下，在與玩家的不斷交互中刺激著感知系統(tǒng)，在外界環(huán)境發(fā)生變化時產(chǎn)生認(rèn)知模型指導(dǎo)下的自主行為，通過神經(jīng)網(wǎng)絡(luò)最終演化成具有自主性的行為系統(tǒng)，同時，利用遺傳算法使適應(yīng)度有一定程度的增加，使NPC更適應(yīng)外界環(huán)境的變化。關(guān)于NPC的感知系統(tǒng)的設(shè)置如下：

1） 輸入?yún)?shù)的確定

NPC的感知系統(tǒng)由人工神經(jīng)網(wǎng)絡(luò)構(gòu)成，虛擬游戲環(huán)境的特征參數(shù)作為輸入送入神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。在我們的游戲項目中，輸入主要包括三種類型：布爾類型、枚舉類型和連續(xù)類型三種，但是這三種類型都需要轉(zhuǎn)化成神經(jīng)網(wǎng)絡(luò)所認(rèn)可的實數(shù)類型。

2） 權(quán)重的確定

權(quán)重有些類似于生物神經(jīng)網(wǎng)絡(luò)的樹突聯(lián)結(jié)，權(quán)重影響了輸出變量的值，并且定義了神經(jīng)網(wǎng)絡(luò)的行為，實際上訓(xùn)練或者演化神經(jīng)網(wǎng)絡(luò)的主要目標(biāo)就是確定NPC神經(jīng)網(wǎng)絡(luò)的權(quán)重。為了確定每個輸入?yún)?shù)的權(quán)重，需要確定激活函數(shù)。

3） 激活函數(shù)的確定

激活函數(shù)確定了輸入與輸出參數(shù)之間的映射關(guān)系，針對NPC自主角色的神經(jīng)網(wǎng)絡(luò)，我們采用的是非線性激活函數(shù)，具體采用的是S型激活函數(shù)。

3基于遺傳算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化

神經(jīng)網(wǎng)絡(luò)的基本特征是大規(guī)模并行處理、容錯性、自適應(yīng)性和自組織性，適合處理直覺和形象思維信息。神經(jīng)網(wǎng)絡(luò)與遺傳算法的結(jié)合使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練有了一個嶄新的面貌，目標(biāo)函數(shù)既不要求連續(xù)，也不要求可微，僅要求該問題可計算，而且它的搜索始終遍及整個解空間，因此容易得到全局最優(yōu)解。用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)，可以使得神經(jīng)網(wǎng)絡(luò)具有自進(jìn)化、自適應(yīng)能力，從而構(gòu)造出進(jìn)化的神經(jīng)網(wǎng)絡(luò)(ENN)［5］。

研究NPC的進(jìn)化,要建立NPC在虛擬環(huán)境中進(jìn)行的各種行為模型。另外,同虛擬環(huán)境本身也會發(fā)生競爭。由于適應(yīng)度是NPC競爭力大小的直接反映,為了建立NPC的競爭機(jī)制,首先要建立NPC的適應(yīng)度函數(shù)。

首先,NPC的適應(yīng)度函數(shù)和NPC的種類相關(guān)。在同一環(huán)境下,不同NPC的適應(yīng)度肯定是不相同的［6］。同時,為了表現(xiàn)NPC自學(xué)習(xí)對進(jìn)化的影響,有了學(xué)習(xí)能力的同種NPC適應(yīng)度的取值也有所不同。其次,NPC的適應(yīng)度還與其所處的不同階段有關(guān)。適應(yīng)度取值在其不同階段中不是一成不變的。

在環(huán)境不發(fā)生變化時,NPC的適應(yīng)度函數(shù)F(t)可以用此函數(shù)表示:

其中,參數(shù)a表示NPC的生命力值;參數(shù)k表示NPC的類型,不同的NPC對同一游戲環(huán)境的適應(yīng)性是不一樣的,當(dāng)k取不同的值時,會得到適應(yīng)度不同的各種NPC。接著按照以下工作步驟操作：

1） 從NPC神經(jīng)網(wǎng)絡(luò)中提取權(quán)重向量；

2） 用遺傳算法演化出一個新的網(wǎng)絡(luò)權(quán)重群體；

3） 把新的權(quán)重插入到NPC神經(jīng)網(wǎng)絡(luò)；

4） 轉(zhuǎn)到第一步進(jìn)行重復(fù)，直至獲得理想的性能。

4試驗分析

我們的實驗測試場景如下：

在一個仿真的三維游戲環(huán)境下,游弋著若干個NPC角色和一個玩家控制的虛擬角色,主角可以漫游整個游戲場景,這些NPC當(dāng)遇到主角后,可能會對主角采取不同的行為,比如攻擊行為,逃避行為,團(tuán)隊作戰(zhàn)行為,對話行為等,所有這些行為的決策都取自于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

在采用神經(jīng)網(wǎng)絡(luò)算法之前，所有的NPC無論強(qiáng)弱，都會主動向玩家角色發(fā)起攻擊，而在采用神經(jīng)網(wǎng)絡(luò)算法之后，這些NPC都具有了一個人工大腦，每個NPC在與玩家角色的交互過程不斷地學(xué)習(xí)，不斷地演化，最終變成自主角色，具體表現(xiàn)在：NPC根據(jù)以往與玩家角色交互過程中的經(jīng)驗，從而產(chǎn)生較為理智的行為，比如當(dāng)NPC感覺玩家的綜合實力要高于自己時，它可能會采取逃避的行為，而當(dāng)NPC感覺其綜合實力要高于玩家時，它往往會主動攻擊玩家。

表1和表2列舉了應(yīng)用神經(jīng)網(wǎng)絡(luò)算法前后的測試數(shù)據(jù)。

應(yīng)用神經(jīng)網(wǎng)絡(luò)算法所采取的實驗方案如下：

(1) 對于NPC感知系統(tǒng)的輸入，包括與虛擬玩家角色的距離， 虛擬玩家的攻擊力，防御力，生命力，魔法力，信譽(yù)度，NPC自身的攻擊力，防御力，生命力，魔法力，信譽(yù)度。并將參數(shù)歸一化，使最終的參數(shù)范圍位于[-1, 1]之間；

(2) 對于NPC感知系統(tǒng)的輸出，包括躲避，單獨攻擊，潛伏，召喚同伴，團(tuán)隊攻擊等行為。即將神經(jīng)元的輸出元設(shè)計成五個，這些行為通過一些標(biāo)志符來確定，例如， 如果代表攻擊的輸出位為1，則其他位為零。

通過對比兩組測試試驗,可以發(fā)現(xiàn)后一組試驗中,NPC能夠根據(jù)自己的實力和玩家的實力對比，理智的采取一些行為（比如退避，呼喚同伴協(xié)同作戰(zhàn)）而不是一味盲目攻擊， NPC的存活率顯然就很高，因此也顯得較為智能。

篇8

關(guān)鍵詞：遺傳算法 神經(jīng)網(wǎng)絡(luò) 瓦斯突出 預(yù)測

中圖分類號：TD712 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2017）01（a）-0000-00

預(yù)測煤層中的瓦斯含量是進(jìn)行煤與瓦斯突出風(fēng)險研究的重要一環(huán)，由于影響瓦斯含量的地質(zhì)因素復(fù)雜多樣，以及各因素間存在著復(fù)雜的非線性關(guān)系，迄今為止，對瓦斯突出的預(yù)測主要使用回歸分析方法，預(yù)測的結(jié)果往往跟實際的情況差別較大，因此需要使用新的方法建立預(yù)測模型來實現(xiàn)對瓦斯突出高精度的預(yù)測。

1 利用遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)建立瓦斯突出預(yù)測模型

（1）網(wǎng)絡(luò)輸入?yún)?shù)的確定：經(jīng)查閱相關(guān)文獻(xiàn)和咨詢得知瓦斯突出的主要影響因素有：煤層底板標(biāo)高、煤層到斷層距離、煤層到最近剝蝕面距離、頂板砂巖比、統(tǒng)計單元中有無斷層、基巖厚度、煤厚。

（2）網(wǎng)絡(luò)輸出參數(shù)的確定：選擇二進(jìn)制數(shù)0和1分別表征瓦斯不突出和突出。

（3）網(wǎng)絡(luò)的構(gòu)造： 一般地可以用一個三層神經(jīng)網(wǎng)絡(luò)實現(xiàn)預(yù)測功能，此神經(jīng)網(wǎng)絡(luò)的輸入層有n個神經(jīng)元，根據(jù)經(jīng)驗公式選取隱含層有（2n+1）個神經(jīng)元，輸出層有m個神經(jīng)元，因此本模型中的神經(jīng)網(wǎng)絡(luò)可以采用3層神經(jīng)網(wǎng)絡(luò)。

（4）網(wǎng)絡(luò)的訓(xùn)練：訓(xùn)練樣本取自唐山開灤多個礦井具有代表性的10個突出點，利用突出點的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到預(yù)測模型。

（5）網(wǎng)絡(luò)的精確度驗證： 利用已完成的人工神經(jīng)網(wǎng)絡(luò)對實際問題進(jìn)行試驗研究。把在開灤礦井采取的11～20組數(shù)據(jù)的瓦斯突出指標(biāo)輸入已經(jīng)訓(xùn)練的網(wǎng)絡(luò)中，驗證人工神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果與實際突出情況的吻合度，如果吻合度低，就需要對網(wǎng)絡(luò)進(jìn)行改動，直至達(dá)到滿意的吻合度。

（6）利用遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化

個體的編碼：將神經(jīng)網(wǎng)絡(luò)各層之間可能存在的連接權(quán)值和閾值編碼成實數(shù)碼串或者進(jìn)行二進(jìn)制碼串，每條碼串中包含著網(wǎng)絡(luò)中的所有權(quán)值、閾值其排列順序可以隨意定義，不受限制，組成一個染色體。

產(chǎn)生初始種群：隨機(jī)生成一定數(shù)量的碼串個體作為一個初始種群。

計算適應(yīng)度：設(shè)網(wǎng)絡(luò)有K個訓(xùn)練樣本，讓所有的訓(xùn)練樣本依次通過解碼后生成的神經(jīng)網(wǎng)絡(luò)，計算所有訓(xùn)練樣本一次通過的平均總誤差作為每條染色體的適應(yīng)度， 其中， 為瓦斯含量的實測值， 為網(wǎng)絡(luò)的輸出值。

④將網(wǎng)絡(luò)的所有連接權(quán)值和閾值進(jìn)行實數(shù)編碼，構(gòu)成一個染色體，每條染色體代表一個神經(jīng)網(wǎng)絡(luò)模型的權(quán)值和閾值。設(shè)定初始種群規(guī)模為20，進(jìn)化代數(shù)為220，交叉概率0.2 ，變異概率為0.1，為了防止遺傳算法的早熟現(xiàn)象，變異概率先定義為0.1，然后在逐漸遞增。算法運行到158代時獲得最佳的連接權(quán)值，網(wǎng)絡(luò)平均總誤差為0.001。

2 實例分析及算例求解

選取唐山開灤煤礦為例，對該地進(jìn)行瓦斯含量預(yù)測研究。對影響瓦斯含量的主要因素進(jìn)行分析，歸納確定了神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個數(shù)為7，對應(yīng)為7個輸入變量即7個影響瓦斯含量的因素。其中對輸入變量中的頂板砂巖比、統(tǒng)計單元中有無斷層、頂板基巖厚度、煤層厚度四個影響因素采用二變量比值法將其定量化。處理方法的劃分條件如表1所示，輸出層神經(jīng)元個數(shù)是1。在開灤集團(tuán)獲得的相關(guān)數(shù)據(jù)如表2所示，其中1～10作為網(wǎng)絡(luò)訓(xùn)練樣本，11～20作為網(wǎng)絡(luò)檢驗樣本，用來檢驗?zāi)Ｐ偷念A(yù)測精度。

利用前10組數(shù)分別訓(xùn)練自適應(yīng)的BP神經(jīng)網(wǎng)絡(luò)和與遺傳算法結(jié)合改進(jìn)的網(wǎng)絡(luò)得到瓦斯突出預(yù)測模型，如圖1和2所示。然后利用11～20組的樣本對網(wǎng)絡(luò)性能進(jìn)行檢驗，并將檢驗結(jié)果和實測值的數(shù)據(jù)進(jìn)行對比，對比后的結(jié)果如表3所示。 由圖1、2可知用遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)收斂速度更快，由表3可知用遺傳算法改進(jìn)后的神經(jīng)網(wǎng)絡(luò)預(yù)測的值跟實際的值更加的逼近即預(yù)測精度高。

3 結(jié)論

本文采用遺傳算法與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，通過優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，使得預(yù)測的絕對誤差從-0.0119～0.2000縮小到-0.0013～0.0611，提高了預(yù)測的精度，加快了收斂速度。對煤礦安全發(fā)展具有一定的意義。

參考文獻(xiàn)

[1]曾文飛，張英杰，顏玲.遺傳算法的基本原理及其應(yīng)用研究[J]，軟件導(dǎo)刊，2009

[2]梁芳.遺傳算法的改進(jìn)及其應(yīng)用[D].武漢理工大學(xué)，2008.

[3]彭海雁.影響煤與瓦斯突出的主控因素研究[D].東北大學(xué)，2013.

篇9

【關(guān)鍵詞】人工神經(jīng)網(wǎng)絡(luò) BP算法 故障診斷 發(fā)動機(jī)

近年來，汽車越來越多地出現(xiàn)在普通百姓家庭。發(fā)動機(jī)系統(tǒng)是汽車的心臟，大部分零件處于高溫、高壓的工作環(huán)境且處在高速運動當(dāng)中，設(shè)備復(fù)雜、參數(shù)多，其故障的發(fā)生率高，診斷起來困難繁瑣，本文針對這一問題，在掌握發(fā)動機(jī)運行流程后，引入了BP神經(jīng)網(wǎng)絡(luò)故障診斷方法，并適當(dāng)改進(jìn)，測試結(jié)果表明，該方法可靠有效實用。

3 自適應(yīng)BP網(wǎng)絡(luò)實例應(yīng)用

3.1 網(wǎng)絡(luò)輸入輸出向量及參數(shù)的選取

由汽車維修專家提供典型發(fā)動機(jī)系統(tǒng)故障現(xiàn)象及相應(yīng)的故障原因?qū)嵗鳛橛?xùn)練樣本。以故障類型X=（x1，x2，x3，x4）作為輸入，故障原因R=（r1，r2，…，r12）作為輸出，建立故障模式與故障原因之間的映射關(guān)系。如表1所示。

3.2 網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練與檢驗

按照樣本的模式對，確定輸入層節(jié)點個數(shù)為4，輸出層節(jié)點個數(shù)為12。輸出節(jié)點值的大小反映了故障出現(xiàn)的可能程度。而隱含層節(jié)點的個數(shù)可參照經(jīng)驗公式選取：其中為輸出節(jié)點數(shù)，n為輸入節(jié)點數(shù)，為1至10的常數(shù)。

將故障類型及原因分析表中的文字描述進(jìn)行轉(zhuǎn)換并編碼，就得到樣本訓(xùn)練表，如表2所示。

選取網(wǎng)絡(luò)的初始學(xué)習(xí)率=1，動量因子=0.01，初始學(xué)習(xí)率調(diào)整因子β=1，訓(xùn)練過程中根據(jù)誤差變化實時調(diào)整學(xué)習(xí)率，取β=0.9（誤差變大時），β=1.1（誤差變小時）。

采用Matlab軟件編寫程序?qū)颖具M(jìn)行訓(xùn)練。

3.3 誤差分析與判定

利用同一組樣本對改進(jìn)的BP算法和傳統(tǒng)BP算法分別進(jìn)行測試，并對照研究，進(jìn)行誤差分析。表3為階段性均方誤差所需要的訓(xùn)練次數(shù)對比，圖1為增加動量項的BP算法對網(wǎng)絡(luò)訓(xùn)練誤差的影響，圖2為采用自適應(yīng)學(xué)習(xí)率BP算法對網(wǎng)絡(luò)訓(xùn)練誤差的影響，可以直觀地看出，兩種方法都可以極大地加快網(wǎng)絡(luò)的訓(xùn)練過程，將兩種方法結(jié)合到一起，則效果更好，如圖3所示。

需要注意的是，建議學(xué)習(xí)率調(diào)整率不能取值太大，使步長平穩(wěn)，同時設(shè)定學(xué)習(xí)率的最大值，超過后就不再調(diào)整，防止出現(xiàn)過調(diào)。

4 結(jié)論

本文把基于BP神經(jīng)網(wǎng)絡(luò)的故障診斷技術(shù)引入汽車發(fā)動機(jī)故障診斷系統(tǒng)，通過增加動量項和自適應(yīng)調(diào)節(jié)學(xué)習(xí)率兩種方法來對基本的BP網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行改進(jìn)，可以極大地加快BP 神經(jīng)網(wǎng)絡(luò)收斂過程，提高學(xué)習(xí)速度。通過分析，人工神經(jīng)網(wǎng)絡(luò)能夠在發(fā)動機(jī)系統(tǒng)的監(jiān)測及診斷中發(fā)揮較大的作用，并且在設(shè)計診斷工具和改進(jìn)診斷方式中有一定的借鑒功能。

參考文獻(xiàn)

[1]韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計及應(yīng)用[M].北京：化學(xué)工業(yè)出版社，2002.

[2]黃勇，郭曉平.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的柴油機(jī)故障診斷研究[J].汽車科技，2009（03）.

[3]張冉，趙成龍.改進(jìn)BP網(wǎng)絡(luò)在汽輪發(fā)電機(jī)組故障診斷中的應(yīng)用[J].計算機(jī)仿真，2011（07）.

[4]張延林，佟德軍.BP神經(jīng)網(wǎng)絡(luò)的汽車故障診斷研究[J].自動化儀表，2009（04）.

[5]禹建麗，卞帥.基于BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷模型[J].系統(tǒng)仿真學(xué)報，2014（06）.

[6]姜蕊.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的速度預(yù)測模型[J].交通工程，2013（04）.

[7]陳懷琛，吳大正，高西全.MATLAB及在電子信息課程中的應(yīng)用[M].北京：電子工業(yè)出版社，2006（03）.

篇10

關(guān)鍵詞：矸石和粉煤灰配合比； BP神經(jīng)網(wǎng)絡(luò)；遺傳算法；最優(yōu)配比

河北金牛能源股份有限公司邢臺礦綜采面充填采煤技術(shù)，自應(yīng)用以來取得了非常好的經(jīng)濟(jì)效益和社會效益，在7606工作面進(jìn)行了系統(tǒng)的試驗和研究，在試驗過程中發(fā)現(xiàn)矸石與粉煤灰作為充填開采的骨料，其物理力學(xué)基本特性對充填開采運輸系統(tǒng)及充填工藝的設(shè)計至關(guān)重要，因此合理的最優(yōu)的矸石和粉煤灰的配比是控制開采巖層移動和地表沉降的關(guān)鍵所在，本文結(jié)合計算智能領(lǐng)域的遺傳算法和神經(jīng)網(wǎng)絡(luò)方法，利用遺傳算法的非線性尋優(yōu)能力和神經(jīng)網(wǎng)絡(luò)的非線性擬合能力，來尋找最優(yōu)方案。[1]，[2]

1 矸石與粉煤灰的物理化學(xué)特性

1.1 矸石的物理化學(xué)特性

1.1.1礦物成分測試

本測試采用的測試儀器為D/Max-3B型X射線衍射儀，由日本理學(xué)公（Rigaku）生產(chǎn)。測試條件為：Cu靶，Kα輻射，石墨彎晶單色器。狹縫系統(tǒng)為： DS（發(fā)散狹縫）：1°，RS（接收狹縫）：1°，SS（防散射狹縫）：0.15mm，RSM（單色器狹縫）： 0.6°。其中：X射線管電流為30mA，電壓為35kV。在定量分析過程中采用的掃描方式為步進(jìn)掃描，掃描速度0.25°/min，采樣間隔0.01°。

定量分析所采用的分析標(biāo)準(zhǔn)為：按照中國標(biāo)準(zhǔn)（GB5225--86）的K值法進(jìn)行定量分析，洗選矸石的組成成分分別見表1-1，X-射線衍射圖譜分別如圖1-1所示。

在定性分析過程中采用的掃描方式為連續(xù)掃描，采樣間隔為0.02°，掃描速度為3°/min。定性分析所采用的分析標(biāo)準(zhǔn)為：利用粉末衍射聯(lián)合會國際數(shù)據(jù)中心（JCPDS--ICDD）提供的各種物質(zhì)標(biāo)準(zhǔn)粉末衍射資料（PDF），并按照標(biāo)準(zhǔn)分析方法進(jìn)行對照分析。兩種樣品分析結(jié)果表明，洗選矸石主要成分是高嶺石、石英，有部分伊蒙混層、伊利石、非晶物質(zhì)和少量的其它礦物，其中的部分非晶物質(zhì)，分析認(rèn)為可能是煤或其它物質(zhì)；粉煤灰主要成分是非晶物質(zhì)，含有略多的石英，有部分莫來石、伊利石和少量的方解石、CaSO4、長石等礦物。樣品中的非晶態(tài)物質(zhì)無法確定，分析認(rèn)為可能含有部分煤等非晶物質(zhì)，也可能是粘土中溫加熱產(chǎn)生的非晶物質(zhì)。

1.1.2化學(xué)成分測試

洗選矸石與粉煤灰的礦物組成直接影響煤矸石的工程性質(zhì)。洗選矸石的化學(xué)成分與化學(xué)元素分別見表1-2、表1-3。

由表1-2、表1-3知，洗選矸石試樣的物質(zhì)組成中，SiO2的含量較高，是矸石充填開采時骨架的主要成分，可使充填后的矸石強(qiáng)度較高；此外，由于矸石中含有碳、鋁和CaO等物質(zhì)，易使矸石發(fā)生水解和風(fēng)化等現(xiàn)象。

1.1.3 致密度電鏡掃描分析

通過電鏡掃描SEM（Scanning Electron Microscope）對矸石的致密度進(jìn)行了分析，得到不同分辨率條件下洗選矸石的SEM圖片，如圖1-2所示，其SEM圖片細(xì)觀結(jié)構(gòu)描述見表1-4。

1.1.4 含水量測試

a.試驗設(shè)備

本試驗采用JA2003電子精密天平（Electronic Precision Balance）、YZH1-30遠(yuǎn)紅外自控焊條烘箱進(jìn)行測試。

JA2003電子精密天平量程為200g，可讀性為0.001g，重復(fù)性≤±0.001g，線性≤±0.002g，秤盤尺寸為Ф=110mm，如圖1-3所示。YZH1-30烘箱能夠自動測量、顯示和控制溫度，具有結(jié)構(gòu)簡單、性能穩(wěn)定等優(yōu)點。烘箱內(nèi)膽及擱板采用耐腐蝕不銹鋼材料和優(yōu)質(zhì)鋼板二種，最高工作溫度可達(dá)到500℃。

b.試驗結(jié)果

從現(xiàn)場取洗選矸石測試試樣，為防止水分的揮發(fā)，采用雙層隔離層保存封裝，保持了其自然狀態(tài)下的含水量，并對試樣進(jìn)行了一系列含水量測試。洗選矸石測試6組，分別為x1、x2、x3、x4、x5、x6，其試驗結(jié)果見表1-5。

由上述測試可知，自然狀態(tài)下洗選矸石的含水量為2.28%。

1.2 粉煤灰的物理化學(xué)特性

1.2.1 化學(xué)成分測試

同樣采用D/Max-3B型X射線衍射儀作為測試儀器，對粉煤灰試樣進(jìn)行定量分析。

1.2.2 化學(xué)成分測試

洗選矸石與粉煤灰的礦物組成直接影響充填材料的工程性質(zhì)。粉煤灰化學(xué)成分與化學(xué)元素分別見表1-6、表1-7。

由表1-6、表1-7知，粉煤灰試樣的物質(zhì)組成中，SiO2的含量較高，是煤矸石充填開采時骨架的主要成分，使充填后的煤矸石強(qiáng)度較高。

1.2.3 致密度電鏡掃描分析

通過電鏡掃描SEM（Scanning Electron Microscope）對粉煤灰的致密度進(jìn)行了分析，得到不同分辨率條件下粉煤灰的SEM圖片，如圖1-6所示。圖示細(xì)觀結(jié)構(gòu)描述見表1-8。

選取與測試洗選矸石含水量的相同儀器，對六組粉煤灰試樣的含水量進(jìn)行測試，其試驗結(jié)果見表1-9。

由上述測試可知，自然狀態(tài)下粉煤灰的含水量為21.17%。

1.3 充填材料性能分析

分析充填材料的化學(xué)成分發(fā)現(xiàn)，洗選矸石和粉煤灰均以二氧化硅和氧化鋁為主要成分，可以作為充填開采骨料的主要成分，但是粉煤灰的氧化鈣含量相對降低，活性較差，可以相應(yīng)增加洗選矸石的量來提高整體骨料中氧化鈣的含量，提高骨料的活性性能。通過致密度電鏡掃描分析發(fā)現(xiàn)，洗選矸石的結(jié)構(gòu)較致密，粗大孔洞及裂隙基本未見；粉煤灰以多孔玻璃體為主，孔洞連通情況較好，中量碎屑顆粒，可以看出粉煤灰的壓實變形量將會較大，碎屑顆粒會對充填產(chǎn)生一定的影響。在自然狀態(tài)下，粉煤灰的含水量較大，這對于充填開采將會產(chǎn)生不利影響，在實際的操作中，可以根據(jù)粉煤灰這一物理特性，控制充填膏體制備中水的加入量，改善充填體的性能。

2 矸石與粉煤灰的力學(xué)特性試驗

2.1 試驗?zāi)康募霸囼瀮?nèi)容

通過對洗選矸石與粉煤灰不同配比條件下壓實特性的測試，分析各種配比條件下各組試樣的壓實力與變形量的關(guān)系，并得出最有利于現(xiàn)場充填的配比條件。

2.2 試驗設(shè)備及試驗條件

本試驗采用美國MTS公司的MTS815.02電液伺服巖石力學(xué)試驗系統(tǒng)進(jìn)行測試，如圖2-1所示。充填矸石與粉煤灰的盛樣裝置為自行設(shè)計的壓縮鋼筒，該裝置的內(nèi)徑128 mm，鋼筒深度180 mm，壓縮活塞高度為110 mm，試驗中試樣高度為120 mm。

2.3 壓實試驗方案設(shè)計射線

在試驗前將取洗選矸石和粉煤灰作為測試樣品，按照二者不同的配比比例，將試樣共同分為12組，其中1∶0和0∶1分別代表純矸石和純粉煤灰，壓實試驗配比方案見表2-1。

在矸石與粉煤灰直接充填綜采項目現(xiàn)場工業(yè)性試驗中，充填材料中的矸石直接來自洗選矸石倉，而實驗室試驗矸石樣品來自于選煤廠排放于矸石山的矸石；充填材料中的粉煤灰直接來自電廠的粉煤灰，而實驗室試驗粉煤灰樣品來自于電廠堆積于地面噴水后（噴水為了防止揚(yáng)塵）的粉煤灰。因此，實際充填時料的含水量與試驗的含水量是不同的，在實際配比時將會結(jié)合換算關(guān)系，進(jìn)行配比換算。

矸石粉煤灰配比混合充填材料設(shè)計試驗的壓應(yīng)力范圍為0～30 MPa，加載速率為0.1 MPa·s-1。每組測試的時間為300 s，數(shù)據(jù)每1.0 s采集一次。每組不同配比的試驗做三次，以防止試驗過程中出現(xiàn)無效數(shù)據(jù)等情況，確保試驗數(shù)據(jù)的真實有效性。

2.4 矸石與粉煤灰壓實特性

壓實度k的定義為充填材料在壓實過程中受外力作用而被壓實的程度。它用壓實后的體積Vys與原松散狀態(tài)下的總體積Vs之比來表示。

由圖2-3可知，充填材料的壓實度k隨著壓實力σ的增大而減小，特別在初始階段，由于材料的松散程度較大，因此產(chǎn)生的壓縮量較大，表現(xiàn)為壓實度k變化較快。在試驗曲線中取的當(dāng)壓力為7 MPa時，不同配比的壓實度。由以上試驗數(shù)據(jù)，可知不同配比情況下有不同的壓實度，但是無法判斷最優(yōu)的配合比是否在試驗配比當(dāng)中，因此有必要采用神經(jīng)網(wǎng)絡(luò)和遺傳算法進(jìn)行尋優(yōu)。

3 BP神經(jīng)網(wǎng)絡(luò)和遺傳算法尋優(yōu)

3.1 BP神經(jīng)網(wǎng)絡(luò)和遺傳算法簡介

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，簡稱ANN）是模擬人腦學(xué)習(xí)、處理和記憶方式，在人類對其大腦神經(jīng)網(wǎng)絡(luò)認(rèn)識理解的基礎(chǔ)上人工構(gòu)造的能夠?qū)崿F(xiàn)某種功能的神經(jīng)網(wǎng)絡(luò)。它是理論化的人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，是基于模仿大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能而建立的一種信息處理系統(tǒng)。它是一個由大量簡單元件互相連接而成的復(fù)雜網(wǎng)絡(luò)，具有高度的非線性，能夠進(jìn)行復(fù)雜的邏輯操作和非線性關(guān)系實現(xiàn)的系統(tǒng)。BP神經(jīng)網(wǎng)絡(luò)又稱為誤差反向傳播（Back Propagation）神經(jīng)網(wǎng)絡(luò)，是一種多層前饋神經(jīng)網(wǎng)絡(luò)，具有廣泛的適應(yīng)性和有效性，主要應(yīng)用于模式識別和分類等方面。[3]

遺傳算法（Genetic Algorithm，簡稱GA）是一種模仿自然界生物進(jìn)化思想而得出的一種自適應(yīng)啟發(fā)式全局搜索算法，其實質(zhì)是由復(fù)制—交換—變異算子組成的周而復(fù)始的循環(huán)過程。這種方法由于仿效生物的進(jìn)化與遺傳，根據(jù)“生存競爭”和“優(yōu)勝劣汰”的原則，借助復(fù)制、交換、變異等操作，使要解決的問題一步步逼近最優(yōu)解或近優(yōu)解。[4]

在充填配比試驗中，由于條件的限制，我們只能進(jìn)行有限次的試驗，而且試驗配比是建立在經(jīng)驗的基礎(chǔ)上，所以得到的試驗結(jié)果往往不是最優(yōu)的配比，但是我們可以認(rèn)為在一定的配比情況下獲得對應(yīng)的壓實度值，兩者之間存在一定的非線性映射關(guān)系，通過建立神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，把配比作為輸入數(shù)據(jù)，把壓實度值作為輸出數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，訓(xùn)練后的網(wǎng)絡(luò)可以預(yù)測不同配比情況下的壓實度值。然后把配比值作為遺傳算法中種群個體，把網(wǎng)絡(luò)預(yù)測的壓實度值作為個體適應(yīng)度值，通過遺傳算法推導(dǎo)最優(yōu)試驗結(jié)果及其對應(yīng)的配比。

3.2 模型建立

神經(jīng)網(wǎng)絡(luò)遺傳算法極值尋優(yōu)主要分為BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練擬合和遺傳算法極值尋優(yōu)兩步。神經(jīng)網(wǎng)絡(luò)訓(xùn)練擬合根據(jù)試驗條件和試驗結(jié)果的特點構(gòu)建合適的BP神經(jīng)網(wǎng)絡(luò)，用部分試驗結(jié)果的輸入輸出訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)就可以預(yù)測函數(shù)輸出。遺傳算法極值尋優(yōu)把訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果作為個體適應(yīng)度值，通過選擇、交叉和變異操作尋找壓實度的全局最優(yōu)值及對應(yīng)輸入配比值。

3.3 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練和遺傳算法計算

利用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行網(wǎng)絡(luò)創(chuàng)建、訓(xùn)練、仿真和輸出，網(wǎng)絡(luò)有2個輸入?yún)?shù)、1個輸出參數(shù)，通過試湊隱藏層神經(jīng)元個數(shù)比較輸出結(jié)果與期望結(jié)果的誤差，如圖2-2所示，發(fā)現(xiàn)當(dāng)隱藏層為2層，第一個隱藏層有8個神經(jīng)元，第二個隱藏層有2個神經(jīng)元時，網(wǎng)絡(luò)的輸出誤差最低，因此確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為2-8-2-1。取試驗的12組數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，并測試網(wǎng)絡(luò)性能，網(wǎng)絡(luò)訓(xùn)練好后用于預(yù)測輸出。通過預(yù)測輸出圖可以看出預(yù)測輸出與期望輸出基本上吻合，但是每次驗證的結(jié)果都會不同，因此BP神經(jīng)網(wǎng)絡(luò)的預(yù)測精度對于最優(yōu)位置的尋找具有非常重要的意義，在進(jìn)行擬合的時候要尋找最優(yōu)BP網(wǎng)絡(luò)結(jié)果，然后進(jìn)行遺傳算法尋優(yōu)計算。

遺傳算法中個體采用實數(shù)編碼，由于試驗配比只有兩個輸入?yún)?shù)，所以個體長度為2，迭代次數(shù)是100次，種群規(guī)模是20，個體適應(yīng)度值為BP神經(jīng)網(wǎng)絡(luò)預(yù)測值，適應(yīng)度值越大，個體最優(yōu)，交叉概率為0.2，變異概率為0.1。經(jīng)過遺傳算法得到的最優(yōu)個體適應(yīng)度值為0.8490，最優(yōu)個體為[0.9972，0.6521]，此時的配比為1：0.654，這個比值只是某次試驗情況下的結(jié)果，不一定是所有試驗最優(yōu)結(jié)果，但是基本接近最優(yōu)結(jié)果，我們可以根據(jù)得到的結(jié)果優(yōu)化實際中的矸石和粉煤灰配比，達(dá)到最優(yōu)的狀態(tài)。[5]，[6]，[7]

4 結(jié)論

1）通過矸石與粉煤灰的物理化學(xué)特性實驗，得到了邢臺礦充填材料的化學(xué)成分和致密度情況以及含水率，發(fā)現(xiàn)二氧化硅和氧化鋁的含量對于充填性能有較大影響，致密結(jié)構(gòu)將有助于提高充填強(qiáng)度，粉煤灰的含水量較高對充填會有不利的影響。

2）利用遺傳算法和人工神經(jīng)網(wǎng)絡(luò)，經(jīng)過尋優(yōu)計算得到了矸石和粉煤灰的近似最優(yōu)配比，配比為1：0.654。

3）現(xiàn)場應(yīng)用的結(jié)果表明，在此配比時上部巖層受采動應(yīng)力影響，出現(xiàn)了裂隙發(fā)育、局部離層、最終到裂隙閉合的發(fā)展過程，說明充填體可控制上覆巖層的運動，工作面頂板不會出現(xiàn)大面積的垮落。礦用鐵路沿線最大下沉值為16 mm， 沿南外環(huán)公路的觀測線沒有任何下沉。

4）國內(nèi)同類礦山或采用充填法進(jìn)行回采的礦山都可以通過計算智能方法，經(jīng)過優(yōu)化計算找到最優(yōu)的充填材料配合比，參數(shù)的數(shù)量可以根據(jù)實驗的條件進(jìn)行改變，本文的方法有極大的參考價值。

參考文獻(xiàn)

[1] Liu Q G， Zhao Q B. Coal Mining Technology with Fully Mechanized Solid Back filling Under the Building Structures in Xingtai Mine. Coal Science andTechnology， 2010， 38（3）： 1（劉建功，趙慶彪.邢臺礦建筑物下綜合機(jī)械化固體充填采煤技術(shù)[J].煤炭科學(xué)技術(shù)，2010，38（3）：1.）

[2] Hao B S， Zhang S G. An experimental study on waste stone-fly ash mixture for stowing after mining.China coal. 2009，35（11）：1（郝寶生，張書國.矸石與粉煤灰混合充填開采的試驗研究[J].中國煤炭，2009，35（11）：1）