前言：中文期刊網精心挑選了卷積神經網絡的訓練方法范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
卷積神經網絡的訓練方法范文1
（廣東外語外貿大學 金融學院，廣東 廣州 510006）
摘 要：作為一個具有巨大應用前景研究方向，深度學習無論是在算法研究，還是在實際應用（如語音識別，自然語言處理、計算機視覺）中都表現出其強大的潛力和功能.本文主要介紹這種深度學習算法，并介紹其在金融領域的領用.
關鍵詞 ：深度學習；受限波茲曼機；堆棧自編碼神經網絡；稀疏編碼；特征學習
中圖分類號：TP181 文獻標識碼：A 文章編號：1673-260X（2015）01-0037-03
1 深度學習的研究意義
深度學習是一類新興的多層神經網絡學習算法，因其緩解了傳統訓練算法的局部最小性，引起機器學習領域的廣泛關注.深度學習的特點是，通過一系列邏輯回歸的堆棧作為運算單元，對低層數據特征進行無監督的再表示（該過程稱為預學習），形成更加抽象的高層表示(屬性類別或特征)，以發現數據的分布式特征表示.深度學習的這種特性由于與腦神經科學理論相一致，因此被廣泛應用于語音識別、自然語言處理和計算機視覺等領域.
生物學研究表明[1]：在生物神經元突觸的輸出變化與輸入脈沖的持續時間有關，即依賴于持續一定時間的輸入過程，輸出信號既依賴于輸入信號的空間效應和閾值作用，也依賴于時間總和效應.
傳統的深度學習方法雖然較好地模擬了生物神經元的一個重要特性——空間總和效應上的深度，卻忽視了生物神經元的另一個重要特性——時間總和效應上的寬度[2].因此，對于連續的時間變量問題（如語音識別），傳統深度學習方法只能將連續的時間函數關系轉化為空間關系，即離散化為時間序列進行處理.這樣做有幾個弊端：
（1）可能造成深度學習算法對時間采樣頻率的十分敏感，魯棒性較差.這使得，不同時間尺度下，需要使用不同的數據和算法.這無疑是十分不方便的；
（2）導致深度網絡規模過大，使得計算開銷增大、學習效果變差、泛化性能降低；
（3）難以滿足實際應用對算法的實時性的要求，更難以體現連續輸入信息的累積效應，大大降低深度學習算法的實用性.
因此，對傳統的深度學習算法進行改進，使其不但具有“深度”，亦能具有“寬度”，能夠對連續時變數據進行更好的特征提取、提高算法效率和實用性，顯得勢在必行.基于這個切入點，本項目借鑒時頻分析與小波分析中的方法，結合數學分析領域中的泛函分析技術，與堆棧自編碼神經網絡相結合，提出一種新的深度學習算法——深度泛函網絡.為了驗證算法的有效性及優越性，本項目將把新算法應用于金融時間序列的領域.
在目前國內外對于深度學習的研究中，幾乎沒有任何將深度學習技術運用于金融數據的研究.通過提出并運用得當的深度序列學習方法，我們期望從金融數據中抽取更高級的、具有經濟學意義或預測性意義的高級特征（與人工設計的“技術指標”相對應），并開發相應的量化交易策略，并與其它傳統算法進行對比，以說明所提算法的可行性和優越性.
2 國內外研究現狀
人類感知系統具有的層次結構，能夠提取高級感官特征來識別物體（聲音），因而大大降低了視覺系統處理的數據量，并保留了物體有用的結構信息.對于要提取具有潛在復雜結構規則的自然圖像、視頻、語音和音樂等結構豐富數據，人腦獨有的結構能夠獲取其本質特征[3].受大腦結構分層次啟發，神經網絡研究人員一直致力于多層神經網絡的研究.訓練多層網絡的算法以BP算法為代表，其由于局部極值、權重衰減等問題，對于多于2個隱含層的網絡的訓練就已較為困難[4]，這使得實際應用中多以使用單隱含層神經網絡居多.
該問題由Hinton[5]所引入的逐層無監督訓練方法所解決.具體地，該法對深度神經網絡中的每一層貪婪地分別進行訓練：當前一層被訓練完畢后，下一層網絡的權值通過對該層的輸入（即前一層的輸出）進行編碼（Encoding，詳見下文）而得到.當所有隱含層都訓練完畢后，最后將使用有監督的方法對整個神經網絡的權值再進行精確微調.在Hinton的原始論文中，逐層貪婪訓練是通過受限波茲曼機（Restricted Boltzmann Machine,RBM）以及相對應的對比散度方法（Contrastive Divergence）完成的.與通常的神經元不同，RBM是一種概率生成模型，通常被設計為具有二元輸入-輸出（稱為Bernoulli-Bernoulli RBM）.通過對每一層的受限波茲曼機進行自底向上的堆棧（如圖1），可以得到深度信念網（Deep Belief Network,DBN）.
除了生成式的RBM，還有其他的深度學習結構被廣泛使用和研究.如堆棧自編碼神經網絡（Stacked Auto-Encoder Network,SAEN）[6],以及深度卷積神經網絡（Deep Convolutional Network）[7]等.前者的優勢在于可以簡單地采用通常的BP算法進行逐層預訓練，并且引入隨機化過程的抗噪聲自編碼網絡（Denoising SAEN）泛化性能甚至超過DBN[8]；而后者則通過權值共享結構減少了權值的數量，使圖像可以直接作為輸入，對平移、伸縮、傾斜等的變形具有高度不變性，因此在圖像識別領域有著廣泛應用.
近年來，稀疏編碼（Sparse Encoding）和特征學習（Feature Learning）成為了深度學習領域較為熱門的研究方向.B.A.Olshausen[9]等針對人腦的視覺感知特性，提出稀疏編碼的概念.稀疏編碼算法是一種無監督學習方法，它用來尋找一組“過完備”的基向量來更高效地表示輸入數據的特征，更有效地挖掘隱含在輸入數據內部的特征與模式.針對稀疏編碼的求解問題，H.Lee等在2007年提出了一種高效的求解算法[10]，該算法通過迭代地求解兩個不同的凸規劃問題以提高效率.同年，H.Lee等發現，當訓練樣本為圖像時，對DBN的訓練進行稀疏性的約束有利于算法學習到更高級的特征[11].例如，對手寫識別數據集進行訓練時，稀疏性約束下的DBN算法自主學習到了“筆畫”的概念.
基于[10,11]的研究成果，R.Raina等[12]提出了“自導師學習（Self-Taught Learning）”的概念.與無監督學習（Unsupervised Learning）和半監督學習（Semi-supervised Learning）不同，自導師學習利用大量易獲得的無標簽數據（可以來自不同類別甚至是未知類別），通過稀疏編碼算法來構建特征的高級結構，并通過支持向量機（Support Vector Machine,SVM）作為最終層分類器對少數有標簽數據進行分類.這種更接近人類學習方式的模式極大提高了有標簽數據的分類準確度.與之類似，H.Lee,R.Grosse等[13]提出了一種具有層次結構的特征學習算法.該算法將卷積神經網絡與DBN結合，并通過稀疏正則化（Sparsity Regularization）的手段無監督地學習層次化的特征表征.圖像識別實驗表明，該算法能夠自主學習得出“物體（Object Parts）”的概念，較好體現了人腦視覺感知的層次性和抽象性.
3 發展趨勢
由于信號處理、語音識別、金融時間序列分析、視頻分析等領域的實時應用需求，研究能夠處理連續時變變量、自然體現時間聯系結構的深度學習算法（即深度序列學習，Deep Sequence Learning）成為了新的研究熱點.G.W.Taylor,G.E.Hinton等[14]提出時間受限波茲曼機（Temporal RBM,TRBM）.該模型使用二值隱含元和實值可視元，并且其隱含元和可視元可以與過去一段歷史的可視元之間可以有向地被相連.同時，該模型被用于人類動作識別，并展現出了優秀的性能.針對TRBM的一些不足，一些改進算法也不斷涌現，如[15,16].然而，該類深度學習模型雖然考慮了動態的時間變量之間的聯系，但依然只能處理離散時間問題，本質上還是屬于轉化為空間變量的化歸法.同時，在自編碼網絡框架下，依然缺乏較好解決時間過程（序列）問題的方案.
4 金融時序數據中的應用
傳統金融理論認為，金融市場中的證券價格滿足伊藤過程，投資者無法通過對歷史數據的分析獲得超額利潤.然而，大量實證研究卻表明，中國股票價格波動具有長期記憶性，拒絕隨機性假設，在各種時間尺度上都存在的可以預測的空間.因此，如何建立預測模型，對于揭示金融市場的內在規律，這無論是對于理論研究，還是對于國家的經濟發展和廣大投資者，都具有重要的意義.
股票市場是一個高度復雜的非線性系統，其變化既有內在的規律性，同時也受到市場，宏觀經濟環境，以及非經濟原因等諸多因素的影響.目前國內外對證券價格進行預測的模型大致分為兩類：一是以時間序列為代表的統計預測模型；該類方法具有堅實的統計學基礎，但由于金融價格數據存在高噪聲、波動大、高度非線性等特征，使得該類傳統方法無法提供有效的工具.另一類是以神經網絡、支持向量機等模型為代表的數據挖掘模型.該類模型能夠處理高度非線性的數據，基本上從擬合的角度建模.雖然擬合精度較高，但擬合精度的微小誤差往往和市場波動互相抵消，導致無法捕捉獲利空間甚至導致損失，外推預測效果無法令人滿意.因此，建立即能夠處理非線性價格數據，又有良好泛化能力的預測模型勢在必行.
——————————
參考文獻：
〔1〕Zhang L I, Tao H W, Holt C E, et al. A critical window for cooperation and competition among developing retinotectal synapses[J]. Nature, 1998, 395(6697).
〔2〕37-44.歐陽楷,鄒睿.基于生物的神經網絡的理論框架——神經元模型[J].北京生物醫學工程,1997,16(2):93-101.
〔3〕Rossi A F, Desimone R, Ungerleider L G. Contextual modulation in primary visual cortex of macaques[J]. the Journal of Neuroscience, 2001, 21(5): 1698-1709.
〔4〕Bengio Y. Learning deep architectures for AI[J]. Foundations and trends? in Machine Learning, 2009, 2(1):1-127.
〔5〕Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.
〔6〕Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th international conference on Machine learning. ACM, 2008: 1096-1103.
〔7〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.
〔8〕Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. The Journal of Machine Learning Research, 2010, 9999: 3371-3408.
〔9〕Olshausen B A, Field D J. Sparse coding with an overcomplete basis set: A strategy employed by V1?[J]. Vision research, 1997, 37(23): 3311-3325.
〔10〕Lee H, Battle A, Raina R, et al. Efficient sparse coding algorithms[J]. Advances in neural information processing systems, 2007, 19: 801.
〔11〕Lee H, Ekanadham C, Ng A Y. Sparse deep belief net model for visual area V2[C]//NIPS. 2007, 7: 873-880.
〔12〕Raina R, Battle A, Lee H, et al. Self-taught learning: transfer learning from unlabeled data[C]//Proceedings of the 24th international conference on Machine learning. ACM, 2007: 759-766.
〔13〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.
〔14〕Taylor G W, Hinton G E, Roweis S T. Modeling human motion using binary latent variables[J]. Advances in neural information processing systems, 2007, 19: 1345.
