基于憶阻器件的深度神經網絡系統的制作方法
【技術領域】
[0001] 本發明設及一種深度神經網絡系統。
【背景技術】 W02] 2006年，加拿大多倫多大學教授GeofTrey化nton在《科學》上發表論文 "ReducingtheDimensionalityofDatawith化ural化tworks"，從此掀起了W深度神 經網絡為主的人工神經網絡研究新浪潮。深度神經網絡值eep化ural化tworks，DNN)有 別于傳統的人工神經網絡，主要借鑒生物神經網絡具有多層拓撲結構的特征，人為構建具 有多個隱含層的人工神經網絡。由于結合了 "逐層預訓練"運種貪婪無監督算法和全局調 整算法，運種多層神經網絡相對容易收斂。與淺層神經網絡模型相比，深度神經網絡具有突 出的特征學習能力，學習得到的特征能夠對數據進行更本質的表達，從而更有利于后端分 類和識別處理。因此，深度神經網絡使得計算機在圖像、視頻、語音等信息處理應用方面的 性能得到了極大地提高。雖然深度神經網絡在性能上具有明顯的優勢，但在實際應中依然 較難推廣。主要原因在于現有的人工神經網絡研究基本是在計算機軟件中仿真實現的，其 軟件模型雖然是分布式和并行的，但其硬件執行依然束縛于馮?諾依曼計算范式，最終實現 的硬件開銷、能耗和信息處理速度不容樂觀。即便是利用最先進的大體積超級計算機，也不 能實現人腦規模的實時模擬與大腦計算的超低能耗。
[0003] 圖1為傳統基于計算機軟件的人工神經網絡計算原理示意圖。前端突觸輸入信號 \經過對應的突觸連接權重WW，完成相應的權重乘法操作并進入神經元節點，該神經元節 點完成對前端突觸輸入信號\的累加，并經過非線性變換f(?)產生輸出信號Y1并發送至 后端突觸網絡，整個計算過程等效于Yi=f(EkXiWki+bi)。上述計算過程在傳統人工神經 網絡中基于馮?諾依曼計算機串行范式，導致各種尺寸、能耗、時間等開銷巨大，很難在嵌入 式領域應用。

【發明內容】

[0004] 有鑒于此，確有必要提供一種運算速度更快且能耗更低的深度神經網絡系統。 陽〇化]一種基于憶阻器件的深度神經網絡系統，包括：輸入層、輸出層W及多個隱含層； 所述輸入層接收外部信息輸入模式，并將該輸入模式送入所述多個隱含層，所述多個隱含 層對來自輸入層的輸入模式進行逐層計算轉換，并將計算結果發送至所述輸出層，所述輸 出層接收所述隱含層的計算結果，并將其作為輸出結果對外輸出，相鄰兩層的神經元節點 通過突觸權重網絡連接；所述深度神經網絡系統的突觸權重采用憶阻器件模擬，所述憶阻 器件的電阻隨著施加電信號進行改變。
[0006] 一種信息處理系統，包括：基于憶阻器件的深度神經網絡系統、計算模塊、驅動電 路、輸出結果比對模塊、輸入信息接口W及輸出信息接口；所述輸入信息接口用于將外界信 息輸入模式轉換為所述深度神經網絡系統所需的信號；所述深度神經網絡系統的輸入端連 接所述輸入信息接口，輸出端連接所述輸出信息接口，所述深度神經網絡系統用于進行深 度神經網絡運算，并將運算結果作為輸出結果發送至所述輸入信息接口；所述輸出信息接 口分別連接所述深度神經網絡系統與所述輸出結果比對模塊，用于將所述深度神經網絡系 統產生的輸出信號轉換并發送給所述輸出結果比對模塊；所述輸出結果比對模塊分別連接 所述輸出信息接口與所述計算模塊，所述輸出結果比對模塊將當前深度神經網絡系統的輸 出結果與理想結果進行比對，并將比對結果發送之所述計算模塊；所述計算模塊分別連接 所述輸出結果比對模塊與所述驅動電路，所述計算模塊接受所述輸出結果比對模塊發送的 誤差信號，根據設定的神經網絡訓練算法計算網絡連接權重調整量并發送至驅動電路；所 述驅動電路接收所述計算模塊發送的網絡連接權重調整量，并根據該網絡連接權重調整量 控制所述憶阻器件的電阻值。
[0007] 與現有技術相比，本發明提供的基于憶阻器件的深度神經網絡系統采用憶阻器件 實現深度神經網絡運算，整個系統的運算速度與密度均有很大提高，運行能耗則大幅降低， 有望實現對大腦規模神經網絡的實時與低能耗模擬。
【附圖說明】
[0008] 圖1為現有基于計算機軟件的人工神經網絡計算原理示意圖。
[0009] 圖2為本發明實施例提供的基于憶阻器件的深度神經網絡拓撲結構圖。
[0010] 圖3為基于憶阻器件的深度神經網絡計算原理示意圖。 W11] 圖4為本發明實施例中憶阻器件調制示意圖。
[0012] 圖5為本發明實施例基于憶阻器件的深度神經網絡系統。
[0013] 主要元件符號說明
[0014]

[0015] 如下【具體實施方式】將結合上述附圖進一步說明本發明。
【具體實施方式】
[0016] 下面將結合附圖及具體實施例對本發明提供的基于憶阻器件的深度神經網絡系 統作進一步的詳細說明。
[0017] 請參見圖2,本發明實施例提供一種基于憶阻器件的深度神經網絡系統10,包括： 輸入層11、多個隱含層12W及輸出層13。所述輸入層11與所述多個隱含層12連接，所述 輸入層11接收外部信息輸入模式14,并將該輸入模式14送入所述多個隱含層12。所述多 個隱含層12分別與所述輸入層11、輸出層13連接，所述多個隱含層12對來自輸入層11的 輸入模式14進行逐層計算轉換，并將計算結果發送至所述輸出層13。所述輸出層13接收 所述隱含層12的計算結果，并將其作為輸出結果15對外輸出。
[0018] 所述輸入層11、多個隱含層12W及輸出層13均包括多個神經元節點16,各層的 神經元節點個數可W根據不同的應用情況設定。所述深度神經網絡系統10信息流的邏輯 層數通常大于3層，相鄰兩層神經元節點之間通過突觸權重網絡17連接。
[0019] 所述深度神經網絡系統10的突觸權重由憶阻器件18實現。所述憶阻器件18是 一種電阻值可W隨著所施加的電信號進行改變的可塑物理器件，憶阻器件18的運種特性 可W模擬神經網絡間連接突觸連接強弱的行為，即模擬神經網絡自適應學習的功能。所述 憶阻器件18的類型可W為兩端憶阻器件、=端憶阻器件或其他常見的類型。所述憶阻器件 18依靠不同的電阻值來區分不同的存儲狀態，其讀寫速度、器件密度、編程電壓等各項指標 都可W與當今領先的存儲技術媳美，且其掉電不丟失，屬于非易失性器件，能耗相當低。
[0020] 請參見圖3,該圖為基于憶阻器件的神經網絡系統計算原理示意圖。本實施例中所 述憶阻器件18的一端連接前端突觸輸入信號，另一端連接運算放大器的反向輸入端。所述 神經網絡系統的計算過程可描述為Yi=f(Ek-XiRfGki+bi)，其中，Xi為第i個神經元節點 的前端突觸輸入信號，Gki為第i個神經元節點的第k個輸入突觸權重，Rf為第i個神經元 節點上的運放反饋電阻，可W電導權重無量綱化，實現與人工神經網絡無量綱權重的匹配 (運種無量綱化的方式不僅限于本實施例提供的采用運算放大器實現運一種方法）。-RfGki 等效于傳統神經網絡的突觸權重Wki。輸入信息乘W權重累加的過程，在憶阻器網絡中直接 映射實現，并且憶阻器具有低能耗、小尺寸和高速度的優點，提供了一種異于傳統計算機神 經網絡的新型計算范式。
[0021] 請參見圖4,該圖為所述深度神經網絡系統10中憶阻器件的調制示意圖。神經 網絡計算需要根據信息輸入模式、當前輸出結果和理想輸出結果不斷調整突觸權重進行學 習。基于憶阻器件的神經網絡系統采用憶阻器件18模擬突觸權重，利用所述憶阻器件18 的電阻可