第兩千四百二十一章 今天的我,昨天的你
“記第L層的第i個神經元的激活值為a(l)i,參數記為行向量(·)(l)i的話,如果這一層有s個神經元,那麼這一層行向量的維數就有sl+1維……”
“這個多出來的1是從哪兒來的?”周至又開始問問題了。
“因為我們要設置偏置單元。所以這一層的行向量就會是一個巨大的矩陣,它的行是s(l+1),列是sl+1。”
“這還只是其中的一層,”周至有點明白了:“之前你說過,這種每相鄰兩層的神經元全部互相聯接的方式,你們稱為全連接。其實最終的結果,是輸入層通過非線性激活函數穿透所有隱藏層之後的最終結果,也就是說,它是經過無數個矩陣疊加運算之後的結果,是吧?”
“差不多可以這樣理解。”麥小苗說道:“不過需要注意的是神經網絡中的權重和偏置這些參數是機器自己學習出來的,它們被稱為模型參數;而神經網絡一共有幾層、每層隱藏層有多少節點等等,這些參數是預先指定的,這種被預先指定且在學習過程中不改變的參數被稱為超參數。”
“這還只是單輸出的情況。如果我們要解決多元分類輸出的問題的話,運算結構就會變得更加的複雜,成為以上模型矩陣的再一次矩陣疊加。”
麥小苗有些激動,拉著周至的袖子:“回國之前,我一直擔心沒有人能夠理解這種數學理論的優越性,只被它需要耗費的資源與投入給嚇得止步不前了。要是按照部委那點撥款計劃來看……肘子,真的很感謝你。”
“要是按照那個撥款計劃來看,恐怕又會多一個手搓原子彈的勵志故事了。”周至說道:“其實宋主任他們也不是不理解,只不過……你現在也是家訪過好多小朋友家裡的人了,應該明白現在國家需要用錢的地方,太多了。”
這就是這個國家如今的現狀,說多了都是淚,就連北斗導航實驗衛星系統工程這麼重要的國之重器,先期理論驗證階段,一共兩次撥款,加起來才給了六十五萬。
“嗯,肘子你放心,我對自己帶來的這個運算模型是很有信心的,在理論上已經驗證過了的。”