文 | 追問nextquestion
大腦的活動並不是均勻分布的，而是遵循對數正態分布，顯示出明顯的「長尾」特征，即少數神經元非常活躍，而大多數則在積極「摸魚」。對數正態分布這一形式在大腦中隨處發生（如樹突棘大小、神經突觸密度等），可能是大腦進行魯棒學習和低能耗計算的基礎。
對於任何接受過中學教育的讀者，最熟悉的機率分布莫過於正態分布，它描述了重復多次實驗後一個受到隨機因素影響的獨立變量呈現的機率分布。然而在大腦中，常見的卻是有著長尾特征的對數正態分布。
究竟是什麽樣的生物學機制會產生對數正態分布？大腦又是如何利用這種分布在不同尺度上——從細胞到感知——支持其復雜功能？遵循這一分布模式，大腦的高效運算為人工智慧的發展又提供了哪些啟示？本文將回顧經典綜述和數篇之後的相關研究，試圖一一解答這些問題。
正態分布 VS 對數正態分布
什麽是對數正態分布？為了理解這個概念，你需要先參與一個虛擬股市的模擬遊戲。遊戲開始時，每位玩家都有相同的啟動資金，玩家需要每天根據市場的隨機波動買賣股票。每位玩家的決策和運氣將決定他們的盈虧。第一天，玩家的盈虧會遵循一個簡單的正態分布，小部份虧了很多，小部份贏了很多，大部份人處於虧一點或贏一點之間。
但隨著時間的推移，你會發現，盡管每天的漲跌都是隨機的（每次決策的盈虧都會呈現正態分布），最終每個人的資金量卻呈現出一種非對稱的、長尾的分布——這就是對數正態釋出。
因為玩家的資金每次增減都是在之前資金的基礎上進行的，這會形成一種累積效應。所以，大部份玩家資金量都會集中在較低的水平（大部份人盈虧均衡，小部份就算一直虧損也只會越虧越少），只有極少部份出現在高值（連續盈利的人很少，但只會越掙越多），形成長尾分布*。
▷ 圖1.正態分布與對數正態分布的對比，綠色：正態分布；紅色：對數正態分布。在股市的例子裏，橫軸為資金，縱軸為數量，在神經元內，橫軸為啟用頻率，縱軸為數量。在股市的例子裏，因為玩家的資金每次增減都是在之前資金的基礎上進行的，每次交易玩家的資金都有可能增加或減少一個固定百分比（比如增加或減少50%）。那麽將會有極少部份人連續虧損，從100到50到25到12.5到6.25；而極少部份人連續盈利，就是從100到150到225到337.5；更多的人是處於或盈或虧中，如100到150到75到112.5到56.25；100到50到75到37.5到56.25，最後大部份人都集中在較低值。
在學術界，對呈現對數正態分布的隨機變量，還有諸如冪律（power law），無標度（scale-free）等描述，其背後都指向同一現象。
神經元間的啟用間隔、樹突棘大小、 神經突觸的密度都遵循對數分布
在大腦的世界裏，神經元的行為有點像城市中的燈光。大多數時間，大部份燈光是關閉的，但偶爾會有一些燈光亮起來，照亮周圍的一小塊區域。
已有多項研究表明，這些「點亮」的間隔——也就是 神經元的啟用頻率 （firing rate）—— 遵循對數正態分布的模式 [1] 。這一規律不僅適用於小鼠，人等各個物種；興奮性的錐體神經元，抑制性的中間神經元；還適用於從前進演化上更原始的小腦和執行各種高級認知功能的新皮層中的各個腦區。
由於對數正態分布的不對稱特征，這意味著少部份神經元在大腦中經常啟用，而剩下的大部份神經元看起來在積極「摸魚」（時不時啟用）。此外，神經元的啟用後尖峰的振幅，突觸的權重也遵循正態分布 [1] 。
▷ 圖2. 不同腦區和環境下，多種常見神經細胞其啟用率都遵循對數正態分布（此處橫軸，縱軸都是對數處理後的，因此呈顯出線性散點圖），參考文獻1。
但神經元不只是簡單地「開」或「關」。如果我們細看它們的結構，會發現樹突分枝上的棘狀突起——樹突棘（dendritic spine）。一個神經元上可能包含數百個大小不同的樹突棘，這些樹突棘在神經元的發育過程中會發生變化（可塑性），並承擔著資訊儲存計算等功能。
一項研究觀察到， 在小鼠的聽覺皮層中，這些樹突棘的大小也遵循對數正態分布 （圖4），而且它們的變化振幅與其自身大小成正比，這有點像股市中的資金波動：投入的資本越大，其波動的振幅也越大。
▷ 圖4. 樹突棘大小呈對數正態分布。A，樹突棘示意圖，B，原始機率分布，C，D，X軸經過log轉換後的樹突棘數目和機率分布。
以上分析來自對單個神經元的記錄，但隨著連線組技術的進步，研究者能夠對特定區域的神經元組成的網路進行對映。比如一項針對9種哺乳動物的研究 [3] 指出，其中7個物種的大腦皮層中神經元的密度（每立方公釐包含多少個神經元）都呈現出對數正態分布（圖5）。這說明了對數正態分布可視為神經系統宏觀組織的一項基本規律，也可以成為設計神經形態（neuromorphic）硬體時需要關註的約束。
▷ 圖5. 9種哺乳動物神經元密度的分布圖，偏移程度的分布圖，其中不符合對數正態分布的兩個物種（GALAGO和OWL MONKEY），可能的原因是采樣點不均，樣本數偏少。圖源：參考文獻3
我們真的只用了百分之十的大腦嗎？
民間心理學總是流傳我們只使用了大腦的10%，但這種說法源於對大腦活動模式的誤解。 大腦的活動並不是均勻分布的（正態分布），而是顯示出明顯的「長尾」特征 ，即少數神經元非常活躍，而大多數則較少參與活動。對於神經元啟用率分布的成因，一般的觀點將其歸於神經元間的相互連線 [1] 。
（1）神經元之間的交互作用
讓我們借用大型交響樂隊的比喻來進一步理解這一點。在大型交響樂隊中，每個樂手都有自己的樂器和演奏節奏。在整場演出中，並不是所有樂手都在同一時刻演奏，而是根據樂曲的需要，某些樂手的演奏會非常活躍，形成音樂的高潮，而其他樂手則可能處於休息狀態，等待下一個演奏時機。這種非均勻的活動模式，很好地反映了大腦中神經元的啟用狀態：大多數神經元在大部份時間可能較為「安靜」，但每時每刻，不斷變化的一小撮活躍神經元推動大腦完成復雜的思維和感知任務。
這種活動模式的科學背景是 神經元之間的交互作用不是簡單的相加，而是累積式 ，類似於樂手之間的和諧配合和相互激勵，可能涉及到復雜的調節和反饋機制 。比如，在某些情況下，一個神經元的活動可能會促使與它緊密相連的其他神經元也變得活躍，形成一個活動的「熱點」，這在整個神經網路中會呈現出對數正態的分布特征。
除了從神經元間的連線模式去解釋累積現象外，也有研究基於「整合-發放模型」 （Integrate-and-Fire Model）說明， 即使是獨立的單個神經元，也可能因為內部的累積調整 （膜放電受到的誤差累乘） 而表現出對數正態的啟用率 [4] 。
（2）赫布法則
另一種解釋神經系統呈現對數正態分布的模型，來自神經元間遵循赫布法則的自組織 [5] 。簡單來說，就像社群網路中的人際關系，神經元們如果經常在一起（一起啟用），那麽它們的連線就會更緊密（連線強度增強）。不論是簡單的線蟲還是復雜的果蠅和小鼠，其神經連線的數量和密度都顯示出無標度的長尾特征——即大多數連線比較弱，而少數連線非常強。
上述解釋對應模型的理論預測結果，已在真實實驗中被驗證，透過增強共同啟用（包括直接的一階連線，以及圖6a所示的二階和三階間接連線）的神經元之間的連線強度，這些模型能夠再現真實出現的連線強度分布（圖6b中的實線）。這說明了 神經系統的模組化源自連線網路的生成機制，而非物種及神經元的特異性 ，從而進一步解釋了為何對數機率分布會如此普遍的出現。
▷ 圖6. 基於赫布法則解釋神經活動的無標度性質。
（2）耗能與演化角度
從減少大腦的能量消耗及訊號傳輸距離的角度，對數正態分布是有利的 [6] ，具體來說，是透過讓少數神經元聚集在某一區域，形成模組化的「富人俱樂部」，同時少部份神經元頻繁啟用來實作的。因此， 模組化、少量計算單元的頻繁啟用等應該成為類腦計算應當遵循的設計原則。
而從前進演化上來講，一個已準備好的、具有少數密集連線、且快速啟用的神經元群體，作為大腦中的骨幹連線，可以看成是時刻準備著，能夠快速發揮作用的系統，這對物種的生存很有必要。然而，大腦能發揮的全部功能，取決於那些稀疏連線著的、不頻繁啟用的大多數神經元提供的另一套系統。這些神經元在日常活動中較少參與，但在需要適應新的或不常見的刺激時發揮作用。
因此，我們不該說我們只使用了大腦的十分之一，而應將只有10%的大腦在積極工作，視為生物為了在多個時間尺度應對常見和不常見刺激而采取的最優權衡，是大腦處於臨界態（criticality）而呈現的特征 [7] 。
（3）其他解釋
除了上述的模型，另一種解釋神經系統中對數正態分布的模型 [8] ，考慮了兩種不同型別的神經元。該模型將神經元分為兩類，一類接受了過多的「靜音」訊號（抑制性神經元的影響）而保持沈默，而另一類則因為「音量加大」（興奮性神經元的影響）而變得非常活躍。這個模型假設所有神經元接收到的初始訊號是均勻分布的，就像是從各處均勻而來的聲音。但隨著這些訊號在神經元中的累積影響，那些更多地受到興奮性影響的神經元會將這些訊號放大，導致它們的活動輸出呈現出對數正態分布。
這種模型不僅解釋了興奮性和抑制性的平衡如何塑造神經反應，也闡明了神經系統如何保持對微小訊號的敏感性，同時避免對過強的輸入做出過度反應。
▷ 圖7. 由於非線性增益帶來的神經元間對數正態分布。
此外，還有一個由Per Bak在其著作【大自然如何運作】中提出的模型，稱為「 臨界沙堆模型 」，提供了另一種視角。在這個模型中，沙粒的積累和崩塌過程類似於神經元網路的動態變化：隨著沙堆的累積，小的沙崩是隨時會發生的，大的沙崩需要較多的沙子累積，所以較少發生。
科學家們透過研究細胞骨架的物理和機械特性 [9] ，發現神經元的聚集和分裂行為類似於沙堆的崩塌，從而導致神經元密度的分布也呈現出對數正態分布，這解釋了神經網路中「少數活躍，多數沈默」的不均勻現象。
小結： 考察神經系統 呈現的統計特征有什麽用?
透過深入分析神經系統的統計特征，研究者們能夠揭示跨越不同物種和腦區的一些普遍規律，同時也能探究在不同環境刺激下這些特征如何變化。
例如，一項關於恒河猴的研究發現 [10] ，恒河猴在看到熟悉和陌生的視覺刺激時，大腦中的神經元啟用頻率都遵循對數正態分布，但 不同環境下啟用率的統計特征存在差異。 相比看到熟悉圖片，在看到陌生圖片時，神經元啟用率分布的長尾特征更明顯，變異數更大（圖8)。這可以視為在看到陌生圖片時，神經元的啟用更加積極（努力適應新環境中的刺激），而在熟悉環境中則可以利用已構建好的模組。
然而，這項研究只考慮了神經元間的連線，沒有考慮神經元上的樹突棘同樣可以承擔儲存及計算功能。也許神經系統在面對熟悉的刺激時，選擇了使用不那麽耗能的樹突棘局部改變來保持可塑性，這有待之後的研究證實。類似的研究思路，還可以對比不同腦區神經元密度的機率分布是否存在差異，並從發育時的細胞骨架的機械/遺傳/基因表現等上對可能的差異加以解釋。
▷ 圖8. 恒河猴神經元面對熟悉和陌生刺激時的啟用率的理論和真實機率分布。
對於神經系統呈現的對數正態分布，有一個形象的描述： 神經元雪崩 ，即神經活動會出現持續幾十毫秒的短暫爆發，之後是幾秒鐘的靜止期。神經元雪崩對資訊的儲存，傳輸，計算能力，稀疏性及穩定性都很密切相關，是從事類腦計算時需要考慮的基本限制因素之一。例如「千腦計劃」提出的皮質柱計算，其模擬大腦時能否讓其模型也呈現出類似本文描述的對數正態分布，是判斷其成功與否的標準之一。
對於神經系統的各類對數正態分布的生成機制，已有多種基於不同假設的模型能擬合真實數據，對其進行解釋。很有可能的是，各個模型分別抓住了真實中神經系統的某個側面，但真正的神經活動模式可能是這些機制的綜合效果。
從更大的視角來看，神經系統表現出的對數正態分布反映了其內在的異質性，並且是大腦進行魯棒學習和低能耗計算的基礎。雖然「冪律」、「無標度」、「神經元雪崩」等術語各自描繪了這些現象的不同側面，但它們本質上描述的是同一個復雜的生物邏輯。本文只在概述相關研究，對這些主題感興趣的讀者可以進一步細讀參考文獻1。
正如我們透過股市模擬遊戲看到的那樣，大腦的工作模式與我們日常生活中的許多現象驚人相似，都遵循某些基本的數學規律。從單個神經元的微觀反應到整個神經網路的宏觀動態，大腦都在使用對數正態分布來最佳化資訊處理、節省能量並增強其對外部世界的適應力。這種分布的數學本質促使我們發問，自組織過程產生的長尾分布，神經元雪崩等現象，是否能夠在人工神經網路中發現？Transformer中的概念啟用率是否也遵循對數正態分布？
參考文獻：
