關注 哆嗒數學網每天獲得更多數學趣文
01
香農其人
科學尋求自然的基本定律，數學則在舊基礎上構造新的定理，而工程學建造系統來解決人類的需求。這三個學科相互依存，但又截然不同。同時為這三個領域做出核心貢獻的人極為罕見，而克勞德·香農就是如此。
香農是紀錄片《The Bit Player》的主題，其研究工作和研究哲學深深啓發了筆者的事業。儘管如此，無論是生前還是在2001年去世之後，香農並不是一個像愛因斯坦一樣家喻户曉的人物，他不像費曼那樣出名，也從未獲得過諾貝爾獎。然而，香農70多年前的一份開創性論文，奠定了整個現代通信設施的基礎。沒有他，就沒有如今的信息時代。
香農於1916年出生於密歇根州的蓋洛德，是一位本地商人和一位教師的兒子。他在密歇根大學獲得了電氣工程和數學學位，之後，在麻省理工學院撰寫了一篇碩士論文，將布爾代數應用於開關電路的分析和綜合。這項變革性的工作，將電路設計從一門藝術變成了一門科學，如今這被認為是數字電路設計的起點。
接下來，香農將目光投向了一個更大的目標：通信。
02
向通信進發
通信是人類最基本的需求之一。從煙霧信號到信鴿，再到電話、電視，人類一直在尋找更遠、更快、更可靠的通信方法。但是，通信系統的工程問題總是逃不開各種發射源和傳輸介質。
香農卻問了一個沒人問過的問題：“是否有一個偉大的統一理論來描述通信？”1939年，香農在給導師範尼瓦爾·布什的信中，概述了他的一些關於“用於情報傳遞的通用系統的基本特性”的初步想法。經過十年的研究，香農終於在1948年發表了他的大師之作：《通信的數學理論》。
香農的理論的核心，是一個簡單卻非常通用的通信模型：發送器將信息編碼為信號，該信號會被噪聲破壞，然後由接收器解碼。模型很簡單，卻有兩個關鍵見解：
1.信息源和噪聲源獨立於要設計的通信系統；
2.對這兩個源進行概率建模。他設想源生成許多可能的信息，每條信息都有一定的概率。概率噪聲進一步增加了接收器所解碼的隨機性。
在香農之前，通信問題主要被視為決定論的信號重建問題：信號經介質傳播後發生變形，如何處理接收信號，能夠儘可能準確地復現原始信號？香農的天才在於他意識到：溝通的關鍵是不確定性。畢竟，如果我要講述的內容您提前就知道，我還寫它做什麼呢？
就是這一見解，將通信問題從實體轉為抽象，從而使香農可以使用概率對不確定性進行建模。這極大地震驚了當時的通信工程師。
03
信息論到底在講什麼
建立起有關“不確定性和概率”的理論框架之後，香農開始着手他里程碑式的論文，並系統地確定了通信的基本極限。他的回答分為三個部分。在每個部分中，“bit（比特）”的概念都扮演着重要角色，香農將其用作不確定性的基本單位。“bit”是“binary digit（二進制數字）”的合成詞，bit可以是1或0，香農的論文首先使用了該詞（儘管他説數學家John Tukey在備忘錄中首先使用了它）。
首先，香農提出了一個公式來計算每秒鐘至少需要多少個bit來傳輸一條信息，並將這個數字稱作熵率（entropy rate）H。熵率H表示發送者發送信息的不確定性，熵率越低，不確定性越小，因此越容易將消息壓縮得更短。例如，以每分鐘100個英文字母的速率發送短信意味着每分鐘發送 26100 條可能的消息，每條消息都是100個字母組成的序列。用470個比特就可以編碼所有可能，因為 2470≈ 26100。如果每種序列都具有相同的可能性，那麼香農公式將表明熵率H確實是470 bits/分鐘。實際上，某些序列比其他序列更有可能出現，熵率低得多，可以進行更大程度的壓縮。
其次，香農提出了一個公式，來計算系統在噪聲存在情況下的最大傳輸容量，他稱之為系統容量（system’s capacity），C。這是接收器能夠對傳送的信息進行解碼的最大速率，也代表了通信的速度極限。
最後，他證明了對於發出的信息受到噪聲干擾的情況，只有當H < C時，通信才是可靠的。信息就像水一樣，流量小於管道容量時，才可安全流過。
雖然這是一種通信理論，但同時也是一種有關信息如何產生和傳遞的理論——信息論。因此，現在香農被稱作“信息論之父”。
他的定理得出了一些與直覺相反的結論。假設您在嘈雜的地方講話。確保您的消息通過的最佳方法是什麼？也許是一遍又一遍地重複？這可能是大多數人的本能，但事實證明這樣做效率並不高。當然，重複的次數越多，溝通越可靠，但這是犧牲速度來換取可靠性。香農告訴我們，我們可以做得遠遠比這更好。重複消息是使用代碼傳輸消息的一個例子，而使用不同的、更復雜的代碼，可以在保持一定可靠性的同時，更快速地通信——一直到速度極限C。
香農理論的另一個出乎意料的結論是，無論信息的性質是什麼，無論是莎士比亞十四行詩，貝多芬第五交響曲的錄音還是黑澤明的電影，在進行傳輸之前，將其編碼為比特一定是最有效率的。因此，例如在無線電系統中，即使初始的聲音和在空中傳播的電磁信號都是模擬波形，基於香農定理，最好也要先將聲波數字化為比特，然後再將這些比特映射為電磁波。這一令人驚訝的結果是現代數字信息時代的基石，在這個時代，比特已成為信息的“通用貨幣”。
04
跨界的天才
香農的通信理論是如此自然，他似乎是發現了，而不是發明了宇宙的信息傳播定律。他的理論與大自然的物理定律一樣基礎。從這個意義上説，他是一位科學家。
香農發明了新的數學來描述通信定律。他首次引入的概念，例如概率模型的熵率，已經應用到廣泛的數學分支的研究中，例如遍歷理論（ergodic theory）（動力學系統的長期行為的研究）。從這個意義上説，香農是一個數學家。
但最重要的是，香農是一名工程師。他的理論是受到了實際工程問題的啓發。儘管對當時的工程師來説，這些理論深奧難懂，但現已成為了所有現代（光學，水下，甚至星際）通信系統的基礎標準框架。就個人而言，我很幸運地參與了一個全球範圍的，將香農的理論應用和擴展到無線通信的事業，在多代標準中將通信速度提高了兩個數量級。確實，當前推出的5G標準使用的不是一種而是兩種實用的代碼，它們都達到了香農的速度極限。
香農在70多年前就為所有這一切奠定了基礎。他是怎麼做到的？通過鍥而不捨地專注於問題的基本特徵，而忽略所有其他方面。他的交流模型的簡單性就是這種風格的很好例證。他還知道要專注於可能的事情，而不是立即可行的事情。
香農的作品説明了頂級科學的真正作用。當我開始讀研究生時，我的導師告訴我，最好的工作往往是在修剪知識樹，而不是發展知識樹。那時候我無法理解這句話。我一直認為，研究人員應當追求的是添加自己的樹枝。後來我有機會在自己的工作中運用了這種哲學，我才開始理解。
當香農開始研究傳播時，工程師已經掌握了大量技術。正是他的工作將所有技術統一起來，將這些知識的枝條修剪成了一棵富有邏輯、一以貫之的、可愛的樹，這棵樹為幾代科學家，數學家和工程師結出了累累碩果。
作者：David Tse
翻譯：xux
審校：Dannis
關注 哆嗒數學網每天獲得更多數學趣文