剛剛，Geoffrey Hinton成為第二位引用量破百萬的科學家

編輯｜Panda

剛剛，Geoffrey Hinton 正式成為歷史上第二位 Google Scholar 引用量突破 100 萬大關的計算機科學家。

在他之前，只有他的老搭檔、另一位「深度學習教父」Yoshua Bengio 達成了這一成就。目前，Hinton 的引用量仍在以驚人的速度增長，每一次引用都代表著他對人工智能領域不可磨滅的貢獻。從反向傳播算法的推廣到 AlexNet 的驚艷問世，從獲得圖靈獎到斬獲 2024 年諾貝爾物理學獎，Hinton 的職業生涯幾乎就是一部現代 AI 的發展史。

這一數字不僅是學術影響力的量化，更是對這位 78 歲長者一生執著探索的最高致敬。

Geoffrey Hinton：來自學術世家的「教父」

童年

Geoffrey Everest Hinton，1947 年 12 月 6 日出生于英國倫敦的一個學術世家。他的中間名「Everest」來自他的叔祖父，也就是以其名字命名珠穆朗瑪峰英文名的 George Everest。他的家族星光熠熠，曾祖父是布爾邏輯的創始人 George Boole，表姑是參與曼哈頓計劃的核物理學家 Joan Hinton（寒春）。

生在這樣的家庭，壓力與榮耀并存。Hinton 的母親曾給他下過一道溫和卻嚴厲的「最后通牒」：「要么做個學者，要么就是個失敗者（Be an academic or be a failure）」。這種高期待或許解釋了他日后對學術的極致追求。

他的童年充滿了像電影《天才一族》般古怪而硬核的色彩。家里養過貓鼬，車庫的坑里甚至養著毒蛇。8 歲那年，Hinton 曾揮舞著手帕逗弄坑里的毒蛇，結果一條蛇猛地撲向他的手，僅差一英寸就咬中了他，差點讓他喪命。

8 歲的 Hinton 摟著一條蟒蛇

家族的軼事甚至還涉及到了加拿大政壇。1961 年，他的父親訪華時帶回了一打中國烏龜。在旅途中，老 Hinton 與未來的加拿大總理皮埃爾?特魯多（Pierre Trudeau）住同一間酒店房間。據說老 Hinton 把烏龜都養在了浴缸里，導致特魯多根本沒法洗澡。

求學之路

然而，這位天才的學術之路并非一片坦途，但他對世界本質的好奇心早在 4 歲時就已萌芽。

那時，他在一輛鄉村巴士上發現了一個奇怪的現象：當巴士急剎車時，座位上的硬幣并沒有順著慣性向前滑，而是反直覺地向后移動。這個違反物理常識的現象困擾了他整整十年，直到后來他才明白這是座位絨毛角度與振動共同作用的結果。對此，他曾說道：「有些人可以接受自己不理解的事物，但我不行。我無法接受有什么東西違反了我對世界的認知模型。」

這種對「理解世界運作方式」的執念貫穿了他的求學生涯。在劍橋大學國王學院期間，他曾在物理學、哲學和心理學之間反復橫跳。畢業后，在迷茫中他甚至曾短暫地做過一段時間的木匠。在攻讀博士學位期間，由于神經網絡在當時不被看好，他一度陷入抑郁和自我懷疑。

在一個類似心理治療的研討會上，當其他人都在大喊「我想要被愛」來釋放情感時，Hinton 憋了半天，最終吼出了心底最深層的渴望：「我真正想要的是一個博士學位！（What I really want is a PhD!）」。帶著這股執拗，他在愛丁堡大學獲得了人工智能博士學位，正式開啟了他在神經網絡荒原上的長征。

31 歲的 Hinton 與他的博士后同學 Chris Riesbeck

北上加拿大

在 70 年代和 80 年代，當 AI 領域被符號主義主導時，Hinton 就像一個孤獨的異類。由于對羅納德?里根時代美國國防部主導的軍事資助感到失望，他做出了一個改變人生軌跡的決定：離開美國，北上加拿大。

除了政治原因，這背后還有一個鮮為人知的溫情理由：當時他和妻子計劃收養一對來自南美洲的兒女。他不希望在一個當時正暴力干涉拉美事務的國家撫養這些孩子。于是，他在多倫多大學扎根，在那里數十年如一日地在神經網絡的「荒原」上耕耘，這也為后來加拿大成為全球 AI 重鎮埋下了伏筆。

學術成就

Geoffrey Hinton 最著名的成就之一是與 David Rumelhart 和 Ronald Williams 共同發表了關于反向傳播（Backpropagation）的論文，解決了多層神經網絡的訓練難題，為后來深度學習的爆發埋下了伏筆。

但他的貢獻遠不止于此：

• 玻爾茲曼機（Boltzmann Machine）與受限玻爾茲曼機（RBM）：為無監督學習和特征表示學習奠定了基礎，可用于生成模型和預訓練神經網絡。
• 深度信念網絡（DBN）：在 2006 年提出，通過逐層貪心訓練方法有效訓練深度神經網絡，點燃了深度學習復興的火種。
• Dropout：一種簡單而高效的正則化技術，通過隨機「丟棄」神經元防止過擬合，成為大型神經網絡訓練的標準做法。
• t-SNE：一種高維數據可視化技術，用于將復雜數據嵌入低維空間，廣泛用于理解深度學習特征表示。
• 分布式表示（Distributed Representations）：強調分布式特征編碼在學習系統中的重要性。
• 膠囊網絡（Capsule Networks）：提出對卷積神經網絡中空間關系處理不足的問題的一種改進，通過「膠囊」表示和動態路由機制增強特征層次感知。
• 混合專家模型（MoE）：通過多個子網絡（專家）協同工作并由路由器選擇性激活，提高模型容量與計算效率，成為大規模模型的重要設計思路。
• 知識蒸餾（Knowledge Distillation）：提出將大型復雜模型（教師模型）的知識遷移到小型模型（學生模型），在保證性能的同時降低計算成本。
• 層歸一化（Layer Normalization）：改進深度網絡訓練穩定性和收斂速度的技術，對自然語言處理模型尤其重要。
• 深度生成模型與概率圖模型：在生成模型領域提出了多種創新方法，為后續的變分自編碼器（VAE）和生成對抗網絡（GAN）奠定了理論基礎。
• AlexNet 與 ImageNet 變革： 他與學生 Alex Krizhevsky、Ilya Sutskever 共同推出了 AlexNet，在 ImageNet 競賽中以絕對優勢奪冠。這被公認為深度學習時代的「大爆炸」時刻，證明了深層卷積神經網絡在海量數據和 GPU 算力下的統治力。
• Forward-Forward Algorithm（前向 - 前向算法，2022）： 這是他在職業生涯后期對反向傳播生物學合理性的反思與挑戰，提出了一種更接近人腦運作機制的學習替代方案。

2018 年，他與 Yoshua Bengio 和 Yann LeCun 共同獲得了計算機領域的最高榮譽：圖靈獎。這三人也常被稱為「深度學習三巨頭」。

值得注意的是，這三位圖靈獎得主也是 Hinton 引用量第二高的論文《Deep learning》的共同作者。該論文于 2015 年 5 月發表于 Nature，十年時間已經收獲了超過 10 萬引用量。其中系統總結了深度學習的發展歷程、基本原理、關鍵算法（例如多層表征學習、反向傳播、卷積神經網絡和循環神經網絡）以及其在語音識別、視覺識別、目標檢測、基因組學等領域的廣泛應用，標志著深度學習從學術探索邁向應用驅動的成熟階段，被公認為推動該領域走向主流的里程碑性工作。

2024 年，Hinton 與 John Hopfield 共同獲得了諾貝爾物理學獎，以表彰他們「實現了利用人工神經網絡進行機器學習的奠基性發現和發明」。參閱報道《剛剛，2024 諾貝爾物理學獎授予 Geoffrey Hinton、John Hopfield》。

冷靜的警示者

然而，這位「AI 教父」在晚年卻不僅是一位技術布道者，更成為了一位冷靜的警示者。

2023 年 5 月，他從工作了十年的谷歌離職，只為能「自由地談論 AI 的風險」。他曾表示：「我想我現在對自己畢生的工作有一部分感到后悔。」他擔憂數字智能可能會演變成一種比人類更優越的智能形式，并可能因缺乏控制而對人類構成生存威脅。他警告說：「如果你想知道不再是處于食物鏈頂端的智慧生物是什么感覺，去問問雞就知道了。」

Alex Krizhevsky 與 Ilya Sutskever

在 Hinton 浩如煙海的著作中，引用量最高的一篇無疑是 2012 年發表在 NeurIPS 上的奠基之作：《ImageNet classification with deep convolutional neural networks》。這篇論文目前的引用量已超過 18 萬次（可能僅次于引用量近 30 萬的 ResNet 論文和引用量超過 20 萬的 Transformer 論文），它不僅標志著深度學習時代的正式開啟，也讓兩位共同作者的名字響徹云霄：Alex KrizhevskyIlya Sutskever

作為 Hinton 的兩名得意門生，他們在那間多倫多大學的實驗室里，共同推開了 AI 新世界的大門。

Alex Krizhevsky 與 Ilya Sutskever 是 Geoffrey Hinton 引用量最高的論文的第一和第二作者。

Alex Krizhevsky：低調的隱士天才

作為那篇傳奇論文的第一作者，Alex Krizhevsky 是 AlexNet 的主要構建者。正是他編寫了關鍵的 CUDA 代碼，讓神經網絡得以在兩塊 GeForce GPU 上高效訓練，從而在 2012 年的 ImageNet 挑戰賽上以驚人的 10.8% 優勢碾壓第二名，一舉震驚世界。

然而，與他在學術界的赫赫聲名形成鮮明對比的是他極度低調的性格。Alex 出生于烏克蘭，成長于加拿大。他被很多同行描述為一位「純粹的工程師」，擁有極深的技術洞察力。在谷歌工作了數年后，他于 2017 年離職，理由是「對工作失去了興趣」。

此后，他加入了初創公司 Dessa，隨后又逐漸淡出公眾視野。據悉，他目前可能已處于半退休狀態，享受著徒步旅行的樂趣。在科技圈追逐名利的熱潮中，Alex Krizhevsky 就像一位事了拂衣去的隱士。盡管 AlexNet 如今在技術上已被更新的模型取代，但正如一位評論者所言：「沒有他，就沒有今天的 ChatGPT，沒有便捷的 3A 大作，也沒有先進的醫學影像分析。」

Ilya Sutskever：執著的 AI 愿景者

如果說 Alex 是低調的技術天才，那么該論文的第二作者 Ilya Sutskever 則是充滿使命感的 AI 領袖。

Ilya 同樣出生于前蘇聯（俄羅斯），并在以色列和加拿大長大。在多倫多大學期間，他與 Hinton 和 Alex 共同締造了 AlexNet 的輝煌。隨后，他在 Google Brain 參與了序列到序列（Seq2Seq）學習算法和 TensorFlow 的開發，并是 AlphaGo 論文的眾多作者之一。

2015 年，Ilya 離開谷歌，作為聯合創始人兼首席科學家創辦了 OpenAI。他是 ChatGPT 和 GPT-4 誕生的關鍵人物，被譽為能夠「通過直覺看到深度學習未來」的人。然而，他對 AI 安全的關注也日益加深。2023 年，他曾主導了 OpenAI 董事會罷免 Sam Altman 的風波，理由是「溝通不坦誠」，盡管后來 Altman 復職，Ilya 對 AI 對齊（Alignment）和安全超級智能（SSI）的執著從未改變。

2024 年，Ilya 成立了新公司 Safe Superintelligence Inc. (SSI)，并為其籌集了 10 億美元資金。與商業化氣息濃厚的硅谷公司不同，SSI 宣稱其「第一個產品將是安全的超級智能，在此之前不會做任何其他事情」。

結語

Geoffrey Hinton 引用量突破百萬，不僅是他個人學術生涯的高光時刻，也是 Alex Krizhevsky 和 Ilya Sutskever 等一代 AI 杰出人才共同奮斗的縮影。

從 Alex 編寫的那行 CUDA 代碼，到 Ilya 對通用人工智能（AGI）的深邃構想，再到 Hinton 對神經網絡半個世紀的堅守與晚年的憂思，這一里程碑背后，是人類探索智能本質的波瀾壯闊的歷史。

今天，我們致敬 Hinton，也致敬所有為這一刻鋪路的研究者。

https://scholar.google.com/citations?user=JicYPdAAAAAJ&hl=en

https://www.youtube.com/watch?v=giT0ytynSqg

https://www.britannica.com/biography/Geoffrey-Hinton

https://www.nobelprize.org/prizes/physics/2024/hinton/podcast/

https://torontolife.com/life/ai-superstars-google-facebook-apple-studied-guy/

https://yiqinfu.github.io/posts/hinton-intellectual-dynasty