《線性代數(shù)：一名合格科研人的筑基課》第三課丨Transformer如何計(jì)算注意力？

導(dǎo)語

為何AI領(lǐng)域的Transformer模型（如GPT、BERT），能實(shí)現(xiàn)文本生成、圖像識(shí)別、多模態(tài)對(duì)齊等復(fù)雜任務(wù)？其核心并非復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而是一連串矩陣乘法。以注意力機(jī)制為例，模型通過Query、Key矩陣計(jì)算不同單詞的關(guān)聯(lián)權(quán)重，再通過Value矩陣聚合信息——這一過程本質(zhì)是用矩陣表示“信息關(guān)聯(lián)”，用矩陣乘法實(shí)現(xiàn)“信息編織”。矩陣已成為AI系統(tǒng)處理關(guān)系、傳遞信息的通用工具。

矩陣可以理解為線性映射的數(shù)值表示——當(dāng)兩個(gè)線性空間的基確定后，每個(gè)線性映射都唯一對(duì)應(yīng)一個(gè)矩陣，線性映射的的運(yùn)算則對(duì)應(yīng)的矩陣對(duì)應(yīng)的運(yùn)算。本講將從注意力機(jī)制出發(fā)，展示矩陣如何表示用戶偏好、多模態(tài)對(duì)齊乃至社交網(wǎng)絡(luò)，并深入探討坐標(biāo)變換背后的哲學(xué)——同一系統(tǒng)在不同視角下呈現(xiàn)不同面貌，而矩陣正是連接這些視角的橋梁。理解這一點(diǎn)，你就掌握了現(xiàn)代數(shù)據(jù)科學(xué)的通用語法。

集智學(xué)園聯(lián)合清華大學(xué)數(shù)學(xué)博士諸葛昌靖老師推出「」，并邀請(qǐng)武漢大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院周進(jìn)教授于1月20日、1月27日就特征值與特征向量在復(fù)雜網(wǎng)絡(luò)中的應(yīng)用做特別加餐分享。課程已于12月20日開啟，歡迎加入課程群交流。

主題：線性映射的表示：矩陣與坐標(biāo)變換

課程簡介

Transformer 模型如何實(shí)現(xiàn)多模態(tài)對(duì)齊？其背后的注意力機(jī)制（Attention Mechanism）其實(shí)是一個(gè)優(yōu)雅的線性代數(shù)過程：模型通過 Query、Key 矩陣計(jì)算不同單詞的關(guān)聯(lián)權(quán)重，再通過 Value 矩陣聚合信息。在這里，矩陣不再僅僅是數(shù)字的方陣，而是承載“關(guān)注點(diǎn)”、“標(biāo)簽”與“信息內(nèi)容”的容器，矩陣乘法則是將這些分散信息“編織”在一起的算子。

如果說前兩講我們構(gòu)建了“向量空間”這一舞臺(tái)，討論了線性映射這一連接兩個(gè)空間的橋梁，隨后又引入“內(nèi)積”賦予了其幾何度量，那么本講將聚焦于舞臺(tái)上的具體表演——線性映射的矩陣表示。矩陣的本質(zhì)是線性映射的具體表示——當(dāng)兩個(gè)線性空間的基（坐標(biāo)系）確定后，每個(gè)抽象的線性映射都唯一對(duì)應(yīng)一個(gè)具體的矩陣。這意味著，矩陣是我們通過特定坐標(biāo)系觀察世界的結(jié)果。

圍繞“矩陣運(yùn)算與坐標(biāo)變換”這一核心，課程將深入探討變換背后的哲學(xué)：同一系統(tǒng)在不同視角（基底）下會(huì)呈現(xiàn)不同的矩陣面貌，但其內(nèi)在性質(zhì)不變。矩陣乘法通過行與列的運(yùn)作，在代數(shù)上實(shí)現(xiàn)了線性映射的復(fù)合；而逆矩陣、行列式等特殊運(yùn)算，則分別對(duì)應(yīng)著變換的可逆性與體積的縮放，構(gòu)成了我們理解空間變形與刻畫的幾何直覺。

從 Transformer 的注意力計(jì)算到物理學(xué)中的參考系變換，本講將展示矩陣語言的普適性。通過學(xué)習(xí)，學(xué)習(xí)者將理解為何“坐標(biāo)變換”是數(shù)據(jù)科學(xué)與物理學(xué)中描述不變性的核心手段，并掌握如何利用矩陣運(yùn)算，在復(fù)雜系統(tǒng)中實(shí)現(xiàn)從局部視角到全局關(guān)系的精確轉(zhuǎn)換。

課程大綱

1. 線性映射的表示：矩陣

• 實(shí)際應(yīng)用：網(wǎng)絡(luò) (圖) 的表示、計(jì)算機(jī)圖形學(xué)中的世界坐標(biāo)、局部坐標(biāo)和觀察者坐標(biāo)及其相互轉(zhuǎn)換

• 數(shù)學(xué)應(yīng)用：線性方程組與矩陣的相等

• 向量組與矩陣的關(guān)系、用矩陣表示線性映射

• 線性變換與坐標(biāo)變換：不同基下同一個(gè)線性映射的不同表示形式、物理中的坐標(biāo)系

• 單位矩陣的幾何意義

2、矩陣運(yùn)算

• 實(shí)際應(yīng)用：生物信息學(xué)中的解卷積、圖的連通性分析

• 矩陣乘法的定義

• 核心邏輯：矩陣乘法即線性映射的復(fù)合

3、方陣的特殊運(yùn)算

• 逆矩陣的存在性與意義

• 行列式與積分換元公式

• 三維空間中的叉乘與幾何解釋

課程關(guān)鍵詞

Transformer、注意力機(jī)制、矩陣乘法、線性映射、坐標(biāo)變換、逆矩陣、行列式、基底變換

概念解析｜注意力機(jī)制（Attention Mechanism）

注意力機(jī)制的 Query–Key–Value 結(jié)構(gòu)本質(zhì)是一組線性映射：Query 表示“我在關(guān)注什么”Key 表示“每個(gè)信息點(diǎn)攜帶的標(biāo)簽”，Value 表示“信息本身”。通過矩陣乘法QK?，模型計(jì)算Query與Key的相似度，得到注意力權(quán)重；再通過權(quán)重與 Value 線性組合達(dá)到“信息提取”的效果。這整個(gè)過程是嚴(yán)格的線性代數(shù)操作，不涉及復(fù)雜非線性。

課程信息

• 課程主題：Transformer如何計(jì)算注意力？——矩陣乘法如何編碼信息關(guān)聯(lián)與變換

• 課程時(shí)間：1月10日（周六）晚 18:30–21:30（??特別提示：為彌補(bǔ)元旦停更一周的遺憾，諸葛老師本周“加量不加價(jià)”，請(qǐng)大家提前一小時(shí)上線～下周恢復(fù)19:30開始）

• 課程形式：

• • 騰訊會(huì)議（會(huì)議信息見群內(nèi)通知）

  • 集智學(xué)園網(wǎng)站錄播（3 個(gè)工作日內(nèi)上線）

課程主講人

北京工業(yè)大學(xué)數(shù)學(xué)統(tǒng)計(jì)學(xué)與力學(xué)學(xué)院副研究員，清華大學(xué)數(shù)學(xué)博士，研究方向：計(jì)算系統(tǒng)生物學(xué)。致力于數(shù)學(xué)與生物醫(yī)學(xué)的交叉研究，聚焦癌癥的演化機(jī)制及放化療、血液病、網(wǎng)絡(luò)藥理學(xué)及傳染病等復(fù)雜生物醫(yī)學(xué)問題的多尺度動(dòng)力學(xué)建模與分析。

特別加餐預(yù)告

課程簡介：

在復(fù)雜網(wǎng)絡(luò)的量化分析與結(jié)構(gòu)解析中，矩陣是刻畫網(wǎng)絡(luò)拓?fù)涮卣鞯暮诵墓ぞ?，而由矩陣衍生的特征值與特征向量，更是解鎖網(wǎng)絡(luò)內(nèi)在規(guī)律的關(guān)鍵鑰匙。那么，究竟有哪些矩陣與特征值、特征向量與復(fù)雜網(wǎng)絡(luò)緊密相關(guān)？這些核心數(shù)學(xué)元素又如何為網(wǎng)絡(luò)節(jié)點(diǎn)與邊的重要性排序提供科學(xué)依據(jù)，進(jìn)而幫助我們精準(zhǔn)識(shí)別網(wǎng)絡(luò)中的關(guān)鍵核心與薄弱環(huán)節(jié)？特別加餐將圍繞上述問題展開探討，深入剖析復(fù)雜網(wǎng)絡(luò)語境下矩陣、特征值與特征向量的內(nèi)涵，及其在網(wǎng)絡(luò)重要性排序中的核心作用。

加餐時(shí)間：1 月 20 日、1 月 27 日19:30-21:30（具體安排見群內(nèi)通知）

形式：騰訊會(huì)議（會(huì)議信息見課程群內(nèi)通知）

面向?qū)ο螅?/strong>本課程學(xué)員

主講人：周進(jìn)

武漢大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院教授，博士生導(dǎo)師。二十年來，開展數(shù)學(xué)、復(fù)雜性科學(xué)、智能科學(xué)交叉研究，聚焦于復(fù)雜系統(tǒng)的集群控制和動(dòng)力學(xué)分析。曾獲國家自然科學(xué)二等獎(jiǎng)，教育部自然科學(xué)一等獎(jiǎng)，湖北省自然科學(xué)一等獎(jiǎng)，獲全國優(yōu)秀博士論文提名及湖北省優(yōu)秀博士論文。共發(fā)表學(xué)術(shù)論文71篇，其中第一作者/獨(dú)立通訊作者論文65篇，全部為SCI或EI收錄，包括物理學(xué)頂刊Physical Review Letters, 控制學(xué)三大頂刊IEEE Transactions on Automatic Control (長文和短文)、Automatica及SIAM Journal on Control and Optimization。所發(fā)表論文被國內(nèi)國際引用總計(jì)近四千次。主持國家自然科學(xué)基金項(xiàng)目5項(xiàng)；參與專項(xiàng)研究項(xiàng)目1項(xiàng)，面上項(xiàng)目多項(xiàng)。指導(dǎo)的博士生獲得國家自然科學(xué)基金青年學(xué)生基礎(chǔ)研究項(xiàng)目 (博士研究生) 1項(xiàng)。作為骨干成員參與科技部國家重點(diǎn)研發(fā)計(jì)劃1項(xiàng)。受邀在2024年第二十屆全國復(fù)雜網(wǎng)絡(luò)大會(huì)、2021年第十七屆中國網(wǎng)絡(luò)科學(xué)論壇及2016年第十二屆全國復(fù)雜網(wǎng)絡(luò)大會(huì)上做大會(huì)特邀報(bào)告；2021年在“集智俱樂部”組織的第二期和第三期復(fù)雜網(wǎng)絡(luò)課程中，分別作了題為“復(fù)雜網(wǎng)絡(luò)的同步”和“多層網(wǎng)絡(luò)及其動(dòng)力學(xué)”的專題講座。

• 加餐主題：透視復(fù)雜網(wǎng)絡(luò)的核心——特征值與特征向量初探

• 加餐大綱：

• • 復(fù)雜網(wǎng)絡(luò)與矩陣特征。從網(wǎng)絡(luò)的鄰接矩陣與Laplacian矩陣出發(fā)，理解網(wǎng)絡(luò)結(jié)構(gòu)如何通過矩陣形式被刻畫。介紹特征值與特征向量在描述網(wǎng)絡(luò)整體結(jié)構(gòu)、連通性與穩(wěn)定性中的基本作用。

  • 復(fù)雜網(wǎng)絡(luò)動(dòng)力學(xué)與矩陣特征。討論網(wǎng)絡(luò)動(dòng)力學(xué)過程（如同步、擴(kuò)散、穩(wěn)定性）與矩陣特征之間的關(guān)系，重點(diǎn)說明關(guān)鍵特征值及特征向量如何影響系統(tǒng)演化行為，以及特征值譜在動(dòng)力學(xué)分析中的解釋意義。

  • 透視復(fù)雜網(wǎng)絡(luò)“核心邊”：討論與網(wǎng)絡(luò)結(jié)構(gòu)和動(dòng)力學(xué)有關(guān)的邊中心性，展示如何利用矩陣特征刻畫網(wǎng)絡(luò)中對(duì)信息傳播與動(dòng)力學(xué)過程起關(guān)鍵作用的邊，幫助理解網(wǎng)絡(luò)中“重要連接”的形成機(jī)制。

  • 透視復(fù)雜網(wǎng)絡(luò)“核心節(jié)點(diǎn)”：從點(diǎn)中心性的角度出發(fā)，介紹基于特征向量的中心性指標(biāo)，如PageRank、LeaderRank等，說明這些方法如何揭示網(wǎng)絡(luò)中具有全局影響力的關(guān)鍵節(jié)點(diǎn)。

課程適用對(duì)象

• 數(shù)學(xué)基礎(chǔ)扎實(shí)，希望理解線性代數(shù)本質(zhì)及系統(tǒng)應(yīng)用的學(xué)生

• 對(duì)生物信息學(xué)、系統(tǒng)生物學(xué)、復(fù)雜網(wǎng)絡(luò)與復(fù)雜系統(tǒng)科學(xué)感興趣的跨學(xué)科學(xué)習(xí)者

• 希望在數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)分析、系統(tǒng)建模領(lǐng)域深入應(yīng)用線性代數(shù)的人

• 對(duì)邏輯、抽象思維和系統(tǒng)性分析有長期興趣的公眾學(xué)習(xí)者

報(bào)名須知

• 課程形式：騰訊會(huì)議，前兩課線上同步直播；集智學(xué)園網(wǎng)站錄播；部分課程設(shè)置線下課

• 課程周期：2025年12月20日—2026年2月，每周六 19:30–21:30

• 課程定價(jià)：

• 全部課程原價(jià) 599 元(注：早鳥優(yōu)惠已于第二講結(jié)束時(shí)截止)

可開發(fā)票

https://campus.swarma.org/course/5657

付費(fèi)流程

1. 掃碼付費(fèi)；

2. 課程頁面添加學(xué)員登記表，添加助教微信入群；

3. 課程可開發(fā)票。

線性代數(shù)：一名合格科研人的筑基課

在科研世界中，無論你研究的是人工智能、生物信息、網(wǎng)絡(luò)科學(xué)，還是物理與工程，幾乎所有復(fù)雜系統(tǒng)的建模與推理，最終都會(huì)指向同一種底層語言——線性代數(shù)。

它不僅是一組計(jì)算公式，更是一名科研人理解“結(jié)構(gòu)”、刻畫“變換”、判斷“穩(wěn)定性”、提取“有效信息”的基本思維框架。本課程以系統(tǒng)科學(xué)的視角重新解構(gòu)線性代數(shù)，帶你越過技巧，直達(dá)本質(zhì)，在跨學(xué)科的真實(shí)問題中建立起堅(jiān)實(shí)而可遷移的數(shù)學(xué)基礎(chǔ)。

詳情請(qǐng)見：