無監督表示學習的量子架構搜索

無監督表示學習的量子架構搜索

Quantum Architecture Search with Unsupervised Representation Learning

https://arxiv.org/pdf/2401.11576v5

無監督表示學習為在噪聲中等規模量子（NISQ）設備上推進量子架構搜索（QAS）提供了新的機會。QAS旨在優化變分量子算法（VQAs）的量子電路。大多數QAS算法緊密耦合搜索空間和搜索算法，通常需要評估大量量子電路，導致計算成本高，限制了對更大量子電路的擴展?；陬A測的QAS算法通過基于結構或嵌入估計電路性能來緩解這一問題。然而，這些方法通常需要耗時的標記來優化多個電路中的門參數，這對于訓練準確的預測器至關重要。受經典神經架構搜索算法Arch2vec的啟發，我們研究了在不依賴預測器的情況下，無監督表示學習在QAS中的潛力。我們的框架將無監督架構表示學習與搜索過程解耦，使學習到的表示可以應用于各種下游任務。此外，它還整合了改進的量子電路圖編碼方案，解決了現有表示的局限性并提高了搜索效率。這種無預測器的方法消除了對大型標記數據集的需求。在搜索過程中，我們采用REINFORCE和貝葉斯優化來探索潛在的表示空間，并比較它們與基線方法的性能。我們進一步通過在IBM的ibm_sherbrooke量子處理器上執行最佳MaxCut電路來驗證我們的方法，確認即使在真實硬件噪聲下，這些架構也保持了最佳性能。我們的結果表明，該框架能夠高效地識別出高性能量子電路，并且搜索迭代次數更少。

量子機器學習、量子架構搜索和量子電路優化的研究人員和從業者，特別是那些有興趣將無監督學習技術應用于提高近期量子設備（NISQ）電路設計效率和可擴展性的人員。

1 引言

量子計算（QC）在過去幾十年中取得了顯著進展。量子硬件的進步和新的量子算法在各種任務中展示了相較于經典計算機的潛在優勢，例如圖像處理[2]、強化學習[3]、知識圖嵌入[4]和網絡架構搜索[5, 6, 7]。然而，量子計算機的規模仍然受到環境噪聲的限制，這導致性能不穩定。這些噪聲中等規模量子（NISQ）設備缺乏容錯能力，預計在不久的將來無法實現[8]。

變分量子算法（VQA），一種利用具有可調參數的量子操作的混合量子算法，在NISQ時代被認為是一種主要策略[9]。在VQA中，具有可訓練參數的參數化量子電路（PQC）被視為量子神經網絡的通用范式，并在量子機器學習中取得了顯著成功。這些參數控制量子電路操作，調整電路輸出狀態的分布，并根據特定任務的目標函數由經典優化器更新。盡管VQA面臨諸如巴倫高原（BP）和可擴展性問題等挑戰，但它已顯示出在包括圖像處理、組合優化、化學和物理在內的各個領域提高性能的潛力[10, 11, 12]。VQA的一個例子是變分量子本征求解器（VQE）[13, 12]，它近似基態并為量子機器學習提供靈活性。我們考慮使用VQE來評估某些量子電路的性能。

無監督表示學習旨在發現未標記數據中的隱藏模式或結構，這是計算機視覺研究中一個研究充分的問題[14]。一種常見的方法是自編碼器，它對特征表示有效。它由編碼器和解碼器組成，首先將圖像映射到緊湊的特征空間，然后解碼以重建相似的圖像。除了圖像，自編碼器還可以從圖中學習有用的特征，例如編碼和重建有向無環圖（DAGs）或神經網絡架構[15, 16, 17, 18]。在大多數研究中，架構搜索和表示學習是耦合的，這導致搜索效率低下，嚴重依賴于需要大量評估的標記架構。Arch2vec框架旨在將表示學習從架構搜索中解耦，允許下游搜索算法獨立操作[15]。這種解耦導致了一個平滑的潛在空間，使各種搜索算法受益，而無需廣泛的標記。

量子架構搜索（QAS）或量子電路架構搜索是一種設計量子電路的高效和自動化框架，旨在優化電路性能[7]。已經提出了各種QAS算法[5, 7, 19, 20, 6]。然而，大多數算法結合了搜索空間和搜索算法，導致效率低下和高評估成本。搜索算法的有效性通常取決于搜索空間的定義、嵌入和學習程度。找到一個合適的電路通常需要多次評估不同的架構。盡管基于預測的QAS[20]可以將表示學習與搜索算法分離，但它通常依賴于通過評估對不同架構進行標記，訓練性能嚴重依賴于評估的數量和質量以及嵌入。在這項工作中，我們受到解耦合思想的啟發，我們的目標是在不進行標記的情況下進行QAS。我們尋求探索解耦合是否可以將量子電路架構嵌入到平滑的潛在空間中，從而有利于無預測器的QAS算法。我們總結我們的貢獻如下：

• 我們成功地將解耦合納入QAS中的無監督架構表示學習，顯著提高了搜索效率和可擴展性。通過直接將REINFORCE和貝葉斯優化應用于潛在表示，我們消除了對訓練在大型標記數據集上的預測器的需求，從而減少了預測不確定性。

• 我們提出的量子電路編碼方案克服了現有表示的局限性，通過提供更準確和有效的嵌入，增強了搜索性能。

• 在量子機器學習任務上的廣泛實驗，包括量子態準備、最大割和量子化學[21, 22, 12]，證實了我們的框架在模擬器和真實量子硬件上的有效性。預訓練的量子架構嵌入顯著增強了這些應用中的QAS。

2 相關工作

無監督圖表示學習。圖數據正成為理解現實世界實體之間復雜交互的重要工具，例如生物化學分子[23]、社交網絡[24]、電子商務平臺的購買網絡[25]以及學術合作網絡[26]。圖通常被表示為離散數據結構，這使得由于搜索空間大而難以解決下游任務。我們的工作集中在無監督圖表示學習上，旨在在無監督的情況下將圖嵌入低維、緊湊且連續的表示中，同時保留拓撲結構和節點屬性。在這個領域，如[27, 18, 29]提出的方法使用局部隨機游走統計或基于矩陣分解的目標來學習圖表示?；蛘撸馵30, 31]這樣的方法通過預測邊的存在來重建圖的鄰接矩陣，而其他方法，如[32, 33, 34]，最大化局部節點表示與匯總圖表示之間的互信息。此外，[35]研究了圖神經網絡（GNNs）在區分不同圖方面的表達能力，并引入了圖同構網絡（GINs），這些網絡被證明與Weisfeiler-Lehman測試[36]在圖同構方面一樣強大。受Arch2vec[15]成功的啟發，該方法使用無監督圖表示學習進行經典神經架構搜索（NAS），我們采用GINs來注入性地編碼量子架構結構，因為量子電路架構也可以表示為有向無環圖（DAGs）。

量子架構搜索（QAS）。如前一節所討論的，參數化量子電路（PQCs）作為各種變分量子算法（VQAs）的框架至關重要[7]。PQCs的表現力和糾纏能力在它們的優化性能中起著關鍵作用[38]。設計不當的框架可能因表現力或糾纏能力有限

而難以達到優化問題的全局最小值。此外，這樣的框架可能更容易受到噪聲的影響[39]，低效利用量子資源，或導致阻礙優化過程的高原現象[40, 41]。為了解決這些挑戰，提出了QAS作為一種系統化方法來識別最優的PQCs。QAS的目標是高效且有效地搜索針對特定問題的高性能量子電路，同時最小化損失函數，同時遵守硬件量子比特連接、本機量子門集、量子噪聲模型、訓練損失景觀和其他實際考慮的約束。量子架構與神經網絡架構有許多共同屬性，如層次結構、有向性和無環結構。因此，QAS方法在很大程度上受到NAS技術的啟發。具體來說，諸如貪婪算法[42, 43]、進化或遺傳方法[4, 45]、基于RL的引擎[46, 47]、貝葉斯優化[48]以及基于梯度的方法[5]等方法都被用來發現VQAs的改進PQCs。然而，這些方法需要評估大量的量子電路，這既耗時又計算成本高。為了緩解這個問題，引入了基于預測器的方法[19, 49]，但它們也面臨局限性。這些方法依賴于大量標記的電路來訓練具有通用能力的預測器，并在搜索過程中引入額外的不確定性，需要重新評估候選電路。在這項工作中，我們提出了一個旨在進一步解決這些挑戰的框架。

3 使用無監督表示學習的量子架構搜索

在這項工作中，我們提出了我們的方法，如圖1所示，它由兩個獨立的學習組件組成：一個用于電路架構表示學習的自編碼器，以及包括搜索和評估策略的搜索過程。搜索空間由電路中的門數量和包含一般門類型（如X、Y、Z、H、Rx、Ry、Rz、U3、CNOT、CY、CZ）的操作池定義。一個隨機生成器根據預定義的參數創建一組電路架構，包括量子比特數、門的數量和最大電路深度。然后將這些架構編碼為兩個矩陣并輸入到自編碼器中。自編碼器獨立地從搜索空間學習潛在分布，并為搜索算法生成預訓練的架構嵌入。評估策略獲取搜索算法生成的電路架構并返回性能評估。

為了評估電路架構，我們使用哈密頓量的基態來評估最大割問題和量子化學問題，并使用保真度來評估量子態制備任務。

3.1 電路編碼方案

我們使用電路編碼方案EGSQAS將量子電路表示為有向無環圖（DAGs），如[49, 20]中所述。每個電路通過將每個量子比特上的門映射為一系列節點，并添加兩個額外的節點來指示電路的輸入和輸出，轉換為DAG。結果DAG由鄰接矩陣描述，如圖1a所示。節點集進一步由門矩陣表征，顯示了包括位置信息的節點特征。然而，EGSQAS編碼方案將所有占用的量子比特表示為1，沒有區分兩量子比特門的控制和目標位置，這限制了電路表示學習的有效性，并導致電路重建時的混淆。此外，鄰接矩陣的權重沒有準確反映原始門連接。為了解決這些限制，我們提出了一種新的編碼方案。在我們的方法中，我們通過為兩量子比特門（如CNOT和CZ）分配-1給控制量子比特和1給目標量子比特，明確編碼位置信息。此外，我們將涉及的量子比特數量表示為鄰接矩陣中的連接權重，如圖1a所示。這些修改增強了電路表示學習并提高了搜索的整體有效性。

3.2 變分量子圖同構自編碼器

3.2.1 預備知識

最常見的圖自編碼器（GAEs）包括編碼器和解碼器，其中編碼器將圖映射到特征空間，解碼器從這些特征中重建圖。一個突出的例子是變分量子圖自編碼器（VGAE），這是一個有前途的無監督圖表示學習框架，它利用圖卷積網絡作為其編碼器，并使用簡單的內積作為其解碼器[30]。然而，在這項工作中，我們不采用常見的VGAE作為學習潛在表示的框架。相反，我們利用更強大的編碼器GIN[35]。

3.2.2 編碼器

GIN將結構和節點特征映射到潛在表示Z。后驗分布q(Z|X, A)的近似為：

3.3 架構搜索策略

3.3.1 強化學習（RL）

在進行了PPO[50]和A2C[51]的初步試驗后，我們采用REINFORCE[52]作為更有效的架構搜索強化學習算法。在這種方法中，環境的狀態空間由預訓練的嵌入組成，代理使用單細胞LSTM作為其策略網絡。代理根據當前狀態的分布選擇一個動作，該動作對應于基于采樣的潛在向量，并根據所選動作轉換到下一個狀態。對于最大割和量子化學任務，獎勵被定義為能量與基態能量的比率，超出[0, 1]范圍的值被剪輯為0或1。對于狀態制備任務，使用電路保真度作為獎勵。我們采用自適應批量大小，每個訓練周期的步數由前一個訓練周期的平均獎勵決定。此外，我們使用線性自適應基線，由公式定義，其中 B 表示基線，α 是在范圍[0,1]內預定義的值，是平均獎勵。在這項工作中，每次運行涉及1000次搜索。

3.3.2 貝葉斯優化（BO）

作為本工作中使用的另一種無需標記的搜索策略，我們采用深度網絡進行全局優化（DNGO）[53]在BO的背景下。我們采用一個具有從前饋神經網絡中提取的基函數的單層自適應BO回歸模型，該網絡的隱藏層包含128個單元，以模擬函數分布。期望改進（EI）[54]被選為獲取函數。EI識別每個訓練周期的前k個嵌入，具有默認目標值為0.9。訓練從一組16個樣本開始，在每個后續周期中，EI提出的前k個架構被添加到批次中。網絡使用更新批次中的架構重新訓練100個周期。這個過程一直迭代，直到達到預定義的搜索迭代次數。

4 實驗結果

為了證明我們方法的有效性和泛化能力，我們在三個著名的量子計算應用上進行了實驗：量子態制備、最大割和量子化學。對于每個應用，我們首先從一個涉及4個量子比特的簡單示例開始，然后進展到一個涉及8個量子比特的更復雜示例。我們使用隨機生成器創建100,000個電路作為搜索空間，并在搜索過程中在無噪聲模擬器上執行所有實驗。詳細的設置見附錄A.2。我們首先評估模型在無監督表示學習（§4.1）中的預訓練性能，然后評估基于預訓練潛在表示的QAS性能（§4.2）。

4.1 預訓練性能

觀察（1）：GAE和VGAE[30]是NAS的兩個流行基線。為了尋找能夠捕捉量子電路架構優越潛在表示的模型，我們最初應用了這兩個著名的模型。然而，由于量子電路架構與神經網絡架構相比復雜性增加，這些模型未能達到預期結果。相比之下，基于GINs[35]的模型成功地獲得了有效的潛在表示，這歸因于它們更有效的鄰居聚合方案。表1展示了使用EGSQAS編碼的原始模型與使用我們增強編碼的改進模型在4、8和12量子比特電路上的性能比較，評估了五個指標：Accuracyops，測量在保留測試集中門矩陣中門類型的重建精度；Accuracyqubit，反映門作用的量子比特的重建精度；Accuracyadj，測量鄰接矩陣的重建精度；Falposmean，表示重建鄰接矩陣中的平均誤報率；以及KLD（KL散度），指示潛在表示的連續性和平滑性。表中的結果表明，使用我們增強編碼的改進模型實現了與原始模型相當或更好的結果。這種改進可以歸因于兩個因素：首先，新編碼更好地捕捉了電路的具體特征，其次，來自GIN多層輸出的融合有助于保留淺層信息，從而實現更穩定的訓練。

觀察（2）：在圖2中，我們采用兩種流行技術PCA[55]和t-SNE[56]來可視化基于我們預訓練模型的4量子比特和12量子比特量子機器學習（QML）應用的高維潛在表示。結果突出了我們新編碼方法在無監督聚類和高維數據可視化方面的有效性。這些圖表明，當搜索空間限制為4量子比特時，量子電路的潛在表示空間是平滑且緊湊的，性能相似的架構聚集在一起。值得注意的是，高性能量子電路架構集中在可視化的右側。特別是，PCA產生了異常平滑且緊湊的表示，具有強烈的聚類聚效應，使得在這樣的結構化潛在空間中進行QAS更加容易和高效。這為我們的QAS算法提供了一個堅實的基礎。

對于12量子比特的潛在空間，高性能電路（以紅色顯示）不太突出，這可能是因為100,000個電路結構僅代表了12量子比特電路可能性的一個有限子集。因此，可以學習的電路數量是有限的。大多數高性能電路分布在潛在空間的左側邊緣，顏色從右到左逐漸從深到淺。

與使用EGSQAS編碼方案的子圖2i、2j、2k、2l和2m相比，這些圖中紅色點分布更松散，我們的新編碼方案產生的潛在表示更加集中和平滑，如圖2a、2b和2c所示。

4.2 量子架構搜索（QAS）性能

觀察（1）：在圖3中，我們展示了每次100次搜索的平均獎勵。結果表明，REINFORCE和BO方法都有效地學會了導航潛在表示，在早期階段顯著提高了平均獎勵。相比之下，隨機搜索未能實現類似的改進。此外，盡管圖表顯示REINFORCE和BO方法的平均獎勵方差略高于隨機搜索，但它們的總體平均獎勵明顯高于隨機搜索。

觀察（2）：在圖4中，我們說明了使用三種搜索方法執行1000次搜索后找到達到預設閾值的候選電路數量。結果表明，8量子比特實驗更復雜，導致搜索空間內滿足要求的電路數量較少。此外，在有限的搜索迭代次數內，REINFORCE和BO方法都能發現更多達到閾值的候選電路，即使在最壞情況下，即比較候選電路的最小數量時也是如此。值得注意的是，它們的表現顯著超過了隨機搜索方法，尤其是REINFORCE，盡管候選電路的最小和最大數量之間的差異表明REINFORCE對初始條件更敏感，與其他兩種方法相比。這些發現突出了基于潛在表示的QAS引入的明顯改進和優勢，它能夠在減少所需搜索次數的同時高效發現眾多高性能候選電路。

觀察（3）：在表2中，我們比較了各種QAS方法與我們的方法在4量子比特狀態制備任務上的表現，使用100,000個電路的電路空間，并將搜索限制為1000次查詢。GNNU RL和GSQASU RL分別代表[49]和[20]中的基于預測器的方法，兩者都采用了我們的預訓練模型。QASU RL RL(BO)表示在本工作中使用的帶有REINFORCE（BO）的QAS方法。50次運行的平均結果表明，基于預測器的方法和我們的方法都能夠用更少的樣本識別出大量高性能電路。然而，基于預測器的方法依賴于標記電路來訓練預測器，這引入了不確定性，因為它們可能會無意中過濾掉與性能較差的電路一起表現良好的架構。雖然較高的Fthr值可以過濾掉更多低性能電路，增加過濾空間中良好架構的比例，但它也犧牲了許多表現良好的電路，這可能導致隨機搜索性能的提高，但代價是排除了一些最佳電路。盡管存在這些權衡，我們的方法實現了與基于預測器的方法相當的性能，展示了在NQAS/Neval方面的更高效率，同時需要更少的電路評估。在附錄A.4中，我們展示了每種方法在每次實驗中獲得的最佳候選電路。觀察（4）：在表3中，我們展示了不同框架和編碼方法的搜索性能，重點比較4、8和12量子比特量子化學任務。在大多數情況下，我們的編碼方法實現了最高的搜索效率，盡管12量子比特任務的性能略低于另一種編碼方法。結合圖2中的表示學習結果，我們觀察到，當學習到的電路表示平滑且集中時，搜索效率顯著提高。對于12量子比特實驗，用于表示學習的電路可能不足以完全捕捉搜索空間，導致表示學習失敗，如圖2d所示，并導致搜索效率下降。

4.3 在真實量子硬件上的評估

為了評估我們架構搜索發現的電路的可部署能力，我們使用IBM的真實量子設備ibm_sherbrooke進行了額外實驗。對于4節點和8節點的最大割（MaxCut）任務，我們選擇了表現最佳的電路，并在一個無噪聲模擬器上訓練它們的參數。一旦訓練完成，我們直接在真實設備上執行這些電路——沒有進一步優化——使用相同的參數。

觀察。如表4所示，盡管NISQ設備中存在硬件噪聲和退相干，但最大割（MaxCut）電路在從模擬器轉移到真實硬件時仍保持了其最優輸出性能。這些電路在10,000次重復射擊中實現了100%的概率測量最優比特串，與模擬器結果相同。這些結果驗證了所發現的量子架構不僅在理想化環境中表現良好，而且能夠在真實世界的量子處理器中可靠地轉換，而無需重新調整參數。

5 結論

在這項工作中，我們專注于探索無監督架構表示學習是否能增強量子架構搜索（QAS）。通過將無監督架構表示學習從QAS過程中解耦合，我們成功消除了對大量標記電路的需求。此外，我們提出的量子電路編碼方案解決了現有表示的局限性，通過更準確和有效的嵌入提高了搜索性能。此外，我們的框架在不依賴預測器的情況下進行QAS，直接將搜索算法，如REINFORCE和貝葉斯優化（BO），應用于潛在表示。我們通過在模擬器和真實量子硬件上進行的各種實驗證明了這種方法的有效性。在我們的框架中，QAS的成功取決于無監督架構表示學習的質量以及搜索算法的選擇。因此，我們建議進一步研究QAS的架構表示學習，以及在潛在表示空間內開發更高效的搜索策略。

https://arxiv.org/pdf/2401.11576v5