內(nèi)存擴(kuò)展悖論

     隨著 AI 和實(shí)時(shí)處理工作負(fù)載的持續(xù)增長，系統(tǒng)越來越依賴更強(qiáng)大的CPU和加速器來處理海量數(shù)據(jù)。隨著計(jì)算能力的提升，系統(tǒng)架構(gòu)師正前所未有地更快地觸及“內(nèi)存墻（memory wall）”。

     為了滿足不斷增長的需求，系統(tǒng)需要更大容量、更低延遲的 DRAM。然而，通過傳統(tǒng) DIMM 插槽進(jìn)行內(nèi)存擴(kuò)展受到 CPU 支持的內(nèi)存通道數(shù)量的限制。一旦這些插槽被插滿，擴(kuò)展內(nèi)存容量將變得困難得多。

     這一挑戰(zhàn)在邊緣系統(tǒng)中尤為明顯，平臺尺寸、功耗預(yù)算和 DRAM 成本對系統(tǒng)設(shè)計(jì)提出了額外的限制。當(dāng)瓶頸轉(zhuǎn)移到內(nèi)存處理時(shí)，加上 DRAM 價(jià)格波動和供應(yīng)不穩(wěn)定，傳統(tǒng)的擴(kuò)展方法可能捉襟見肘。雖然這些挑戰(zhàn)暴露了明顯的局限性，但也指明了替代的演進(jìn)方向——以及重新思考內(nèi)存擴(kuò)展的新方式。

傳統(tǒng)基于 DIMM 內(nèi)存擴(kuò)展的考量因素

NUMA 效應(yīng)

     在雙 CPU 或多路系統(tǒng)中，每個(gè)處理器都有自己的本地內(nèi)存——這種架構(gòu)被稱為 NUMA（非統(tǒng)一內(nèi)存訪問，Non-Uniform Memory Access）。每個(gè)CPU及其連接的內(nèi)存構(gòu)成一個(gè) NUMA 節(jié)點(diǎn)。

     雖然 CPU 可以直接訪問其本地內(nèi)存，但訪問另一個(gè) CPU 連接的內(nèi)存則需要通過處理器間互聯(lián)通道，從而導(dǎo)致更高的延遲。

     如果內(nèi)存沒有在節(jié)點(diǎn)間均勻分布，操作系統(tǒng)可能會將應(yīng)用數(shù)據(jù)放置在遠(yuǎn)程 NUMA 節(jié)點(diǎn)中，從而增加延遲并降低性能。

     除了插槽間（inter-socket）延遲外，內(nèi)存性能還受到主板上“DIMM 物理排列方式”的影響。

DIMM 拓?fù)浣Y(jié)構(gòu)

     內(nèi)存配置還受到 DIMM 拓?fù)浣Y(jié)構(gòu)的影響，這指的是內(nèi)存通道和插槽在主板上的電路布線方式。

     根據(jù)布局的不同，某些主板在優(yōu)先插滿離 CPU 最近的 DIMM 插槽時(shí)性能最佳。安裝第二個(gè)  DIMM 可能會導(dǎo)致內(nèi)存頻率下降。

     其他設(shè)計(jì)則針對平衡配置進(jìn)行了優(yōu)化，要求 DIMM 在內(nèi)存通道間對稱插滿。僅安裝一個(gè) DIMM 可能無法發(fā)揮最佳性能。

     為了充分發(fā)揮系統(tǒng)性能，用戶需要了解其主板的 DIMM 拓?fù)浣Y(jié)構(gòu)并據(jù)此配置內(nèi)存。這些設(shè)計(jì)考量也推動了行業(yè)對內(nèi)存擴(kuò)展新方法的關(guān)注——這正是 CXL 等技術(shù)大顯身手的舞臺。

什么是 CXL，它為何而生？

     CXL（Compute Express Link，計(jì)算快速鏈接）是用于高速互聯(lián)的開放行業(yè)標(biāo)準(zhǔn)，于2019年首次發(fā)布，并得到英特爾、AMD、ARM、三星、美光等主要科技公司組成的聯(lián)盟支持。它定義了控制設(shè)備通信的協(xié)議層以及構(gòu)建在 PCIe 電氣接口之上的物理層。這意味著 CXL 設(shè)備可以插入標(biāo)準(zhǔn) PCIe 插槽，同時(shí)實(shí)現(xiàn)一種截然不同的內(nèi)存訪問方式。

CXL 的三大子協(xié)議

CXL 定義了三個(gè)互補(bǔ)的子協(xié)議，協(xié)同工作以支持不同的通信模式：

CXL.io 負(fù)責(zé)基礎(chǔ)設(shè)備通信。它負(fù)責(zé)設(shè)備的識別、初始化和管理——類似于系統(tǒng)檢測和配置 PCIe 設(shè)備的方式。簡而言之，正是它讓系統(tǒng)能夠識別 CXL 設(shè)備并使其投入使用。

CXL.mem 是實(shí)現(xiàn)內(nèi)存擴(kuò)展的關(guān)鍵。它允許 CPU 訪問 CXL 設(shè)備上的內(nèi)存，就像訪問系統(tǒng)自身內(nèi)存一樣。從操作系統(tǒng)的角度來看，這部分內(nèi)存直接表現(xiàn)為額外的 RAM。

CXL.cache 使 CXL 設(shè)備能夠緩存主機(jī) CPU 的內(nèi)存。它確保 CPU 和設(shè)備始終使用最新的數(shù)據(jù)，避免在兩者共享數(shù)據(jù)時(shí)出現(xiàn)不一致。

子協(xié)議對照表

設(shè)備類型對照表

     Innodisk 的 CXL 產(chǎn)品系列，包括 CXL 擴(kuò)展卡（CXL AIC）和 CXL 內(nèi)存模組（CMM），均屬于 Type 3 設(shè)備，允許處理器將外部內(nèi)存作為主機(jī)地址空間的原生擴(kuò)展進(jìn)行訪問。

Innodisk CXL 解決方案如何破解內(nèi)存瓶頸

     Innodisk 的 CXL 產(chǎn)品旨在突破傳統(tǒng)內(nèi)存架構(gòu)的局限。CMM 每個(gè)模組可提供 64 GB、96 GB 或128 GB 的擴(kuò)展容量，而 CXL AIC 擴(kuò)展卡 則通過卡上的兩個(gè) DIMM 插槽最高可擴(kuò)展至 256 GB。

     除了單純繞過主板 DIMM 插槽數(shù)量的限制外，Innodisk CXL 解決方案還提供以下幾項(xiàng)關(guān)鍵架構(gòu)優(yōu)勢：

1. 內(nèi)存池化：應(yīng)對 NUMA 挑戰(zhàn)

     CXL 使多個(gè)主機(jī)能夠共享統(tǒng)一的內(nèi)存池，使資源分配更加靈活，并有助于緩解 NUMA 架構(gòu)中常見的延遲和不平衡問題。這一能力對于在不可預(yù)測環(huán)境中運(yùn)行的多主機(jī)邊緣服務(wù)器尤為寶貴。

     實(shí)際工作負(fù)載的數(shù)據(jù)處理需求通常會出現(xiàn)顯著波動。根據(jù)知名的 5G 網(wǎng)絡(luò)流量報(bào)告，每日流量峰值可達(dá)平均負(fù)載的 2 至 4 倍，通常發(fā)生在晚間……重大體育賽事轉(zhuǎn)播等特殊事件甚至?xí)⒕W(wǎng)絡(luò)流量推向更高的峰值。

     金融交易基礎(chǔ)設(shè)施也呈現(xiàn)出類似的模式……在重大市場事件期間，交易系統(tǒng)消息率會急劇飆升，有時(shí)甚至?xí)霈F(xiàn) 10 倍的峰值……

     這些工作負(fù)載峰值給系統(tǒng)架構(gòu)師帶來了根本性挑戰(zhàn)。內(nèi)存容量必須按峰值需求進(jìn)行配置……這正是內(nèi)存池化變得至關(guān)重要的地方。企業(yè)無需在每臺服務(wù)器上過度配置內(nèi)存，即可實(shí)現(xiàn)更高的資源利用率，同時(shí)仍保持應(yīng)對工作負(fù)載突發(fā)激增的能力。

2. 借助 PCIe 接口與內(nèi)存語義

     盡管 CXL AIC 擴(kuò)展卡通過 PCIe 連接器接入，但內(nèi)存語義允許 CPU 更直接地訪問 CXL 內(nèi)存，實(shí)現(xiàn)類似本地內(nèi)存的訪問方式。

     最重要的是，由于 CPU 將 CXL AIC 擴(kuò)展卡視為單一的 CXL.mem 設(shè)備，它繞過了傳統(tǒng)的 DIMM 級拓?fù)鋯栴}（如頻率下降）。無論主板內(nèi)部布局如何，都能帶來可預(yù)測的性能和高信號完整性。

將 CXL 從數(shù)據(jù)中心延伸至邊緣

     CXL 內(nèi)存擴(kuò)展可通過不同的外形規(guī)格（form factors）實(shí)現(xiàn)，每種規(guī)格均針對特定的系統(tǒng)架構(gòu)進(jìn)行了優(yōu)化。

     Innodisk 的 CXL 內(nèi)存模組（CMM）專為數(shù)據(jù)中心環(huán)境打造，采用緊湊的 EDSFF E3.S 外形規(guī)格，提供高密度內(nèi)存擴(kuò)展。它還榮獲了行業(yè)獎項(xiàng)，包括 FMS（閃存峰會）“Best of Show”大獎和 2025 年臺灣精品獎。

     在此基礎(chǔ)上，Innodisk 通過 CXL AIC 擴(kuò)展卡將相同的 CXL 能力延伸至邊緣部署。CMM 和 AIC 均通過標(biāo)準(zhǔn) PCIe 連接器接入，但 AIC 采用插卡式設(shè)計(jì)，在系統(tǒng)配置和預(yù)算控制方面提供了更大的靈活性。

AIC 的 TCO（總擁有成本）優(yōu)勢

     內(nèi)存定價(jià)并非線性的。隨著密度的增加，每 GB 成本往往呈指數(shù)級增長。高容量模組（如 256 GB DIMM）帶有顯著的“密度溢價(jià)”。

     通過采用 CXL AIC 擴(kuò)展卡，企業(yè)可以實(shí)現(xiàn)顯著的 TCO 優(yōu)勢。例如，在主板上插滿兩根 128 GB DIMM，再加上 CXL AIC 擴(kuò)展卡上的兩根 128 GB DIMM，其總成本通常低于僅為主板購買兩根 256 GB 模組的成本。

靈活部署

     CXL AIC 擴(kuò)展卡可根據(jù)實(shí)際系統(tǒng)需求實(shí)現(xiàn)靈活的內(nèi)存擴(kuò)展，而無需修改現(xiàn)有的 DIMM 配置。這使其特別適用于保守的工業(yè)環(huán)境。

根據(jù)您的需求，您可以優(yōu)化系統(tǒng)配置：

- 追求最大擴(kuò)展：128GB x2（主機(jī)）+ 128GB x2（AIC）。這將邊緣設(shè)備的性能推向極限。

- 追求成本效益：64GB ×2（主機(jī)）+ 64GB ×2（AIC）。使用主流且具性價(jià)比的模組提供可觀容量，同時(shí)允許在系統(tǒng)需求增長時(shí)未來升級到更高容量配置。

- 追求純粹的信號完整性與低延遲：主機(jī)留空 + 128GB x2（AIC）。通過將內(nèi)存工作負(fù)載轉(zhuǎn)移至 AIC，您可以繞過復(fù)雜的主板拓?fù)洌@得可預(yù)測的高速性能。

     除了容量靈活性外，CXL AIC 擴(kuò)展卡在物理部署方面也極具彈性。它可以與 Innodisk 的工業(yè)級 DDR5 RDIMM VLP 模組搭配使用，進(jìn)一步縮減系統(tǒng)占地面積。此外，在保持半長板卡設(shè)計(jì)的同時(shí)，AIC 支持全高和半高擋板，能夠無縫部署在邊緣服務(wù)器和工業(yè)平臺等空間受限的環(huán)境中。

重新思考內(nèi)存擴(kuò)展

     隨著內(nèi)存墻持續(xù)挑戰(zhàn)現(xiàn)代系統(tǒng)，擴(kuò)展內(nèi)存不再僅僅是增加更多 DIMM，而是關(guān)乎選擇正確的架構(gòu)。CXL 為更靈活、可擴(kuò)展的內(nèi)存方式打開了大門，而 Innodisk 的 CXL 解決方案將這一能力帶入實(shí)際部署，助您構(gòu)建為下一代工作負(fù)載做好準(zhǔn)備的系統(tǒng)。