一句話總結：美國新創d-Matrix推出AI推論專用晶片Raptor，用3D DRAM堆疊技術繞過HBM瓶頸，宣稱頻寬密度比輝達尚未發表的Rubin高出20倍，功耗降低13.5倍，直接挑戰GPU霸主在推論市場的定價權。
核心要點
- 頻寬密度直接碾壓：Raptor的頻寬密度號稱比輝達次世代Rubin架構高出20倍，功耗降低13.5倍。這不是微幅領先，是直接換賽道比賽。
- 用3D DRAM繞過HBM瓶頸：d-Matrix把邏輯晶片直接疊在最多四層記憶體上方，用face-to-face bonding縮短電子傳輸距離，I/O能耗大幅下降。說穿了，就是讓記憶體別再當傳輸瓶頸的豬隊友。
- 單卡32GB，機櫃級叢集才是真戰場：Raptor單卡記憶體僅32GB，但d-Matrix的野心是橫向擴展到72卡叢集，提供每秒拍位元等級的總頻寬，鎖定大型語言模型的長上下文推論需求。
- 每人每秒破千tokens的推論速度：在GLM-5.2模型上每位使用者每秒可達2,121 tokens，Kimi K3也有785 tokens。數字會說話，這已經不是「能用」的等級了。
- 輝達回防：NVLink Fusion授權戰略：輝達意識到推論市場可能被分食，反手將NVLink互連技術授權給第三方XPU，企圖讓自己成為所有AI工廠的「基礎設施心臟」——就算你不用我的GPU，也得用我的互連。
Hot Chips大會這幾年已經變成AI新創的「踢館擂台」。d-Matrix的Raptor一發表，直接拿輝達還沒出生的Rubin架構開刀，這不是挑釁，這是向整個市場宣告：推論這塊餅，我來分一塊。
為什麼推論晶片突然這麼熱？很簡單，訓練是「花錢」，推論是「賺錢」。模型訓練完之後，真正在跑服務、回答問題、生成內容的時候，都得靠推論。而推論的痛點從來不是算力不夠，是記憶體頻寬卡死。你GPU再強，資料送不過來也是英雄無用武之地。Raptor的3D DRAM設計就是在解決這個問題，把記憶體直接疊在邏輯晶片上面，傳輸路徑短到不能再短。
不過話說回來，20倍這個數字，聽聽就好。輝達Rubin連個影子都沒有，實際效能只能等產品出來見真章。新創公司的發表會數據，就像相親照——參考可以，但別太當真。但d-Matrix的技術路線確實值得關注：不跟輝達在訓練市場硬碰硬，改走推論這條更貼近應用的路線，同時用3D DRAM避開HBM的供應限制和成本壓力，這步棋下得聰明。
輝達顯然也看出這個趨勢。過去輝達的NVLink是GPU的「專屬高速公路」，現在NVLink Fusion開放授權給第三方晶片，表面上是共榮，實際上是在異質運算時代提前卡位互連標準。畢竟誰掌握資料傳輸的規格，誰就掌握AI工廠的設計主導權。這招對AMD的Infinity Fabric和Intel的UPI都會構成壓力——輝達正在把自己從「賣晶片的」升級成「賣架構的」。
對台灣半導體產業來說，這不只是花邊新聞。無論是d-Matrix還是輝達，最終都要找台積電生產。AI推論晶片的需求如果真的爆發，對先進封裝（尤其是3D堆疊相關技術）的產能需求只會更高。這一波AI硬體戰爭的受益者，永遠少不了台灣的晶圓廠和封測廠。但風險也擺在那裡：AI晶片設計的集中度太高，如果某家廠商市占過大，台灣的供應鏈也會跟著被掐住脖子。
接下來幾個月可以觀察三件事：第一，d-Matrix什麼時候能端出實際的客戶案例和出貨時程，別停在paper launch；第二，輝達Rubin的規格會不會因為Raptor的壓力而調整記憶體設計；第三，台積電的3D封裝產能會不會因為這類新創訂單而進一步擴張。對投資人來說，AI推論晶片這條供應鏈還有很多資訊可以挖。
編輯觀點：二十年來，NVIDIA靠著CUDA生態系和GPU架構築起高牆，幾乎沒人從硬體層級撼動過它。但推論市場不一樣——它對延遲和成本極度敏感，客戶沒那麼死忠，誰便宜、誰快、誰省電，就用誰的。d-Matrix這家新創踩中的正是這個痛點，用3D DRAM繞過昂貴的HBM，這不是技術上的「改進」，是商業模式上的「繞道」。如果Raptor真的量產且性價比達標，微軟、Google、AWS這類雲端巨頭絕對有動機多養一個供應商來跟NVIDIA砍價。輝達開放NVLink授權，說白了就是在防守這條可能被繞過的路——它不怕你來搶GPU生意，但很怕你用別的技術讓它的生態系被邊緣化。這場仗才剛開始。
行動呼籲：還在觀望AI基礎設施投資的人，是時候把眼光從訓練晶片移到推論晶片了。輝達的GPU霸權在訓練市場仍然穩如泰山，但推論市場的遊戲規則正在被改寫。下次看到「頻寬超越20倍」這種標題，先別急著嘲笑，去查查這家公司背後是誰在投資、技術專利佈局到哪裡。主動追蹤d-Matrix的客戶公告和台積電先進封裝的產能動態，這些資訊會比股價波動更早告訴你趨勢往哪走。
一句話結論
AI推論市場正在從GPU的依附品走向獨立賽道，d-Matrix用3D DRAM技術繞過HBM瓶頸，輝達則用NVLink授權防堵生態系被侵蝕，這場硬體戰爭的下一個轉折點，在誰能先把成本壓到雲端巨頭無法拒絕的甜蜜點。
本文改寫整理自公開新聞來源，原始報導由Yahoo奇摩新聞發布。
常見問題 FAQ
AI推論晶片和AI訓練晶片有什麼不同？
訓練晶片負責讓模型從零學會能力，需要極高的算力和大量的資料吞吐；推論晶片則是模型學成之後負責「回答問題」的環節，更重視延遲和功耗。簡單說：訓練是考試，推論是上場工作。
d-Matrix的Raptor和輝達的GPU相比，誰比較強？
在訓練場景輝達仍然遙遙領先，但推論場景Raptor的記憶體頻寬設計更具優勢。Raptor鎖定的本來就不是輝達的核心戰場，而是AI服務實際運作時的性價比和功耗表現。
3D DRAM技術是什麼？為什麼能解決記憶體瓶頸？
3D DRAM把邏輯晶片直接堆疊在記憶體上方，縮短電子傳輸距離。傳統HBM需要透過周邊I/O傳輸資料，功耗和延遲都高。疊上去之後傳輸路徑變短，功耗降低約13.5倍，頻寬表現接近SRAM水準。
NVLink Fusion授權對產業有什麼影響？
輝達把自家的高速互連技術開放給第三方晶片使用，目的是讓NVLink成為AI工廠的標準互連介面。這對AMD、Intel的互連技術形成競爭壓力，也代表輝達正從賣GPU轉向賣整個AI基礎設施的架構。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。
