以色列新創公司NeuReality於本週一（3月23日）宣布，已成功延攬曾任Google Labs產品管理總監的Shalini Agarwal為策略顧問。Agarwal女士將肩負協助NeuReality的NR-NEXUS推論作業系統，開拓龐大企業客戶市場的重任，此舉不僅突顯了AI領域頂尖人才的流動趨勢，更彰顯了專注於優化AI硬體效能解決方案，以因應未來AI運算挑戰的重要性。
AI產業人才磁吸效應：前Google高管的策略佈局
Shalini Agarwal女士在科技產業累積了近二十年的豐富產品策略經驗，其職涯足跡遍及Google Labs及eBay等業界翹楚。她不僅擁有麻省理工學院（MIT）電腦科學、電機工程及管理科學的深厚學術背景，更在產品開發與市場策略方面展現卓越領導力。此次她以顧問性質加入NeuReality，將主要聚焦於該公司的上市策略，為其核心產品NR-NEXUS推論作業系統進入企業市場提供關鍵指引。
Agarwal女士的加入，被視為市場對能夠有效彌補晶片與企業大規模運行AI模型之間鴻溝的公司，投下的一張信任票。她的專業洞察力與豐富經驗，預期將加速NeuReality在複雜的企業級AI應用市場中站穩腳跟，尤其是在需要高效能、高效率AI推論解決方案的領域。
NR-NEXUS：為「AI工廠」打造的推論作業系統
NeuReality最初以設計AI推論的客製化晶片起家，隨後策略轉型，將發展重心移至軟體開發。該公司已於3月12日正式發表NR-NEXUS，這是一款為「AI工廠」量身打造的硬體中立（hardware-agnostic）作業系統，旨在解決現有AI加速器利用率不足的問題。
NR-NEXUS的設計核心，在於透過解耦預填充（prefill）和解碼（decode）任務，使其能夠橫跨異質硬體平台運行，包括圖形處理器（GPU）、中央處理器（CPU）和網路介面卡（NIC）。這種獨特的架構能夠顯著提高昂貴AI加速器的利用率，有效解決部分閒置問題，為企業提供更具成本效益的AI推論解決方案。目前已有測試客戶正在運行NR-NEXUS軟體，未來也將支援輝達（NVIDIA）即將推出的Vera Rubin架構，展現其前瞻性與兼容性。
- 硬體中立設計：相容多種異質硬體，提供部署彈性。
- 獨特解耦技術：精準管理預填充與解碼任務，提升加速器利用率。
- 專為「AI工廠」打造：優化大規模AI推論工作負載的效率與效能。
AI推論市場的龐大商機與未來展望
隨著全球AI技術的快速演進，AI推論工作負載正成為AI運算的核心。市場研究機構德勤（Deloitte）估計，AI推論工作負載在2025年已佔總AI運算量的一半，而今年預計將進一步提升至三分之二。為應對這股趨勢，超大規模業者（hyperscalers）正投入巨額資金，例如亞馬遜（Amazon）預計2026年將投入2,000億美元，而Google的預算則介於1,750億至1,850億美元之間。
輝達（NVIDIA）執行長黃仁勳（Jensen Huang）也曾提及，未來的資料中心將成為「代幣工廠」（token factory），強調AI推論在未來運算架構中的核心地位。
NeuReality迄今已募得約7,000萬美元資金，其中包含2022年底由三星創投（Samsung Ventures）、OurCrowd和SK海力士（SK Hynix）領投的3,500萬美元A輪募資，以及2024年3月歐洲創新理事會基金（European Innovation Council Fund）與現有投資者共同注資的2,000萬美元。這些資金挹注，彰顯了市場對其解決方案潛力的肯定，也為其在AI推論領域的發展注入強勁動能。
展望與影響
Shalini Agarwal的加入，無疑為NeuReality在競爭激烈的AI推論市場注入了一劑強心針。隨著企業對高效能AI應用需求日益增長，NR-NEXUS推論作業系統的硬體中立設計與效能優化能力，有望在「AI工廠」的建構浪潮中扮演關鍵角色。這項策略性人事布局與產品發展，不僅預示著AI硬體與軟體整合解決方案的未來趨勢，更將深刻影響企業導入與運用AI技術的效率與成本效益，為整個AI產業的發展帶來深遠影響。
