可望全面提升生成式AI大型語言模型(LLM)推論解決應用落地與能源效率
臺北 2025年5月15日 /美通社/ — 全球AI推論加速晶片廠商創鑫智慧(Neuchips) 執行長劉景慈今(15)日宣佈，將於5月20至23日台北國際電腦展(COMPUTEX 2025) 會場展示革命性的N3000晶片系列及Viper PCIe加速卡，預期將為生成式AI中大型語言模型(LLM)推論應用，帶來突破性的能源效率，是專為地端部署設計的成本效益方案。
AI時代到來，讓台北國際電腦展再度成為全球焦點，今年創鑫智慧在會場展示的N3000晶片系列及Viper PCIe加速卡，就是聚焦可全面支援英特爾(Intel)和超微(AMD)的CPU，同時兼容Ubuntu和Windows作業系統，滿足用戶地端應用的多樣化需求。
劉景慈指出，創鑫智慧推出的Viper PCIe半高半寬加速卡，專為LLM推論設計，具備優異能源效率，單卡支援最多14B參數模型，雙卡可達24B，四卡配置甚至能處理高達70B參數的大型模型，完全滿足多種LLM推論需求，舉凡Llama、Mistral、Gemma、Qwen、Phi、TAIDE，甚至Deepseek蒸餾的模型，都在支援清單中。
創鑫智慧董事長林永隆博士補充說明：「最引人注目的是，創鑫智慧加速卡平均功耗僅45瓦，相當於一個普通燈泡的耗電量，顯著低於現有解決方案，在大型語言模型運算通常需要消耗大量能源的情況下，創鑫智慧的解決方案為企業提供了節能高效的LLM推論選擇，有效應對AI發展過程中可能面臨的能源挑戰。」
此外，創鑫智慧解決方案的最大優勢，在於消除了高昂的月費訂閱成本，讓企業能以一次性投資擁有自己的AI推論基礎設施，專為地端部署設計的方案，不僅降低了長期運營成本，還提高了數據安全性，使企業能完全掌控自己的AI資產。
劉景慈表示，本次展會上，創鑫智慧將攜手新加坡商楓葉資訊科技和工業電腦品牌超恩，展示其加速卡廣泛的硬體兼容性與系統支援，值得注意的是，這些小型系統無需額外電力配置，便可運行複雜的生成式AI應用。
此外，高登智慧和myLLM也將在創鑫智慧攤位展示基於其硬體的整合應用方案。高登智慧將展示以其核心「ShareGuru SQLPilot 系統」為基礎，所開發的全地端高準確度AI會議記錄查詢分析系統，以及創鑫智慧AI客服系統。
ShareGuru SQLPilot運用高登智慧的Multi-Agent核心技術，整合NL2SQL Agentic AI與Table Augmented Generation (TAG)，實現可完全地端運行、高準確度高智慧的AI分析功能。
藉由整合地端語言模型與結構化數據庫，ShareGuru SQLPilot提升了複雜查詢和分析的準確度，同時讓用戶能以自然語言直接進行查詢，無需專業知識。這種方法可自動化完成複雜的數據查詢和分析，減少了人工編寫SQL語法的時間，並且超越了單純的數據提取，能夠發掘隱藏的趨勢、模式和關聯—最終提供更高的準確性、更佳的用戶體驗、更高的工作效率以及更深層的見解。
至於myLLM的myPDA平台，是專為自主LLM設計的雲地整合Gen AI應用平台，myPDA提供一套具備模組化與高度彈性系統架構的解決方案，支援多種語言模型的整合與部署，並能在完全斷網環境下以地端LLM模型進行推論應用，只需一鍵即可完成安裝。系統能串接智能代理元件，進行多步驟推理、任務規劃與多系統協作，同時提供統一操作介面，大幅簡化應用建置流程。這套全方位解決方案應用領域廣泛，涵蓋智慧製造、醫療照護、知識管理及教育科技等多領域。
最重要的是，創鑫智慧已成為國家實驗研究院國家高速網路與計算中心（國研院國網中心）推論硬體成員之一，透過國網中心TAIWAN AI RAP高效能生成式AI開發平台架構，使用創鑫智慧自家AI加速方案提供官網客服推論服務，大幅降低雲端服務成本，國網中心的混合雲方案也可確保資料安全與隱私。
此外，國網中心為落實「主權AI」促進產業創新蓬勃，將提供台灣企業、新創公司、資服業者、學研單位，多模型API及模型微調與評估等試用服務，可在1樓I0601a創鑫智慧攤位登記報名。
關於 Neuchips
Neuchips致力於開發高效能、低功耗的AI加速晶片，為邊緣運算和數據中心提供創新的AI推論解決方案。通過與生態系統合作夥伴的緊密合作，Neuchips正推動AI技術的普及化和可持續發展。
