TAG :生成式AI

英特尔Intel Vision 2024大会于4月8日-9日在美国亚利桑那州凤凰城登场，会中宣布推出Gaudi 3 AI加速器，由台积电5nm制程代工，挑战Nvidia在AI领域高市占率，企业生成式 AI带来新选择。
 

英特尔的Gaudi 3与Nvidia的H100相比，支援AI模型执行推理快了50%，训练大模型则比H100快了40%。 英特尔更指出，Gaudi 3的表现将与Nvidia的H200比肩，在某些领域的表现甚至会优于H200。
 

再者，英特尔Gaudi 3在Llama上做测试，可有效地训练或部署AI大模型，包括文生图的Stable Diffusion和语音辨识的Whisper等。
 

英特尔Gaudi 3加速器将于2024年第二季，提供OEM通用基板和开放加速器模型（Open accelerator module, OAM），2024第三季全面上市，包括戴尔科技、慧与科技（HPE）、联想和美超微 等，都将采用Gaudi 3。



Gaudi 3加速器的主要特点：
 

AI专用运算引擎：Intel Gaudi 3加速器专为生成式AI运算打造。 每台加速器都有专属的异质运算引擎，由64个AI自订和可编程TPC和8个MME组成。 每个Intel Gaudi 3 MME皆能执行64,000个平行运算，运算效率极高，擅于处理复杂的矩阵运算，这也是深度学习演算法的基础运算。 此独特的设计大幅提升平行AI运算的速度和效率，并支援多种资料类型，包括FP8和BF16。
 
提升内存容量，满足LLM容量需求：Intel Gaudi 3搭载128 GB的HBMe2内存容量、3.7 TB的内存带宽和96 MB的on-board静态随机存取内存（SRAM），能够在更少在的Intel Gaudi 3 上，提供处理大型生成式AI资料集所需的足够内存，且特别适用于大型语言和多模态模型。
 
为企业提供生成式AI高效系统扩充：每个Intel Gaudi 3加速器皆整合24个200 GB的以太网端口，提供灵活的开放标准网络，实现高效扩充，以支援大型运算集，并克服专有网路 架构的供应商限制。 Intel Gaudi 3加速器实现单一节点到上千节点的高效扩充，以满足生成式AI模型的广泛要求。
 
开放产业软件提升开发人员生产力：Intel Gaudi软件整合PyTorch框架，并提供基于Hugging Face社群的优化模型，是目前生成式AI开发人员最常用的AI框架，让生成式AI开发人员能够在高度在抽象 层上进行操作，提升易用性和生产力，并可轻松地将模型转移到不同硬件类型上。
 
Gaudi 3 PCIe：Gaudi 3高速PCIe附加卡是全新产品，外型规格专为实现高效率并降低功耗设计，适用于微调、推理和检索增强生成（RAG）等工作，配备功率600瓦的标准（ Full-height ）封装，128GB的记忆体容量，且带宽达到每秒3.7TB。

2023-11-02



生成式AI掀起科技時代大浪潮，在浪潮的起點，GPU與軟體業者是時代弄潮兒。 但很快地，人們對ChatGPT的熱情消退，雲端服務商承擔的龐大成本壓力浮現，各界開始冷靜思考，生成式AI要能廣泛落地，只能集中在雲端運作嗎？ 難道這AI商機創造的大把銀子，都讓英偉達一人賺走不成！



當然不是如此。 近日，AI大模型的發展朝端側的方向是呼之欲出，隨著連接設備和資料流量的爆增，不可能什麼資料都傳送到雲端，這會讓資料中心成本不堪負荷。 日前就有研究機構預估，光是維持ChatGPT運作就使得OpenAI每天要燒掉70萬美元，如果沒有後續資金進來，不排除OpenAI會在2024年底前面臨破產危機！
 

由此可知，未來生成式AI要能更廣泛落地與普及，凡事「上雲」絕對不是最好的解決之道。
 

雲端AI的商機正在往邊緣和側端傳遞，混合AI才是真正未來。 高通在幾個月前就已經傳道過此觀念，在夏威夷舉行的Snapdragon Summit 2023上，更進一步揭示了生成式AI未來朝邊緣端發展的道路上，高通下了哪些功夫。 各界更發現，藉由重新定義AI裝置，高通搶下新一輪生成式AI的話語權。
 

2023驍龍峰會Snapdragon Summit無疑是高通這十年來最重要的一場發表會。 在此之前，高通一直「驍龍」困於智慧型手機高庫存中，這次要藉力AI破局而出。
 

在高峰會上，高通帶來了幾個重要產品：手機市場的三代驍龍8行動平台、PC市場的驍龍X Elite平台、第一代高通S7和S7 Pro音響平台，更因為生成式AI的魔力加持 ，新品展現了強大的競爭力。





有別於過去的峰會都由手機處理器擔任主角，這次峰會最大亮點，是高通揭露了進軍PC領域的旺盛企圖心。
 

這次針對PC重新定位的驍龍X Elite平台，加上導入4nm製程自研的Oryon CPU，在效能、功耗上都表現都勝過競賽。 尤其高通點名與蘋果Arm架構CPU、英特爾i9 CPU較勁，以及GPU與超微的Ryzen 9比較，直面競爭彰顯自信。
 

日前傳言英偉達也計劃推出Arm架構PC CPU，AMD也有意從x86轉往Arm架構，顯示眾處理器巨頭都在嘗試跳脫舒適圈，擴大自己的戰場。



高通要成為端側生成式AI的領導者，不能只是靠一顆晶片獨立打仗，生態系講求的是團體作戰。 建立生態係是一項巨大且艱難的任務，高通做到了，成功集結ODM廠商、獨立BIOS供應商IBV、獨立硬體供應商IHV、獨立軟體供應商ISV，以及更大雲端平台等，打造屬於自己的 AI生態系。
 

在AI PC筆電廠商中，第一批持者有聯想、三星、宏碁、華碩、戴爾、惠普、榮耀等，2024年可以看到這些品牌推出X Elite PC。 另外，在雲端平台巨頭上，更有微軟、Google、Meta現身加持。



在此要特別談談高通如何拿下生成式AI領域的話語權。
 

AI始於雲端，但手機是世界和雲端連接最頻繁的終端，在終端和雲端中間的這一部分稱為「混合AI」。
 

在4G時代，當4G將寬頻連接到行動終端機時，就可以擁有一個手掌大小的電腦，之後更有智慧型手機象徵個人行動運算終端設備的誕生。 未來5G和個人行動運算的發展，AI也會經歷同樣的歷程。
 

回想早在2018年，高通就開始談5G進入行動市場，2019年5G進入商用終端，為什麼高通提早開始大談5G和AI？ 當時很多人不懂，為什麼高通要把5G跟AI擺在一起看？
 

試著想想，有運算能力與技術的發展、有成熟的AI模型、有現成的雲端和終端，這些條件與優勢組合起來，會形成什麼樣貌嗎？ 這是高通一直在做的一件事：重新定義行動終端設備。
 

一直以來我們習慣的終端運行，是以應用程式為中心。 例如高通有一個計算平台，在上面運行作業系統，然後是作業系統裡的應用程序，人在觸控介面上點擊觸摸使用應用程序，在不同應用程式間轉換。 同時，資料從一個應用傳輸至另一個應用。
 

但AI進入終端後，一切已經發生變化，可稱為「AI轉型」。 AI在終端上無所不在，無時無刻都在運行，圍繞著使用者作出預測，因此AI要了解你的行為，讓終端、作業系統都變得智能，改變使用者和終端互動的方式，這不僅 限於智慧型手機，在PC端、汽車，很多不同的終端上都能實現。
 

這個轉型也讓AI引擎在終端機上運行與雲端交互，這一切都是靠5G和AI連結在一起。



在AI領域，有別於英偉達的優勢在雲端運算能力，高通正在透過具備優勢的通訊連接與算力能力，圍繞著驍龍平台展開工作，這其中包括Oryon CPU、Adreno GPU，以及NPU神經網路處理器 Hexagon，從邊緣側端進攻，迎接這波AI時代的大潮流。
 

其中，NPU不僅能實現支援生成式AI的手機，也能讓PC支援生成式AI。 Stable Diffusion模型過去可以在智慧型手機上運行擁有10億參數的Stable Diffusion模型，從給出文字生成一張圖片要15秒，在搭載下一代驍龍旗艦平台的終端上，其運行速度已經快到0.6 秒。
 

此外，還有Meta的Llama 2模型、Android基礎模型，以及許多來自中國合作夥伴的模型，都將搭載到商用終端上，帶來全新的體驗。
 

這次的驍龍峰會上，高通也宣布三代驍龍8，是高通首款以生成式AI為核心的行動平台能，首發裝置是小米14，峰會上更由小米總裁盧偉冰親自站台。 三代驍龍8是採用台積電4nm製程，採1＋3＋2＋2 全新四叢集8核心架構，並攜手Meta整合其Llama 2的大型自然語言模型，能在終端對應超過100億組參數，平均每秒可執行15組代碼 指令。
 

生成式AI爆發性成長以來，AI戰局丕變，有兩個變化非常值得觀察。 一個是生成式AI商機初期是英偉達在雲端稱霸，但隨著模型參數的急劇增加，要處理和傳輸大量的數據因此對GPU需求巨大，使得側端有追上的機會。 高通從邊緣端使力，利用其邊緣端側的優勢，以及連結與運算能力，要反攻AI市場。
 

英偉達與高通，一個從雲端出發，另一個從邊緣端施力，在AI世界互相碰撞。
 

另一個變化是，PC與手機市場的競爭態勢進入到另一階段，高通這次的驍龍X Elite平台宣示進軍PC領域的企圖心，也傳出英偉達可能與聯發科一同攻克Arm架構CPU市場。 這對於疲弱已經的PC和手機市場，無疑是再好不過的消息。 有競爭才有創新，市場才有活水，AI PC時代到臨，消費者有很棒的換機動能了。
 

在生成式AI爆發初期，看似是英偉達一個人的武林，現在高通在PC和手機雙戰線啟動，從邊緣端出發。 高通更是集結上下游、軟硬體合作夥伴，形成自己的AI生態系供應鏈，在複雜的AI時代，技術領先只是基本功，團體戰術打群架才是致勝關鍵。