<del id="9z7x1"></del>

          <track id="9z7x1"></track>

            <pre id="9z7x1"><b id="9z7x1"></b></pre>

            <address id="9z7x1"><strike id="9z7x1"><span id="9z7x1"></span></strike></address>

            <p id="9z7x1"><ruby id="9z7x1"><ruby id="9z7x1"></ruby></ruby></p>

            <p id="9z7x1"><pre id="9z7x1"></pre></p>

            Habana Gaudi2性能穩超英偉達A100,助力實現高效AI訓練

            2022-07-07 13:17:40 來源:英特爾

            近日,英特爾宣布Habana? Gaudi?2深度學習處理器MLPerf行業測試中表現優于英偉達A100提交的AI訓練時間,結果突顯了5月在英特爾On產業創新峰會上發布Gaudi2處理器在視覺(ResNet-50)和語言(BERT)模型上訓練時間的優勢。

            英特爾公司執行副總裁兼數據中心與人工智能事業部總經理 Sandra Rivera表示:非常高興能與大家分享Gaudi 2MLPerf基準測試中的出色表現,也為英特爾團隊在產品發布一個月取得的成就感到自豪。我們相信,在視覺和語言模型中提供領先的性能能夠為客戶帶來價值,有助于加速其AI深度學習解決方案。

            借助Habana LabsGaudi平臺,英特爾數據中心團隊能夠專注于深度學習處理器技術,讓數據科學家和機器學習工程師得以高效地進行模型訓練,并通過簡單的代碼實現新模型構建或現有模型遷移,提高工作效率的同時降低運營成本。

            Habana Gaudi2處理器在縮短訓練時間(TTT)方面相較第一代Gaudi有了顯著提升。Habana Labs20225月提交的Gaudi2處理器視覺和語言模型訓練時間上已超越英偉達A100-80GMLPerf測試結果。其中,針對視覺模型ResNet-50,Gaudi2處理器TTT結果相較英偉達A100-80GB縮短了36%,相較戴爾提交的同樣針對ResNet-50BERT模型、采用8個加速器的A100-40GB服務器,Gaudi2TTT測試結果則縮短了45%。

            圖片25.png

            圖片26.png

            intelone="" font-size:="">MLCommons發布的數據,intelone="">2022intelone="">6月。intelone="" font-size:="" color:="">https://mlcommons.org/en/training-normal-20/

             

            相比于第一代Gaudi處理器,Gaudi2ResNet-50模型的訓練吞吐量提高了3倍,BERT模型的訓練吞吐量提高了4.7倍。這些歸因于制程工藝從16納米提升至7納米、Tensor處理器內核數量增加了三、增加GEMM引擎算力、封裝的高帶寬存儲容量提升了三倍、SRAM帶寬提升以及容量增加一倍。對于視覺處理模型的訓練,Gaudi2處理器集成了媒體處理引擎,能夠獨立完成包括AI訓練所需的數據增強壓縮預處理。

            兩代Gaudi處理器的性能都是在沒有特殊軟件操作的情況下通過Habana客戶開箱即用的商業軟件棧實現的。

            通過商用軟件所提供的開箱即用性能,Habana 8GPU服務器與HLS-Gaudi2參考服務器上進行測試比對。其中,訓練吞吐量來自于NGCHabana公共庫的TensorFlow docker,采用雙方推薦的最佳性能參數在混合精度訓練模式下進行測量。值得注意的是,吞吐量是影響最終訓練時間收斂的關鍵因素。

            圖片27.png

            圖形測試配置詳見說明部分。

            intelone="" font-size:="" color:=""> 圖片28.png

            圖形測試配置見說明部分。

            除了Gaudi2MLPerf測試中的卓越表現,第一代Gaudi128個加速器和256個加速器的ResNet基準測試中展現了強大的性能和令人印象深刻的近線性擴展,支持客戶高效系統擴展。

            Habana Labs首席運營官Eitan Medina表示:我們最新的MLPerf測試結果證明Gaudi2在訓練性能方面顯著優勢。我們將持續深度學習訓練架構和軟件創新,打造最具性價比AI訓練解決方案。

             

            關于MLPerf基準測試MLPerf社區旨在設計公平且極具實際價值的基準測試,以公平地測量機器學習解決方案的準確度、速度和效率。該社區由來自學術界、研究實驗室和業界的AI領導者創建,他們確立基準并制定了一套嚴格的規則,以確保所有參與者均能夠公平公正地進行性能比對。基于一套明確的規則,以及能夠對端到端任務進行公平比較,目前MLPerfAI行業唯一可靠的基準測試。此外,MLPerf基準測試結果要經過為期一個月的同行評審,這進一步驗證報告結果。

             

            說明:

            ResNet-50性能對比中使用的測試配置

            A100-80GBHabana20224月在Azure實例Standard_ND96amsr_A100_v4上進行測量,使用了一個A100-80GB,其中應用了NGCTF docker 22.03-tf2-py3optimizer=sgd, BS=256

            A100-40GBHabana20224月在DGX-A100上進行測量,使用了一個A100-40GB,其中應用了NGCTF docker 22.03-tf2-py3optimizer=sgd, BS=256

            V100-32GB?Habana20224月在p3dn.24xlarge上進行測量,使用了一個V100-32GB,其中應用了NGCTF docker 22.03-tf2-py3optimizer=sgd, BS=256

            Gaudi2Habana20225月在Gaudi2-HLS系統上進行測量,使用了一個Gaudi2,其中應用了SynapseAI TF docker 1.5.0BS=256

            結果可能有所不同。

            BERT性能對比中使用的測試配置 

            A100-80GBHabana20224月在Azure實例Standard_ND96amsr_A100_v4上進行測試,使用了一個A100-80GB,包含NGCTF docker 22.03-tf2-py3Phase-1Seq len=128,BS=312,accu steps=256;Phase-2seq len=512,BS=40,accu steps=768 

            A100-40GBHabana20224月在DGX-A100上進行測試,使用了一個A100-40GB,包含NGCTF docker 22.03-tf2-py3Phase-1Seq len=128,BS=64,accu steps=1024;Phase-2seq len=512,BS=16,accu steps=2048

            V100-32GBHabana20224月在上p3dn.24xlarge進行測試,使用了一個V100-32GB,包含NGCTF docker 21.12-tf2-py3Phase-1Seq len=128,BS=64,accu steps=1024;Phase-2seq len=512,BS=8,accu steps=4096

            Gaudi2Habana20225月在上Gaudi2-HLS進行測試,使用了一個Gaudi2,包含SynapseAI TF docker 1.5.0Phase-1Seq len=128,BS=64,accu steps=1024;Phase-2seq len=512,BS=16,accu steps=2048

            結果可能有所不同。

             

            Habana Labs、Habana、Habana標識、GaudiSynapseAIHabana Labs的商標。

             

            關于英特爾

            英特爾NASDAQ: INTC)作為行業引領者,創造改變世界的技術,推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下,我們不斷致力于推進半導體設計與制造,幫助我們的客戶應對最重大的挑戰。通過將智能融入云、網絡、邊緣和各種計算設備,我們釋放數據潛能,助力商業和社會變得更美好。


            1. EETOP 官方微信

            2. 創芯大講堂 在線教育

            3. 創芯老字號 半導體快訊

            相關文章

            全部評論

            • 最新資訊
            • 最熱資訊
            @2003-2022 EETOP

            京ICP備10050787號   京公網安備:11010502037710

            被主人玩弄调教抽打
            <del id="9z7x1"></del>

                    <track id="9z7x1"></track>

                      <pre id="9z7x1"><b id="9z7x1"></b></pre>

                      <address id="9z7x1"><strike id="9z7x1"><span id="9z7x1"></span></strike></address>

                      <p id="9z7x1"><ruby id="9z7x1"><ruby id="9z7x1"></ruby></ruby></p>

                      <p id="9z7x1"><pre id="9z7x1"></pre></p>