2022年4月7日，全球權威AI基準評測MLPerf?公布最新AI推理（Inference）V2.0榜單，浪潮AI服務器以最高性能獲得了數據中心（固定任務）的全部16項冠軍。

MLPerf?由圖靈獎得主大衛(wèi)·帕特森（David Patterson）聯(lián)合頂尖學術機構發(fā)起成立，是國際最權威的AI性能基準評測，每年組織AI推理和AI訓練測試各兩次，以對迅速增長的AI計算需求與性能進行及時的跟蹤測評。MLPerf?比賽通常分為固定任務（Closed）和開放優(yōu)化（Open）兩類任務，開放優(yōu)化能力著重考察參測廠商的AI技術創(chuàng)新力，固定任務則因更公平地考察參測廠商的硬件系統(tǒng)和軟件優(yōu)化的能力，成為更具參考價值的AI性能基準測試。

本次是2022年MLPerf?的首次AI推理性能評測，旨在考察在各類AI任務中，不同廠商計算系統(tǒng)的推理速度和能力。本次評測中，在競爭最激烈的數據中心（固定任務）賽道，共有926項成績提交，數量較上次比試翻倍，競爭非常激烈。

浪潮AI服務器創(chuàng)推理性能新紀錄

本次MLPerf?AI推理性能評測涵蓋使用廣泛的六大AI場景，包括圖像分類、自然語言理解、語音識別、目標物體檢測、醫(yī)學影像分割、智能推薦，每個場景采用最主流的AI模型作為測試任務，分別為ResNet50、BERT、RNNT、SSD-ResNet34、3D-Unet、DLRM。MLPerf?測試要求模型推理精度達到99%以上，對于自然語言理解、醫(yī)學影像分割和智能推薦3個任務則設置99%與99.9%兩種精度要求，以考察當提升AI推理精度要求時對計算性能的影響。

為更加貼近實際應用情況，MLPerf?推理測試在數據中心賽道下設置了離線（Offline）與在線（Server）兩種模式。離線模式代表任務所需所有數據都在本地可用，典型場景如大批量醫(yī)療影像樣本存于本地等待統(tǒng)一識別。在線模式則反映了大部分的即時AI應用，其數據和請求以突發(fā)和間歇的方式在線送達，例如用戶在瀏覽購物網站時智能推薦的推理請求。

浪潮AI服務器此次表現出色，以最高性能包攬了此次MLPerf?數據中心（固定任務）賽道的全部16項冠軍。

關鍵詞： 數據中心 自然語言理解 醫(yī)學影像 最激烈的 迅速增長