概述

A300I A2 推理卡融合“通用处理器、AI Core、编解码” 于一体,提供超强AI推理、目标检索等功能,具有超强算力、超高能效、高性能特征检索、安全启动等优势,可广泛应用于搜索推荐、内容审核等互联网应用场景。

推理卡只支持用于AI推理任务,不支持训练任务

外观

A300I A2 推理卡外观如图1-1所示。

图1-1 A300I A2 推理卡全高拉手条外观图

系统框图

A300I A2 推理卡的系统框图如图1-2所示。

图1-2 系统框图

1)昇腾910 AI处理器是A300I A2 推理卡的核心,内部集成了20个AI Core,提供Cache、内存、图形、视频加速器、IO等资源。

2)iBMC可通过MCU获取PCB、BOM版本号等信息,同时获取单板温度、功耗、电源电压等信息

3)昇腾910 AI处理器的供电采用高能效比的多相电源和PSIP。

性能特点

1)高度集成

  • AI算力、通用算力、I/O能力三合一。
  • 处理器集成20个AI Core+8个TaiShan Core

2)超强算力

提供业界领先的560 TOPS INT8和280 TFLOPS FP16算力。

3)高速带宽

支持PCIe 5.0。

可维护性特点

1)支持带内的在线升级功能,方便客户进行日常维护。(支持带内的在线升级功能:管理员可以通过设备正常的业务网络接口(不需要连接专用的管理线),在设备持续对外提供服务(业务不中断或影响最小化)的过程中,远程下发并安装新的软件或固件版本)

2)支持带内及带外获取温度、电压、功耗等设备状态信息。

3)完备的命令行管理功能,用户可以通过各种命令进行日常的设备管理。

4)支持带内及带外资产管理功能,提供序列号等信息,方便资产管理。

典型使用场景

A300I A2 推理卡典型应用场景为搜索推荐、内容审核。

搜索推荐系统主要根据用户输入(用户画像、搜索词等),通过召回和排序算法,在内容池中筛选出最终推荐的素材(视频、文本等)。主要应用在互联网等领域。

搜索推荐系统如图2-1所示,主要部件由推理服务器、客户端信息化系统软件组成,A300I A2 推理卡部署在推理服务器中,主要实现用户数据类别召回、排序、重排序等推理功能。

图2-1 搜索推荐系统架构图

内容审核系统主要采用了数据评级打分算法,实现了视频,图像,语音,文本等审核功能。主要应用在互联网等领域。

内容审核系统如图2-2所示,主要部件由NLP服务器、中心管理服务器、信息化系统软件组成。A300I A2 推理卡部署在NLP服务器中,主要实现视频、图像、语音、文本的审核校验等推理功能。

图2-2 内容审核系统架构图

基本规格

基本规格如表3-1所示。

表3-1 基本规格

特征

规格(32GB)

规格(64GB)

形态

双槽位全高全长PCIe卡

AI处理器

1* 昇腾910 AI处理器

集成20个AI Core+8个TaiShan Core

内存规格

  • 32GB HBM
  • HBM带宽:800GB/s
  • 支持ECC
  • 64GB HBM
  • HBM带宽:1.6TB/s
  • 支持ECC

AI算力a

  • 半精度(FP16):最大算力为280 TFLOPS
  • 整数精度(INT8):最大算力为560 TOPS

编解码能力

  • 支持1080p 480 FPS等效的视频解码能力。
  • 支持1080p 12288 FPS等效的JPEG解码能力,支持最大分辨率16384x16384,最小分辨率32x32。
  • 支持1080p 1024 FPS等效的JPEG编码能力,支持最大分辨率8192x8192,最小分辨率32x32。

PCIe接口

PCIe x16 Gen5.0

PCI IDs

Vendor ID:0x19E5

Device ID:0xD802

Subsystem Vendor ID:0x19E5

Subsystem Device ID:0x4000

Vendor ID:0x19E5

Device ID:0xD802

Subsystem Vendor ID:0x19E5

Subsystem Device ID:0x4001

功耗

300W/350W

说明:

功耗配置参考电源管理

散热方式

被动风冷

尺寸(长x宽x高)

266.7mm x 39.04mm x 111.15mm

重量

1.32kg

操作系统

详细信息请联系技术支持。

a:稳定提供的峰值算力。

环境条件

硬件应用环境条件如表3-2所示。

表3-2 应用环境条件

环境指标

规格

温度

  • 工作温度:5℃~45℃(41℉~113℉)
  • 存储温度:-40℃~+70℃(-40°F~+158°F)

相对湿度

  • 工作湿度:8%RH~90%RH(非冷凝)
  • 存储湿度:8%RH~95%RH(非冷凝)

海拔高度

工作海拔高度:≤3050m。高于900m使用时,海拔每升高300m最高温度规格降低1℃。

说明:

按照ASHRAE 2015标准:

  • 配置满足ASHRAE Class A1、A2时,海拔高度超过900m,工作温度按每升高300m降低1°C计算。
  • 配置满足ASHRAE Class A3时,海拔高度超过900m,工作温度按每升高175m降低1°C计算。
  • 配置满足ASHRAE Class A4时,海拔高度超过900m,工作温度按每升高125m降低1°C计算。

散热规格

A300I A2 推理卡支持的入口温度为5℃~45℃,卡内部有温度监测点,带内及带外均可对AI芯片、存储芯片进行实时监测,以确保该卡在工作过程中,温度值低于规格值,不能超过规格值,如表3-5所示。

表3-5 关键器件温度规格

规格

AI芯片温度 ℃

存储芯片温度 ℃

下电温度

115

110

降频温度

105

105

长期工作温度

≤105

≤105

转自:https://support.huawei.com/enterprise/zh/doc/EDOC1100503150/b9547447?idPath=23710424|251366513|254884019|261408774|260323393

更多推荐