Atlas 300I A2 推理卡
A300I A2 推理卡融合“通用处理器、AI Core、编解码” 于一体,提供超强AI推理、目标检索等功能,具有超强算力、超高能效、高性能特征检索、安全启动等优势,可广泛应用于搜索推荐、内容审核等互联网应用场景。推理卡只支持用于AI推理任务,不支持训练任务。
概述
A300I A2 推理卡融合“通用处理器、AI Core、编解码” 于一体,提供超强AI推理、目标检索等功能,具有超强算力、超高能效、高性能特征检索、安全启动等优势,可广泛应用于搜索推荐、内容审核等互联网应用场景。
推理卡只支持用于AI推理任务,不支持训练任务。
外观
A300I A2 推理卡外观如图1-1所示。

系统框图
A300I A2 推理卡的系统框图如图1-2所示。

1)昇腾910 AI处理器是A300I A2 推理卡的核心,内部集成了20个AI Core,提供Cache、内存、图形、视频加速器、IO等资源。
2)iBMC可通过MCU获取PCB、BOM版本号等信息,同时获取单板温度、功耗、电源电压等信息。
3)昇腾910 AI处理器的供电采用高能效比的多相电源和PSIP。
性能特点
1)高度集成
- AI算力、通用算力、I/O能力三合一。
- 处理器集成20个AI Core+8个TaiShan Core。
2)超强算力
提供业界领先的560 TOPS INT8和280 TFLOPS FP16算力。
3)高速带宽
支持PCIe 5.0。
可维护性特点
1)支持带内的在线升级功能,方便客户进行日常维护。(支持带内的在线升级功能:管理员可以通过设备正常的业务网络接口(不需要连接专用的管理线),在设备持续对外提供服务(业务不中断或影响最小化)的过程中,远程下发并安装新的软件或固件版本)
2)支持带内及带外获取温度、电压、功耗等设备状态信息。
3)完备的命令行管理功能,用户可以通过各种命令进行日常的设备管理。
4)支持带内及带外资产管理功能,提供序列号等信息,方便资产管理。
典型使用场景
A300I A2 推理卡典型应用场景为搜索推荐、内容审核。
搜索推荐系统主要根据用户输入(用户画像、搜索词等),通过召回和排序算法,在内容池中筛选出最终推荐的素材(视频、文本等)。主要应用在互联网等领域。
搜索推荐系统如图2-1所示,主要部件由推理服务器、客户端信息化系统软件组成,A300I A2 推理卡部署在推理服务器中,主要实现用户数据类别召回、排序、重排序等推理功能。

内容审核系统主要采用了数据评级打分算法,实现了视频,图像,语音,文本等审核功能。主要应用在互联网等领域。
内容审核系统如图2-2所示,主要部件由NLP服务器、中心管理服务器、信息化系统软件组成。A300I A2 推理卡部署在NLP服务器中,主要实现视频、图像、语音、文本的审核校验等推理功能。

基本规格
基本规格如表3-1所示。
|
特征 |
规格(32GB) |
规格(64GB) |
|---|---|---|
|
形态 |
双槽位全高全长PCIe卡 |
|
|
AI处理器 |
1* 昇腾910 AI处理器 集成20个AI Core+8个TaiShan Core |
|
|
内存规格 |
|
|
|
AI算力a |
|
|
|
编解码能力 |
|
|
|
PCIe接口 |
PCIe x16 Gen5.0 |
|
|
PCI IDs |
Vendor ID:0x19E5 Device ID:0xD802 Subsystem Vendor ID:0x19E5 Subsystem Device ID:0x4000 |
Vendor ID:0x19E5 Device ID:0xD802 Subsystem Vendor ID:0x19E5 Subsystem Device ID:0x4001 |
|
功耗 |
300W/350W 说明:功耗配置参考电源管理。 |
|
|
散热方式 |
被动风冷 |
|
|
尺寸(长x宽x高) |
266.7mm x 39.04mm x 111.15mm |
|
|
重量 |
1.32kg |
|
|
操作系统 |
详细信息请联系技术支持。 |
|
|
a:稳定提供的峰值算力。 |
||
环境条件
硬件应用环境条件如表3-2所示。
|
环境指标 |
规格 |
|---|---|
|
温度 |
|
|
相对湿度 |
|
|
海拔高度 |
工作海拔高度:≤3050m。高于900m使用时,海拔每升高300m最高温度规格降低1℃。 说明:按照ASHRAE 2015标准:
|
散热规格
A300I A2 推理卡支持的入口温度为5℃~45℃,卡内部有温度监测点,带内及带外均可对AI芯片、存储芯片进行实时监测,以确保该卡在工作过程中,温度值低于规格值,不能超过规格值,如表3-5所示。
|
规格 |
AI芯片温度 ℃ |
存储芯片温度 ℃ |
|---|---|---|
|
下电温度 |
115 |
110 |
|
降频温度 |
105 |
105 |
|
长期工作温度 |
≤105 |
≤105 |
更多推荐
所有评论(0)