d-Matrix 推出 Corsair 计算范式实现无 GPU 的 AI 推理

d-Matrix 推出的 Corsair 计算范式，是利用内存计算架构 (DIMC)来加速 AI 推理的。d-Matrix 通过紧密集成内存和计算的新颖 DIMC 架构突破了内存带宽障碍，使用 DMX Link 实现封装中小芯片之间的高速节能芯片间连接，并使用 DMX Bridge 跨两个卡连接封装来实现扩展。它是一种称为微缩放 (MX) 的 OCP 标准，可提高推理效率。

Corsair 采用行业标准 PCIe Gen 5 全高全长卡外形尺寸，成对的卡通过 DMX 桥卡连接。每个 Corsair 卡均由 DIMC 计算核心提供支持，具有 2400 TFLOP 的 8 位峰值计算能力、2 GB 集成性能内存和高达 256 GB 的片外容量内存。 DIMC架构可提供150TB/s 的超高内存带宽，显着高于HBM。 Corsair 的交互速度提高了 10 倍，总体拥有成本 (TCO) 性能提高了 3 倍，能源效率提高了 3 倍。

d-Matrix 推出的数据中心推理人工智能计算平台 Corsair，对于单个服务器中的 Llama3 8B，可实现 60000 个令牌/秒（1 毫秒/令牌）；对于单个机架中的 Llama3 70B，可实现 30000 个令牌/秒（2 毫秒/令牌）。

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

2回复贴，共1页

<<返回终结之谷瀑布吧

分享到:

日	一	二	三	四	五	六