1、Atlas 300I duo 的单卡推理性能,可量化到int8还是int4?中文问答平均速度是多少token每秒,以chatglm2 6b模型为例 答: 1.1、可量化到int8和float16。 1.2、可参考如下测试:Atlas 300I duo 的单卡推理chatglm2 6b 模型,batch为1时输入128token,输出128token时,首token 133.15ms,非首token61.4ms 2、大模...
Atlas 300I Pro 推理卡融合“通用处理器、AI Core、编解码” 于一体,提供超强AI推理、目标检索等功能,具有超强算力、超高能效、高性能特征检索、安全启动等优势,可广泛应用于OCR识别、语音识别、搜索推荐、内容审核等诸多AI应用场景。 产品介绍 规格参数
Atlas 300I Pro，是基于昇腾 310 芯片开发推理卡，最高功耗72W，被动散热，半高半长单宽，达芬奇架构，作为推理卡需求比较简单，算力和显存平衡就可，所以它支持FP16*70TFLOPS 和 INT8* 140TOPS；搭载 24G 内存，且支持 ECC，另外 Atlas 300I Pro，AI 核心内集成硬件编解码功能，支持 128 路高清视频解码。另外...
【行业】:互联网 【服务器型号】:Atlas 800-3000(四张300I duo卡) 具体配置如下 【版本信息】:客户咨询硬件性能还未安装具体版本 --CANN版本: --Pytorch版本: --Python版本: --操作系统版本: 【问题描述】:客户需要使用大模型推理功能,初定是qwen-6b、GLM3-6B、b
这里实际拿 Atlas 300I 和 Atlas 300I Pro 对比会更有意义,因为这两个都是 半高半长卡,而 Atlas 300I Duo 则是 全高全长卡, 因缺乏历史对比对象,这里暂且把它放在 Atlas 300I 和 Atlas 300I Pro 一起进行对比好了。下面是 Atlas 300I、 Atlas 300I Pro、Atlas 300I Duo 的一些主要性能参数对比: ...
Atlas 300I Duo 推理卡是基于 2 个昇腾 AI 处理器的新一代高性能推 理解析卡,融合“通用处理器、AI Core、编解码” 于一体,提供超 您可扫描右侧二维码获取安装视频。 强AI 推理、目标检索、视频图片编解码等功能,具有超强算力、超 路径:单击“多媒体”,选择安装视频查 ...
Atlas 300I Duo 推理卡 Atlas 300I Duo 推理卡融合“通用处理器、AI Core、编解码” 于一体,提供超强AI推理、视频分析等功能,具有超强算力、超高能效、高性能视频分析等优势,可广泛应用于互联网、智慧城市、智慧 - 龙飞海·鲲兆申于20240313发布在抖音,已经收获了2036个
分 0 /1
Atlas 300I Duo 推理卡融合“通用处理器、AI Core、编解码” 于一体,提供超强AI推理、视频分析等功能,具有超强算力、超高能效、高性能视频分析等优势,可广泛应用于互联网、智慧城市、智慧交通等多场景、支持检索聚类、内容审核、OCR识别、语音识别、视频分析等多应用。
1)推理卡:包括Atlas 300V 视频解析卡、Atlas 300V Pro 视频解析卡、Atlas 300I Pro 推理卡、Atlas 300I Duo 推理卡。其中,Atlas 300I Duo 推理卡在配置下可以输出整数精度(INT8)达到280TOPS,半精度(FP16)算力达到140TOPS。2)训练卡:主要以Atlas 300T Pro 训练卡(型号:9000)、Atlas 300T A2 训练卡为主...