推理效力与外洋同类产物架构解决方案相称,国
栏目:成功案例 发布时间:2025-02-10 08:34
推理效力与外洋同类产物架构处理计划相称,国产飞扬 CPU 实现对 DeepSeek 全系列年夜模子端到端支撑 推理效力与外洋同类产物架构处理计划相称,国产飞扬 CPU 实现对 DeepSeek 全系列年夜模子端到端支撑 2025年02月09日 23:18 IT之家 IT之家 2 月 9 日新闻,飞扬信息技巧无限公司昨日晚发文发布,旗下腾云 S5000C 跟腾锐 D3000 胜利实现对 DeepSeek 全系列年夜模子的端到端支撑,笼罩数据核心跟终端场景,当地安排的推理效力与外洋同类产物架构处理计划相称。据先容,DeepSeek-V2.5 236B 年夜模子于 2024 年在飞扬腾云 S5000C 平台实现稳固运转。基于飞扬腾云 S5000C 装备搭配 8 块国产 AI 卡,团体机能可达外洋平台机能 80% 阁下。DeepSeek-V3 跟 R1 版本宣布后,飞扬技巧团队在腾云 S5000C 平台跟腾锐 D3000 上对其停止当地安排验证,构成团体处理计划。数据核心侧,飞扬腾云 S5000C 效劳器可与多款 AI 减速卡共同实现 DeepSeek 蒸馏版跟全量版安排。飞扬 AI 试验室在单机 8 卡效劳器平台已停止蒸馏版 DeepSeek-R1-Distill-Llama-70B 版本测试,推理速率可达 22tokens / s。完全版 DeepSeek R1 671B 模子采取散布式推理框架,基于四机 32 卡 AI 效劳器集群运转可安排胜利。用户终端侧,基于飞扬腾锐 D3000 的台式机能够当地安排 DeepSeek-R1 7B 蒸馏版模子,搭配 1 张国产推理卡,实现 AI PC 才能。IT之家附飞扬腾云 S5000C 跟飞扬腾锐 D3000 两款 CPU 的重要信息如下:腾云 S5000C飞扬腾云 S5000C 领有 64 核、32 核、16 核 3 种产物状态,兼容 ARMv8 指令集,支撑硬件虚构化,产物支撑贸易跟产业分级,该产物重要面向盘算效劳器、存储效劳器、AI 效劳器、高端网安、行业级营业主机效劳器体系、年夜型互联网数据核心等场景。腾锐 D3000飞扬腾锐 D3000 集成 8 个飞扬自立研发的新一代高机能处置器核 FTC862,兼容 64 位 ARMv8 指令集并支撑 ARM64 跟 ARM32 两种履行形式,支撑单精度、双精度浮点运算指令跟 ASIMD 处置指令,主频到达 2.5GHz,支撑硬件虚构化,支撑贸易跟产业分级。
服务热线
400-123-4567