2025年6月，在中国信息通信研究院（以下简称“中国信通院”）组织的首轮“可信ai大模型一体机评估体系1.0”评估中，由黄浦区重点培育的海聚英才获奖企业问道以芯自主研发的“问道以芯异构存力推理机”顺利完成了推理性能专项评估，成为国内首批完成“可信ai大模型一体机评估体系1.0”评估的企业。
“问道以芯异构存力推理机”内部图
问道以芯成立于2021年，以“构建国产自主的ai及高性能计算开放集群”为己任，研发解决卡脖子问题的“底层高速serdes ip、关键核心枢纽芯片和新计算架构产品”，于2024年获得第四届“海聚英才”全球创新创业大赛银聚奖并落户于黄浦区。今年3月，问道以芯与黄浦科创集团、江苏未来网络集团联合发布“使用全自主知识产权新存力运力架构的ai大模型云边端协同一体机原理机”，在2025年6月完成产品工程化推出“异构存力推理机v1”，助力中央科创区“硬科技”产业生态跑出“加速度”。
“可信ai大模型一体机评估体系1.0”介绍
随着人工智能领域的持续发展，尤其是大模型时代的到来，如何支撑多场景人工智能模型的研发和应用成为企业迫切需要解决的问题。大模型一体机涵盖了硬件资源、软件平台和大模型的软硬一体化能力、提供了“开箱即用”的使用体验，能够帮助企业快速、高效、稳定地落地大模型能力。为推动产业健康持续发展，中国信通院人工智能研究所联合业界单位共同编制了可信ai大模型一体机行业标准（2023-0042t-yd《人工智能一体机技术要求》）。
“可信ai大模型一体机评估体系1.0”包括通用大模型一体机评估（训推一体机、推理一体机、moe模型专项、推理性能专项等）、专用大模型一体机评估（基础模型一体机、智能体一机、代码大模型一体机、金融一体机、政务一体机、教育一体机、工业一体机等）、场景大模型一体机评估（智能客服一体机、智能风控一体机、智能决策一体机、bi一体机、智能编码工具一体机等）三大种类。
“问道以芯异构存力推理机”介绍
问道以芯异构存力推理机，采用cxl硬件设备加消费级gpu、cpu配置，通过cxl无序io优化、bios优化，针对解决大模型推理场景中因内存墙、数据墙导致的硬件性能下降问题。产品支持如deepseek、qwen等通用大模型及定制化大模型，在llama.cpp框架下有较高效率，大幅降低在推理侧对gpu性能的需求以此降低硬件成本。
问道以芯异构存力推理机可根据硬件设备特性和实际大模型推理需求配置io方式，允许异步io（允许发起io后继续执行其他任务，不阻塞等待结果），允许分散-聚集io（允许单次调用处理多个非连续内存区域的io），实现io优先级调度。该方案可一定程度解决传统io操作需要按顺序发起执行时因资源竞争导致的io阻塞问题，实现以大量内存资源和io资源保障算力设备运行在更高效区间。
设备在运行deepseek-r1 70b模型时将大部分内存资源和io资源倾斜向gpu以保障gpu有更高的运行效率；在运行deepseek-r1 671b模型时因gpu显存不足和带宽不足导致效率大幅降低，此时通过cxl io支持gpu计算通过主内存io支持cpu计算，将推理内容卸载至多设备以保证推理任务有更好的结果输出。
该方案可使用成本较低的消费类gpu、cpu实现如deepseek-r1 671b、qwen3 235b大模型的推理任务，大幅降低推理成本。
“问道以芯异构存力推理机”产品图
放眼未来，问道以芯将以“先进芯片技术国产化、ip 自主化、产品本地化”为己任，依托黄浦区人才、产业和资本优势，以全自主知识产权重塑ai基础设施，在“一带一区硬科技”的战场上不断冲锋前行，持续打造强强联合构建ai服务器异构计算互联的生态。
上观号作者：上海黄浦
