在浪潮YPCB-00338 Kintex-7 PCIe卡上运行LFM2.5和Qwen3

汇聚之精 2026-11-05 共4947人围观

以下文章来源于OpenFPGA,作者碎碎思

首先判断一个开源加速器值不值得去研究,看三件事

看完这个项目,可以沉淀出一套对同类开源硬件通用的判断标准:

第一,可复现性:模拟器、编译器、指令集、RTL 是否齐备,能不能在无硬件时先跑通?

第二,数据透明:有没有真实板卡的吞吐、量化和开销口径,而不是只给"理论峰值"?

第三,门槛设计:是不是把"看的人"和"买板的人"分开,让学习者不用先花钱?

如果这三条同时成立,这个开源项目大概率值得你花几天去读源码(或者花Token去研究)。

本次的项目基本符合上面的几条--OpenTPU。

本项目Open RTL、ISA、模拟器和编译器,在浪潮 YPCB-00338 Kintex-7 PCIe 卡(Kintex-7 xc7k480t FPGA,两个 2 GiB DDR3 通道,PCIe Gen2 x8。)上运行 LFM2.5 和 Qwen3。

ed1d419e-d588-11f1-8a4b-92fbcf53809c.jpg

图片来源互联网,仅供参考

绪论

本项目构建了 openTPU,目的是使 AI 加速器能够从 Python 内核一直到硬件层面都易于理解。它现在运行在 Inspur YPCB-00338 卡上,该卡配备了 Xilinx Kintex-7 xc7k480t 和 4 GiB DDR3 内存,用于执行语言模型。

该代码库包含 SystemVerilog RTL、指令集、位精确仿真器、内核语言/编译器、性能分析器和 Linux 主机工具。该项目也是一项利用人工智能代理进行硬件开发的实验。

看看它运行起来的样子

动画演示了 LFM2.5-230M 通过 otpu-chat 进行聊天,同时 otpu-smi 显示利用率和 DRAM 带宽。

ede7b730-d588-11f1-8a4b-92fbcf53809c.gif

硬件和数据路径

主板通过 PCIe Gen2 x8 连接,并提供两个 2 GiB DDR3 内存通道。目前的设计方案结合了一个四列脉动矩阵单元、八条向量通道、LiteDRAM 内存控制器以及一个用于显式调度数据传输和计算的序列器。矩阵单元处理 int8 类型的操作数;向量单元处理 fp32 类型的操作;量化机制则将两者连接起来。

eeae3aae-d588-11f1-8a4b-92fbcf53809c.gif

ef073be0-d588-11f1-8a4b-92fbcf53809c.png

实体卡结果

使用 4 位权重和 int8 LM 头,README 文件中报告,LFM2.5-230M 的令牌处理速度为 82.1 个tokens/s,Qwen3-0.6B 的令牌处理速度为 30.7 个tokens/s(包含主机开销)。该协议在 512 个令牌的提示后生成 64 个贪婪令牌。代码库中记录了量化精度权衡和测试流程。

ef6728de-d588-11f1-8a4b-92fbcf53809c.jpg

efbf0a9a-d588-11f1-8a4b-92fbcf53809c.png

不买主板也能试试

模拟器和软件运行在笔记本电脑上。克隆代码库,安装 Python 包及其依赖项,然后下载 LiquidAI/LFM2.5-230M:

gitclonehttps://github.com/FeSens/openTPU.git
cdopenTPU
pip install -e .
pip install pytest torch transformers
hf download LiquidAI/LFM2.5-230M --local-dir models/LFM2.5-230M
otpu-chat --model lfm2 --backend isa

重现电路板构建过程

本开发板指南涵盖 Vivado、比特流生成、JTAG 编程、PCIe 设置、DDR3 校准和诊断。构建此 Kintex-7 需要包含 xc7k480t 的 Vivado 许可证。RTL 测试需要 Verilator 5。

开发板指南:

https://github.com/FeSens/openTPU/blob/main/docs/board.md

指令集架构 (ISA):

https://github.com/FeSens/openTPU/blob/main/docs/isa.md

性能分析器:

https://github.com/FeSens/openTPU/blob/main/docs/lens.md

项目代码采用 Apache-2.0 许可。大家可以贡献板级移植代码、提供构建反馈,以及提出让加速器更容易学习和复现的建议。

代码

https://github.com/FeSens/openTPU

Powered By Z-BlogPHP