RK3506G EVB1 DSMC CS2/X8 连续 PIO 读数据错误定位与修复
本文记录 RK3506G EVB1 + FPGA 从机(DSMC LocalBus CS2/X8)上连续 PIO 读数据错误的排查过程。通过 6 组有界用户态测试,将错误收敛到 X8 读数据通路;对比旧、新驱动后,判断问题与新驱动的 DLL 训练策略回归相关。回退驱动并修正抢占配置后,memtester 第一轮 17 项全部通过,第二轮持续通过且零 fail。
现象与适用范围
- 现象:读取
/sys/kernel/rk_dsmc_test/memtester后,Stuck Address、Random Value等项目出现错误;长时间运行还会触发 soft lockup。 - 平台:RK3506G EVB1 + RK EVB DSMC 转 DSMCSLV 板 + FPGA 从机,CS2/X8/50 MHz,Linux 6.1.172,内核分支
rk3506-dsmc-v2。 - 基线现象:单点 CPU PIO 写读及 DMA
plc_test通过,但这不能覆盖连续 X8 读事务。 - 安全门禁:访问数据窗口前,确认
/sys/bus/platform/devices/ff8b0000.dsmc/driver存在,且启动日志中 DLL 训练成功。训练状态不明或失败时,不得访问/dev/dsmc/cs2/region0。
排查准备
6 个测试程序均为有限次数后自动退出,源码位于 /home/user/workspace/RK3506-DSMC-DSI/dsmc-debug-tests/,通过 /dev/dsmc/cs2/region0 访问窗口。内核 memtester 的 show/store 都是无限循环,不能与用户态测试并行;启动后无法可靠地单独停止,需重启板卡后再切换测试。
主机交叉编译示例:
TEST_DIR=/home/user/workspace/RK3506-DSMC-DSI/dsmc-debug-tests
CC=/home/user/SDK/rk3xxx/buildroot/output/rockchip_rk3506_g_evb1/rockchip_rk3506/host/bin/arm-buildroot-linux-gnueabihf-gcc
"$CC" -O2 -Wall -o /tmp/dsmc_width "$TEST_DIR/dsmc_width.c"
其余测试按相同方式编译对应 .c 文件。部署前用 hadb devices -l 确认当前 transport ID,再推送并运行,例如:
hadb -t <tid> push /tmp/dsmc_width /tmp/dsmc_width
hadb -t <tid> shell /tmp/dsmc_width
测试前确认 driver 与设备节点就绪,并确保没有内核 memtester 或其他 DSMC 窗口测试正在运行:
ls -l /sys/bus/platform/devices/ff8b0000.dsmc/driver
ls -l /dev/dsmc/cs2/region0
排查过程与结果
| 顺序 | 测试方法与结果 | 分析与排除 |
|---|---|---|
| 1. 单点写读 | dsmc_pio_once.c 对 9 个偏移、8 种图案测试,PASS (0 errors) | 基本映射、单次写读和存储可用;问题不容易由孤立事务触发。 |
| 2. 连续压测 | dsmc_pio_stress.c 对 64 KiB 窗口连续写读 500 轮;约 140 ms 出现 667 个错误 | 错误与连续访问相关,证明单点通过不足以排除总线读路径问题。 |
| 3. 交叉读 | dsmc_cross.c 写入后连续读取两遍:R1 有 14724 个错误,R2 与 R1 不同的有 12375 个,结果为 READ_PATH_UNSTABLE | 相同地址的读值会随读事务历史变化,不符合固定坏存储单元或单纯写入错误的表现,优先检查读通路。 |
| 4. 纯读 | dsmc_pure_read.c 初始化后停止写入;首次读取无错,后续纯读错误率约 0.327%,背靠背两次读取结果一致 | 不需要继续写入即可复现,问题不是写路径单独造成;同一错误状态下连续读取稳定,说明故障与读序列/历史状态有关。 |
| 5. 宽度分解 | dsmc_width.c:U32 错误率 0.3428%,高 16 位正确、低两字节重复;U16 0.1799%,U8 0.1801%,错误集中于每个 32-bit 字内的 byte0/byte1 | 错误按字节周期集中,而不是固定数据位损坏;读宽度改变时错误形态随之变化,指向 X8 字节推进或采样路径。 |
| 6. 插入读间隔 | dsmc_gap.c 在读事务间插入空闲,错误没有消失 | 单纯增加事务间恢复时间无效;问题更可能位于事务内部的字节推进/采样。 |
错误地址与数据分析
对错误样本逐字节反查,12/12 命中同一规律:读取地址 a 时,错误字节等于存储在 (a & ~3) - 2 位置的字节。也就是错误数据来自对齐地址前一个 32-bit 字中的第 3 个字节,符合上一事务字节被重放的特征。对 D0–D7 的逐位统计覆盖全部数据位,因此不支持“某一根数据线固定损坏”的解释。
把单点通过、连续压测失败、纯读可复现、不同访问宽度的字节位置差异及上述地址规律放在一起,证据指向 X8 读事务的数据推进/采样问题,而不是写入不可靠或存储单元损坏。
根因分析
在同一块 FPGA、CS2/X8/50 MHz 配置下,板端旧 6.1.118 驱动通过,而新 6.1.172 驱动复现连续读错误。新驱动引入 dsmc_dll_full_range_training(扫描 0x00–0xff);旧驱动则从 DTS 的 dqs-dll 起点增量训练。旧驱动下 CS2 的 RDS_DLL_CTL 实测为 0x80000010,数据正确。结合“仅更换驱动即改变结果”,最有力的解释是新驱动 DLL 训练策略导致 CS2/X8 读采样不匹配,属于驱动回归。
证据边界:本次没有可用示波器,也没有与板端 BOOT.bin 对应的 FPGA 工程,因此无法直接确认 FPGA 侧 DQS/数据波形或新驱动最终采样点的物理裕量。“采样点落在窗口边缘”属于待硬件波形或 FPGA 工程进一步验证的机制假设,不作为本次已直接测得的事实。
soft lockup 是独立问题
Stuck Address 测试连续执行约 34 秒、没有调度点,因而在 PREEMPT_NONE 配置下触发 soft lockup;这与 CS2/X8 数据错误是两个不同问题。新树的 rockchip_rt.config 设置了 CONFIG_PREEMPT_RT=y,但该内核并非 PREEMPT_RT 树,实际 .config 回落为 CONFIG_PREEMPT_NONE=y。将碎片改为 CONFIG_PREEMPT=y 后,实际配置包含 CONFIG_PREEMPT=y、CONFIG_PREEMPTION=y,memtester 原始测试循环可继续运行。另一验证方案是在长循环加入 cond_resched();最终 v2 采用完整抢占配置并保留原始测试代码。
修复与验证
rk3506-dsmc-v2 的修复包括:
dsmc-controller.c、dsmc-host.c、dsmc-host.h回退到已验证的 6.1.118 驱动基线。- DTS 对齐已验证配置:DSMC 50 MHz、
dqs-dll起点0x40,移除rockchip,io-width。 rockchip_rt.config将CONFIG_PREEMPT_RT=y改为CONFIG_PREEMPT=y,避免长时间测试触发 soft lockup。
修复后 memtester 第一轮 17 项全部 ok 并进入下一轮;已观察到第二轮持续通过至 Sequential Increment,零 fail,测试当时仍在继续。关键项目耗时为 Stuck Address 34.6 s、Solid Bits 394 s、Block Sequential 1574 s、Checkerboard 393.6 s、Bit Spread 393.5 s,与源码遍数对应的耗时模型吻合。由于 memtester 会自动进入下一轮,当前结果是已观察轮次通过,不代表无限循环已完整结束。
适用边界与复测要求
- 结论限于本次 RK3506G EVB1、FPGA 从机、CS2/X8/50 MHz 和对应 SDK/驱动;更换 FPGA、片选、位宽或时钟后,需重新确认 DLL 训练并复测。
- 不要让内核 memtester 与用户态 PIO、DMA 或其他 DSMC 测试并行;启动无限循环后需重启才能可靠停止。
- 若要确认 DLL 训练的物理机制,应取得与当前 FPGA bitstream 对应的工程,并测量 DQS、读数据和采样相位;软件回归对比本身不能替代波形验证。
- 通用 DSMC 检查和 PIO/DMA 安全步骤见 RK3506 DSMC 测试命令。