用 SoduWork 做一次开发:同一个模型,多一层流程,换来了什么

· 2026-11-17 16:08 · 3 阅读

原创 张汉东 2026-11-17 16:08 美国

最近受 SoduWork 的邀请,来做了一次真实的上手评测报告。

评测报告 · 2026-11-13

评测对象:SoduWork 源码版 client-v1.13.13(commit 3100773),本机 Hub + 桌面端

被测项目:TicketLite 工单服务,T1 从零开发、T2 改需求

执行:Pi 1.4.0 + GLM-5.3(两组相同)

分组:A 需求流程 + Kimi 复核;B 直接对话

判分:95 条封存的黑盒验收 + 统一签收协议

先说结论:同一个模型(GLM-5.3),放进 SoduWork 的需求流程,代码质量确实更好一点[1],但本次单样本测得要多花 3–8 倍的时间和 token[2],波动范围未知;在不启用插件的直接执行模式下,流程还有几处会把人卡住的缺口。

  • 功能正确性打平。

     两组最终都通过了我事先写好、对 Agent 保密的 95 条黑盒验收测试。

  • 质量差别出现在验收测试之外。

     走了流程的 A 组:测试代码是 B 的 2.5 倍,没有循环依赖,依赖零已知漏洞(B 有 36 个)。还有一处 B 至今仍有的缺陷,是 SoduWork 的独立 AI 复核找出来、A 改掉的:priority=null 和空过滤值没有被拒绝。

  • 代价同样明显。

     T1 从提需求到签收,A 用了 59 分钟、871 万 token;B 用了 17 分钟、208 万 token。T2 差距更大,主要因为一次本不该发生的事故:AI 起草需求时把代码路径改丢了,执行方没有停下来问,而是用另一组的 Docker 镜像“重建”了一个仓库。

  • 流程的价值主要来自“独立复核”这一步。

     本次用的是不启用插件的「直接执行」模式。这个模式下界面上选不了复核者,退回之后也无法重新验收,复核是在执行会话里手动切换底座和模型完成的。按官方 README[1],为每一步指定执行和复核底座属于插件工作流的能力,这次没有测到(见第三节“模式边界”)。

一、这次评测怎么做的

我想回答的问题很具体:同一个执行模型,放进 SoduWork 的需求流程里开发,和直接对话开发相比,代码、依赖和部署的质量有没有差别,要多花还是少花人的时间?

为此我设计了一个小项目 TicketLite(工单服务)。API 契约写得很细,主要是为了能用黑盒测试来判分:状态机、权限与可见性、分页与校验、统一错误格式、X-Request-ID、JSON 日志。交付物要求有 Makefile、Dockerfile、compose(PostgreSQL)、迁移、README 和 CI。框架和依赖都让 Agent 自己选。

A 组:SoduWork 需求流程

B 组:直接对话

入口

「从对话创建」需求,由 AI 起草完成标准,再「安排执行」

新建对话,粘贴同一段需求原文

执行

Pi + GLM-5.3(智谱 Coding Plan)

Pi + GLM-5.3

复核

Kimi Code + Kimi K3.1 Pro,在执行会话里点「在会话中分析」

无

签收

人按同一份签收协议检查

同左

任务分两轮:T1 从零做出 v1;T2 在 v1 上改需求,加优先级与 SLA 超时升级,要求迁移可回退、Docker 升级不丢数据。原计划还有 T3(修缺陷),为了控制工作量取消了。

为了公平,我定了几条规则:

  • 反馈协议

    :评测者只回答“需求原文怎么说”,签收不通过时只发回“哪一项失败 + 原始输出”,不分析原因,也不提示改哪里。

  • 签收协议

    :在干净的克隆上依次跑 make test;make migrate 后跑 make dev,查 /health;docker compose up -d --build,查 /health;再用浏览器登录并提交一张工单。两组完全一样。

  • 隐藏验收

    :开工前写好 95 条黑盒测试(v1 72 条,v2 23 条),先在参考实现上全部跑通,又在参考实现里植入缺陷,确认测试能抓到。整个过程加密封存,Agent 看不到。

说明几处偏离计划的地方:

  1. 评测机同时在跑别的工作,负载长期在 40–100。SoduWork 的 Runner 在负载高时不会启动任何需求任务(下文细说)。征得同意后,我在本地副本里去掉了它的 CPU 负载门槛,内存保护保留。所以 A 组后半程的耗时,是在一台繁忙的共享机器上测得的。

  2. 机器中途休眠了约 5 小时,这段时间不计入任何耗时。

  3. 评测由按固定协议执行的自动化评测流程完成。“人工介入时间”记录的是协议规定的那些动作花了多久,不代表一个真人工程师的实际用时。

二、上手:3 分钟装好,30 分钟才真正能用

sh start.sh --check 一次通过。--prepare-only --desktop 用了 197 秒,装好了服务依赖、管理页和桌面端,也下载了 Electron。启动约 20 秒后,Hub 在 127.0.0.1:18989 就绪,桌面端自动弹出登录页。

桌面端登录

登录后的首页很干净。但有一个细节值得注意:新对话默认是「完全访问」(红色标记)。

桌面端首页,默认完全访问

接模型时遇到了几处摩擦:

  • 管理台的语言跟随浏览器,默认是英文,界面上没有明显的切换入口。

  • 智谱 GLM、月之暗面 Kimi 是内置服务,只要填密钥就行。但内置的智谱地址是标准 API;我的 key 是 Coding Plan,必须手动改成 /api/coding/paas/v4,否则会报 1113(余额不足)。界面上没有任何提示。

配置智谱服务

  • 加模型时要手动输入模型 ID,三项能力默认都是“未确认”。「检测能力」对 GLM 全部通过;对 Kimi K3.1 Pro,却报“工具调用未能确认”。我直接用 curl 调 Moonshot,tools 是正常的,所以这是误报。

检测能力:Kimi 工具调用误报

桌面端的「Agent 管理」识别出本机 9 种执行底座。Kimi Code 一键装好,约 40 秒;每个底座可以单独指定模型。点「测一下」会真跑一轮最小任务,Pi 和 Kimi Code 都测通了。

Agent 管理

三、一条需求的完整旅程(A 组 T1)

1. 从对话创建需求

在需求池点「从对话创建」,把需求原文贴进去。超长文本会被自动转成 TXT 附件,跟着需求一起走。

粘贴需求

AI 起草了标题,把全文保留为描述,还写了 4 条“做到什么算完”:

  1. make test 全部通过

  2. docker compose up 后 /health ok,重启后数据仍在

  3. 按功能分步提交到 main

  4. 同一套迁移同时支持 SQLite 与 PostgreSQL

这 4 条全是交付层面的,没有一条涉及 API 行为:状态机、权限、校验、分页一条都没有。后面会看到,这直接限制了 AI 复核能覆盖什么。

AI 起草的完成标准

还有一个小坑:AI 把需求里出现的“操作者”一词填成了负责人,结果“没有找到「操作者」”,需求创建不了,要手动改成“自己”。

负责人找不到

2. 安排执行

「安排这条需求」里能选插件、Agent、本次模型和交付提交方式。插件下拉只有一项「不用插件 · 直接执行」,也没有任何地方能选复核者。

安排执行

模式边界。 “选不了复核者”只发生在不启用插件的直接执行模式里。官方 README 的「多 Agent 在不同层面协同」一节把协同分成几个层面,其中“组合方法”这一层写的是“插件工作流为每一步指定 Harness、Skill 和模型”,例子是“Pi 起草,Qwen Code 核对来源,核对不通过就停下”。也就是说,按节点绑定执行底座和复核底座,是插件工作流提供的能力,直接执行模式本来就不承担这件事。

这次没有走插件工作流,原因有三:

  • 默认没有启用任何插件。

  • 内置的代码工作流 engineering-delivery 只做“已有缺陷的修复”,会在预检时拒绝从零开发。

  • 其他内置代码工作流需要带 docker 标签的 Runner 和发布环境。

按文档,可以用「插件开发助手」自建一个“Pi 执行、Kimi Code 复核”的工作流,但这不在本次评测范围内。所以本文的复核数据都来自直接执行模式下的手动做法:执行结束后,在执行会话里把底座和模型切到 Kimi Code + K3.1 Pro,再点「在会话中分析」。这完全是标准界面操作,SoduWork 本身没有改动。

3. 执行:26.5 分钟,16 个提交,89 个测试

Pi 在指定仓库里按功能分了 16 次提交,最后对 4 条标准逐条自检。选型是 FastAPI + SQLAlchemy 2 + Alembic + uv.lock;密码用 PBKDF2(60 万次迭代加盐),令牌只存 SHA-256 摘要。

Pi 的交付报告

4. 提交验收与 AI 复核

执行结束后,需求停在“进行中”,要手动「提交验收」。提交后 SoduWork 提示:本轮没有可自动核验的交付物,请使用手动验收。本地 git 提交不算交付物,所以“自动验收”用不了。

在执行会话里切到 Kimi Code + K3.1 Pro,发送「在会话中分析」预填的【验收分析】提示。复核花了约 7 分钟,每一条都真的跑过:89 passed,补起 PostgreSQL 16 后 90 passed;compose 起服务、建工单、restart、down/up,数据都在。给出的结论是“暂缓通过”,理由只有一条:SoduWork 的固定交付记录没有关联任何提交或分支,无法证明它看到的就是交付版本。

Kimi Code 的验收分析结果

5. 签收:AI 复核放过的问题

我的签收检查在 make test 这一步失败了:19 个测试在 setup 阶段报 no such table: users。

原因是 app/main.py 在 import 时就执行 app = create_app()。如果开发者按 README 导出了 TL_DATABASE_URL、TL_ADMIN_* 再跑测试,应用会去连那个空库。这是一个真实的测试隔离缺陷。Kimi 的复核没有发现它,因为它从没在“导出了配置”的环境里跑过测试。

按协议,我用「退回修改」把失败项和原始输出发了回去。

退回修改

6. 返修之后:流程断了

点「继续修正」会在输入框里预填返修提示。Pi 用 5 分钟定位了根因,改成工厂模式,还加了一个回归测试。

问题出在之后:返修是以会话轮次完成的,SoduWork 没有生成新的交付版本。再点「提交验收」,提示“本轮交付已验收或退回,请修改交付内容后重新提交”;有一次界面同时弹出“已提交验收,等待验收人确认”,可 Hub 里并没有新的验收请求。

重新提交被拒

同时,执行会话在“等待返修”状态下锁定为 Pi,切不到 Kimi Code。第 2 轮复核只能开一个新会话,发送同样的【验收分析】提示。这正好对应验收面板上那句“在新会话中核对本次固定版本与证据”。第 2 轮复核给出“通过”,我的签收检查也全部通过。但这个“签收”只能记在评测记录里,SoduWork 里记不了。另外,已确认验收的试跑需求,在需求池里一直停在「进行中」。

第 2 轮复核:通过

A-T1 合计 59 分钟:执行 26.5 分钟,两次复核约 12 分钟,返修 5 分钟,其余是流程操作和绕路。

四、对照组:直接对话(B 组)

B 组用同一个模型,粘贴同一段话,没有需求、没有 AI 复核。T1 用了 9 分 18 秒,10 个提交,48 个测试,签收一次通过。我自己的签收协议在这里做过一次修订:B 的 make dev 在新库上需要先 make migrate,而 README 写明了这一步,原协议比文档要求更严,所以两组统一改为先 migrate。这一修订不影响 A 的结论。

B 组 T1 交付报告

T2(改需求)用了 6 分 17 秒,5 个提交,58 个测试,签收一次通过。Agent 还自己验证了从 v1 用 Docker 升级时数据不丢。

B 在 t2-done 上跑隐藏验收:95/95 全部通过。

五、改需求(A 组 T2):AI 起草把路径弄丢了

这是整次评测里最值得记下的一幕。

T2 的需求同样用「从对话创建」。这次 AI 写的完成标准明显更好,覆盖了权限、校验、只升级一次、迁移回退、Docker 升级不丢数据。但它把我粘贴的原文改写成了摘要,绝对路径 runs/A/ticketlite 被丢掉了,描述里只剩“在 ticketlite 仓库 main 分支现有代码上…”。

需求描述里没有路径

执行方 Pi + GLM-5.3 跑了 42 分钟,报告“任务目录初始为空、本机无 ticketlite 仓库”。它没有停下来问,而是用本机 Docker 镜像 ticketlite-app:latest 里的 /app,加上 pytest 缓存里的 88 个测试名,重建了一个仓库,在上面实现 T2,最后宣布“4 条验收标准全部满足 ✅”。

Pi 的阻断说明

那个镜像其实是 B 组 T1 的代码:两组 compose 项目同名,后构建的覆盖了先构建的。也就是说,A 的“改需求”是在 B 的代码上做的,而 A 自己的仓库一行都没动。

这一次,AI 复核的价值体现出来了。Kimi Code 复核的是那个重建的仓库,它:

  • 找到了隐藏测试也没覆盖的真实缺陷:priority=null 创建返回 201、PATCH 传 null 返回 200、?priority= 空值返回 200,都应该是 422;

  • 从会话记录里发现仓库是“依据本机镜像和测试缓存重建的”,要求人工确认基线;

  • 结论是“退回修改”。

Kimi 复核:退回修改

但它没有意识到交付位置根本错了,这一点是签收检查的第一步(指定仓库没有新提交)抓到的。

按协议,我用「退回修改」发回两件事:签收检查的原始输出(指定仓库自 T1 以来 0 个新提交),以及 AI 复核原文列出的三个校验缺陷。这次返修落到了正确的仓库:34 分钟,7 个提交,测试从 90 个增加到 136 个。它在 A 自己的结构(uv、工厂模式、原有路由)上实现 T2,顺手修了一个 SQLite 外键下迁移失败的问题,还自己做了 v1→v2 的 Docker 升级验证。签收检查一次通过。

A-T2 返修报告

返修完,需求条又回到“已打回 · 等待返修”。和 T1 一样,SoduWork 没有为返修生成新的交付版本。

六、工程质量对比

两组都以 T2 签收后的版本(t2-done)为准,在干净克隆上度量。

指标

A(SoduWork 需求流程)

B(直接对话)

隐藏验收(95 条,v1 72 条 + v2 23 条)

95/9595/95
priority=null

 / 空过滤值(复核发现的边界)

422 / 422 / 422 ✅

201 / 200 / 200 ❌

自带测试数

136

58

业务代码 / 测试代码(行)

1,077 / 1,632

913 / 660

平均圈复杂度 / 最大

2.49 / 13

2.41 / 16

模块循环依赖

0

1 组(deps ↔ main ↔ routers)

重复代码

0.29%

0.77%

依赖锁定方式

pyproject + uv.lock(全闭包)

requirements.txt 精确 pin

已知漏洞(pip-audit)

036

(PyJWT 2.10.1 占 22 个,Starlette 0.41.3 占 14 个)

认证方式

不透明令牌,库里只存 SHA-256 摘要

JWT,签名密钥默认值 dev-insecure-secret-change-me 写死在 app/security.py,可用 TL_SECRET 覆盖

硬编码密钥(gitleaks)

0

0

make dev

 在新库上直接可用

是(启动前自动迁移)

否(需先 make migrate,README 已写明)

签收检查失败次数

1(导出 TL_* 变量后测试互相干扰)

0

我怎么读这张表:

  1. 用验收测试能测到的功能,流程没有带来差别。

     两组都是满分。GLM-5.3 自己就能把一个契约写得很细的 API 做对。

  2. 差别在验收测试测不到的地方

    ,测试厚度、依赖卫生、模块边界都是 A 更好。但我不能把这些都归功于 SoduWork 的流程:A 的执行慢了约 3 倍,多出来的时间里,模型把更多事情做细了,这和“有没有复核”未必有关。

  3. 能明确归功于流程的,是那三个 null 和空值边界。

     它们由 Kimi 复核主动探测出来,经过“退回 → 返修”被修掉;B 没有这一步,到现在还在。

  4. 反过来,复核也有漏掉的东西。

     A-T1 的测试隔离缺陷,是靠固定的签收检查抓到的。复核只验证 AI 写下的那几条标准;标准写得窄,复核看的范围也就窄。

七、效率账

任务

A(SoduWork 需求流程)

B(直接对话)

T1 首轮执行

26.5 分钟

9.3 分钟

T1 从提需求到签收

59 分钟,1 轮返修

约 17 分钟,0 轮返修

T1 token(Pi/GLM)

871.5 万

207.8 万

T2 首轮执行

42 分钟(做在了错误的代码基上)

6.3 分钟

T2 从提需求到签收

约 123 分钟(墙钟 161 分钟,扣掉排队和负载卡顿)

约 9.5 分钟,0 轮返修

T2 token(Pi/GLM)

924.6 万

110 万

复核

T1 两次、T2 一次,Kimi Code + K3.1 Pro,每次 5–15 分钟,不计入 SoduWork 用量

无

协议规定的人工动作

T1 约 14 分钟,T2 约 14 分钟

T1 约 7 分钟,T2 约 2 分钟

人工动作里,A 组大部分花在流程本身:手动提交验收,切换复核底座,绕开退回后无法重新验收的问题,修正 AI 起草里的负责人和路径。按协议做检查、给反馈的时间,两组差不多。

Kimi Code 的复核不进 SoduWork 的用量统计,统计里只有 Pi 的记录。成本一栏是“待对账”,因为模型目录里没有配价格。

用量与成本

八、局限

  • 每个任务每组只跑了一次,没有重复取样,波动有多大不知道。

  • 只评了一个模型组合,一个小项目。

  • 评测由按固定协议执行的自动化评测流程完成,人工时间只代表协议动作的耗时。

  • 只测了不启用插件的直接执行模式,没有测插件工作流。

  • A 组后半程是在去掉了 Runner 负载门槛、负载很高的机器上跑的。

九、结论与建议

这次能拿到的效率证据是这样的: 对一个契约清晰、规模不大的后端项目,GLM-5.3 直接对话就能在 10 分钟量级做出能通过全部黑盒验收的版本。SoduWork 的需求流程没有让“做对”变得更容易,却让“做细”和“找漏”多了一道关:本次单样本测得它多花 3–8 倍时间和 token(波动范围未知)[2],换来更厚的测试、更干净的依赖,以及一处被独立复核揪出来的真实缺陷[1]。值不值得,取决于你的交付里有多少“验收测试测不到、但上线后会咬人”的东西。

对 SoduWork 本身,我会提这几条:

  1. 让没有现成插件的需求也能方便地指定复核者。

     按节点绑定复核底座目前属于插件工作流,而内置的代码工作流覆盖不到从零开发。可以在「安排执行」里加一个复核者选项,或者提供一个开箱即用的“执行 + 复核”工作流;现在直接执行模式下只能靠手动切换会话底座。

  2. 退回之后要能重新验收。

     直接执行模式下,代码交付一旦被退回,返修完成后既不生成新版本,也提交不了验收,整个验收闭环就断了。

  3. AI 起草需求时不要改写关键事实。

     路径、仓库、环境这类信息应该原样保留,或者显式校验。丢了路径之后,执行方宁可“重建”也不提问,这是这次最危险的一幕。

  4. 把 Runner 的排队原因显示出来。

     机器负载高时,需求会在“正在理解你的要求…”上一直卡着,界面上没有任何提示;而且 CPU 门槛没有配置项可以调。

  5. 用量统计要覆盖所有底座。

     Kimi Code 的复核消耗没有进入统计,算账时会低估流程成本。

对想用它做开发的人,我的建议是: 按任务性质选路径。任务以代码为主、追求效率时,可以在 SoduWork 里让底座直接跑,也就是本文 B 组的做法。需要留下验收证据、多人交接或对外交付时,再走需求流程,同时把完成标准写到行为层面,复核换一个底座和模型。别指望 AI 起草的完成标准替你把关:T1 那 4 条全是交付层面的,复核也就只看了交付层面。

还要说明一点:SoduWork 不替代编程 Agent。按官方 README 的说法,它“不替代它们,而是把它们作为 Harness 接进团队工作台”。它面向的也不只是研发岗位,官方典型场景还包括客诉工单总结、合同初审、变更与成本管理。本文只测了研发这一种用法。

参考链接

[1] https://github.com/mdiri-ai/SoduWork

跳转微信打开

本文转载自微信公众号「觉学社」,查看原文。版权归原作者所有,如有侵权请联系删除。