稳定性:长时间运行、崩溃恢复、升级与数据保留
本页用仓库里的证据回答运维最关心的三个问题:网关能不能长时间运行而不泄漏,升级会不会丢数据,数据库会不会一直长大。下面每个数字都来自可以自己重跑的工具。
1. 压测(npm run soak)
npm run soak -- --minutes 30 --concurrency 8 --retention-minutes 5 [--dir DIR] [--keep]--concurrency 指压测客户端数量,不是执行槽数。要比较节点容量,可运行 npm run soak -- --minutes 30 --no-restarts --concurrency 8 --worker-slots 6。可选的 --worker-slots 只覆盖隔离测试网关的配置,不改部署默认值;报告会记录配置容量及采样到的活跃任务数。
加上 --profile-prune 后,报告会分别记录维护队列等待、选择候选、获取写锁、删除、提交、文件清扫、让出事件循环和 WAL 检查点的耗时。CLI 清理前、中、后的请求按完成时刻统计 P99;还有清理期间的健康探测及重叠采样窗口内的事件循环延迟。样本很少时不能把 P99 当作服务承诺。V8 物理堆、ArrayBuffer 和可用时的系统内存摘要用于定位 RSS;这些数值有重叠,不可直接相加。
要测一个租户的 Webhook 积压是否拖慢另一个,运行 npm run bench:webhook-isolation -- --out result.json。故障租户的八个端点共有 32,000 条排队投递和 32,000 条待恢复记录;正常租户用四个回环客户端提交 256 个后台任务。独立进程分别测量无积压、等待重试、正在恢复三种情况下的提交和签名通知延迟,也记录全部恢复记录转入投递队列的耗时。转入投递队列不代表接收方已经收到;测试使用模拟模型,不是生产延迟指标。
要测文件历史增长后的上传延迟,运行
npm run bench:upload-quota -- --rows 128000 --samples 512 --clients 6 --out result.json。基准对照空目录、已积累大量文件且不开配额、同样规模且开启配额三种情况。独立进程通过 HTTP 计时:并发上传、上传期间另一账户读取文件、配额用满后的拒绝。历史文件记录是合成数据,不访问用户文件或模型账户。开启配额后,SQLite 连接最多暂存 256 个调用方的已提交文件总量,优先保留经常查询的调用方。这不是可上传的调用方数量上限。其他连接提交后,旧总量不再使用;冷查询按调用方的文件记录重算。保留策略在删除文件的同一事务中扣减已知大小;大小不明确时则重新统计。即使缓存命中,尚在写入的预留字节也始终从数据库读取。
要测重启后多账户同时首次上传,运行
npm run bench:upload-cold-start -- --accounts 8 --rows 128000 --restarts 16 --out cold.json。每次都在同一份磁盘数据库上启动新的网关进程,分别发送冷、热两批上传,另一个调用方同时读取真实文件。结果包含两类请求的延迟、整个上传窗口内读取响应的最长间隔,以及超过配额一个字节的拒绝检查。基准不会清空操作系统的磁盘缓存。传入 --compare 旧构建的dist目录 可按 AB/BA 顺序交替对照。
启用存储配额且目录至少有 4,096 个文件时,网关可提前启动一个只读线程,不会在启动时重算所有账户。只有首次需要统计且至少有这么多文件的调用方才交给线程处理。同一所有者、同一调用方的并发请求仅共享统计,不共享授权或字节预留。快照变动或读取失败时不按旧结果放行,必要时由原连接重新统计;实际写入事务仍核对在途预留。未启用配额时不启动线程,线程空闲后会退出。
新建且启用存储配额的目录在原有的所有者/调用方索引中一并保存计费字节数。核算配额不用再读较宽的摘要索引,查找重复文件仍用原索引。字节键会增加索引空间和插入成本,未启用配额的新目录默认沿用较轻的 scope-only。以后开关配额都不会在启动时强制重建已有索引。先用 oaa file-index --config 路径 查看布局和配额配置;默认只读,运行中的网关也能查。确需升级时,先正常停服,再运行 oaa file-index --config 路径 --write。scope-bytes 不需重复处理。操作只在一个事务内替换已识别的索引,不清理文件或运行记录,也不变更行号。需要为建索引及 WAL 留出空间,不承诺缩小数据库。提交结果不确定时,先用不带 --write 的命令核对。
若写入成本比冷读更重要,可以在停服后用 oaa file-index scope-only --config 路径 --write 切回较轻的布局。
给冷启动基准加 --profile-reader 可以拆分每个账户第一笔成功上传的预检、开始扫描前的等待、索引查询、查询间隔(含服务其他账户)、结果交回及写入时间。分段在网关进程及辅助线程里计时,HTTP 总耗时由独立客户端测量。--mixed-history 可混合不同大小、重复摘要和受限输入。搭配 --compare 时,--seed-layout legacy 保留旧布局,--seed-layout upgraded 则仅升级这次测试的临时目录。
连续 5 秒没有完成新的索引页,网关会要求辅助线程交回该调用方的读取。只有这个调用方实际完成的行数增加才会延长等待,最迟 15 秒发起交接。已完成的页只能凭原来仍然有效的统计凭据续算;如果原生读取无法确认交回、线程也还没退出,受影响的上传会收到带 Retry-After 的 503 upload_busy,不会接受新文件或同时再扫同一账户。其他调用方仍可使用自己的总量或分批回退。
确认线程真正退出后,也可以用它最后报告的完整页位置续算;原读取仍在运行、凭据已变或另一次上传重试,都不能套用旧位置。回退时,不同调用方沿索引轮流分批重算,批次之间不持有写锁或游标。最后一个等待的上传断开后,网关会请求辅助线程停止,本地不再读取下一批。预留字节时结果过期则先释放写锁再重算。单次磁盘读取仍可能拖慢一个批次;正常关停也要等辅助线程真正退出才归还数据目录租约。
在冷启动基准中加 --helper-timeout,会扣住测试线程的消息、等待真实超时,不会人为减慢磁盘。fallback 单独统计超时后其他账户的读取延迟和这批上传的完成时间。--fresh-copy 在支持克隆的文件系统上为每次启动准备新的临时数据库文件。macOS/Linux 可用 cc -O2 编译 bench/file-residency.c,通过 --page-probe 路径 记录实际驻留页数,而不假设文件必然冷读。探针只读驻留状态,不清空系统或设备缓存。
要测仍在工作的读取而非丢消息,运行 npm run bench:upload-reader-handoff -- --scenario progress。改为 blocked 可在独立临时数据库上阻塞一次真实的原生 SQLite 调用;ceiling 检查达到交接时限后是否从已完成页继续;exit 在首次进度报告后终止测试专用的辅助线程。报告记录实际访问行数、回退查询是否重叠以及最终计费字节。减速和锁是测试注入,不代表物理盘故障。
bench/soak.ts 不在 npm test 里。它会:
- 在进程外启动一个真实的网关进程(
node dist/src/cli.js serve),使用临时的HOME和数据目录,监听127.0.0.1的随机端口。一个很小的预加载模块(bench/soak-probe.ts)记录该进程自己的 RSS、堆和活动句柄,进程里别的东西都不改; - 在另一个回环端口上提供确定性的 OpenAI 兼容假模型,内置智能体
agent/fixture因此走真实的提供方路径,但不联网、不用任何账号;离线 ACP 示例智能体(examples/sample-agent.mjs,每次运行用一份私有副本)覆盖外部智能体与审批;一个回环上的事件回调接收端提供一个正常端点和一个对 30% 的投递返回 500、对 10% 超时的端点,用来触发重试队列; - 通过 HTTP 按权重混合发送:Responses / Chat Completions / Claude Messages / Gemini 的非流式调用;流式调用(30% 的客户端收到前几帧后主动断开);后台任务加轮询;续接(
previous_response_id);在不同时机取消;审批(批准、拒绝,或放着直到 10 秒的审批期限过期);幂等重放;无效请求(错误的密钥、错误的参数、25 MiB 的请求体);订阅后断开的事件流;控制台用到的概览、活动、运行列表、时间线与状态;经auto桥接的调用方工具(工具调用发出、结果送回);结构化输出(json_schema,其中 30% 需要一轮修复);内联图片输入;用开发者平台账号密钥的计费调用(按次计价,五分之一中途取消);以及在中途通过运行中的网关执行一次oaa prune; - 每 10 秒采样:RSS、强制 GC 后的 V8 已用堆与已提交堆、堆外(
external)内存、句柄、打开的文件描述符(lsof)、子进程(pgrep -P)、数据库与 WAL 大小、数据目录大小、运行数、未结束运行数、请求延迟分位数和意外错误; - 运行期间重启网关三次(20% 处 SIGTERM,40% 处 SIGKILL,60% 处 SIGTERM),每次重启后核对:网关重新可用;停止前一分钟内完成的运行仍是
completed;旧进程没有留下in_progress的运行;没有外部智能体进程活过网关;然后像运维人员那样恢复几个 interrupted 的运行; - 结束时排空,并核对没有运行停在
queued、in_progress或requires_action,最后一次 SIGTERM 在 30 秒内停下,没有残留的智能体进程,PRAGMA integrity_check为ok; --no-restarts只跑一个长段;设置SOAK_SNAPSHOT_DIR与SOAK_SNAPSHOT_MINUTES=10,30,55时,会在这些分钟对网关取堆快照(先强制 GC),用于定位泄漏;- 把
report.json(全部样本、最小二乘斜率表示的趋势、失败清单)和summary.txt写进--dir,除非给了--keep,否则删除本次运行的数据。数据目录超过 2 GB 时提前停止。工具可以在 macOS 与 Linux 上运行(用到lsof、pgrep、du和 POSIX 信号),不支持 Windows。
通过判据(写在工具里)
| 判据 | 阈值 |
|---|---|
| 意外错误率 | 少于请求数的 0.5%。因主动重启而失败的请求(连接被拒、被重启中断的运行)单独计为 restart_window。 |
| 最后一段的 RSS(去掉前 2 分钟) | 至少 20 分钟:斜率 < 1 MB/分钟。更短的(带重启的运行的最后一段):峰值不超过第一段峰值的 1.25 倍,因为 RSS 几分钟内就会上下波动 ±25 MB,在 10 分钟上拟合的斜率主要反映这种波动。取过堆快照的运行不判 RSS:写快照会让进程再分配约一个堆大小的内存,分配器会把其中很大一部分保留几十分钟(实测 +100 到 +150 MB,约 30 分钟后才还回)。 |
| 最后一次重启后堆的增长(去掉前 2 分钟) | 斜率 < 0.5 MB/分钟 |
| 最后一次重启后打开的文件描述符 | 斜率 < 1 个/分钟 |
| 子进程 | 始终不超过并发数 + 4 |
| 开启保留策略时的数据库 + WAL(运行时长 ≥ 保留时长的 3 倍) | 后半段斜率 < 均值的 1%/分钟 |
| 重启与恢复核对 | 全部通过 |
最近一次结果
2026-11-14 在 macOS(Apple Silicon)、Node 24 上测量,并发 8,保留 5 分钟,代码为本版本。
| 32 分钟,带重启(SIGTERM、SIGKILL、SIGTERM) | 62 分钟,单段 | |
|---|---|---|
| 请求 | 34,010 次成功,0 次意外,24 次落在重启窗口内 | 67,799 次成功,0 次意外 |
| 延迟 p50 / p95 / p99(全部操作,含审批等待) | 206 / 784 / 1,709 ms | 204 / 763 / 1,671 ms |
| GC 后的堆(稳定后) | 最后一段 39 → 42.5 MB,斜率 −0.05 MB/分钟 | 38 → 44 MB,斜率 0.008 MB/分钟 |
| RSS(稳定后) | 最后一段 216–271 MB;峰值为第一段的 0.97 倍 | 236–261 MB,斜率 −0.16 MB/分钟 |
| 数据库 + WAL | 64.9 MB,后半段持平 | 从第 15 分钟到结束一直是 69.2 MB |
| 文件描述符 / 句柄 / 子进程 | 平稳 | 平稳(35–49 / 16–39 / ≤ 4) |
| 恢复核对 | 全部通过:0.7–0.9 秒恢复可用;每次停止前一分钟内完成的运行都在;SIGKILL 留下 5 个 in_progress 和 3 个 requires_action 的运行,重启后全部为 interrupted;没有孤儿智能体进程 | — |
负载中执行 oaa prune | 1.2 秒清理 2,604 个运行与 40,924 条事件,期间照常服务 | — |
两轮都通过全部判据。(短段的 RSS 规则是在 32 分钟那轮之后修正的:那轮最后一段只有 10 分钟,拟合斜率为 1.9 MB/分钟,但始终落在 62 分钟那轮一小时里的范围之内;上表的比值是用那轮的报告算出的。)按组成看内存(62 分钟那轮):V8 堆里的存活数据为 38–44 MB,已提交约 185 MB(V8 按分配速率确定各空间大小,负载持续时不会缩回);堆外 external 内存保持在 4–8 MB;SQLite 的页缓存由 cache_size=-16000 限制在 16 MB,内存映射 I/O 关闭(没有设置 mmap_size,即 0)。RSS 的其余部分是代码、Node 运行时与分配器的余量;最后 55 分钟里 RSS 一直在 236 到 261 MB 之间。
压测发现并修掉的问题
- 每次执行一个 30 分钟的计时器。 每次执行都用智能体的
limits.timeoutMs(默认 30 分钟)挂一个AbortSignal.timeout。它无法清除,于是每个已结束运行的信号链要在内存里留 30 分钟:GC 后的堆约以 1.3 MB/分钟增长。已改为可清除的计时器(deadlineTimer);如果再有运行挂上很长且无法清除的超时,test/retention.test.ts会失败。 - Node 的空计时器列表。 Node 为每个不同的计时器时长保留一个内部列表,而清除一个 unref 过的计时器后,它那个空列表要等到原定时长过去才会被回收(实测:清除后立刻有 3,000 个这样的列表,时长过去后全部消失)。所以这是一份随负载和时限长度(默认 30 分钟)增长的积压,而不是无界的泄漏。概览的修订计时器、节点唤醒计时器和事件回调的投递调度,都用精确的
截止时间 - 现在重新挂 unref 计时器,每挂一次就可能留下一个列表(30 分钟后有 18,292 个;约 0.25 MB/分钟)。这些计时器现在改用coarseDelay(向上取整到两位有效数字,最多晚 10%),只会复用几百个列表;有测试在子进程里核对 Node 的这一行为和上限。 - 活动窗口保留着已清理的运行。 控制台的活动缓存为 24 小时或 7 天窗口按视图最多保留 100,000 条运行摘要(这是它的设计上限)。被清理的运行会一直留在里面直到过了窗口,概览缓存也收不到通知。现在清理后会重建这份缓存,并发出与运行变化相同的变更通知。
- 持续失败的事件回调端点会无限排队。 端点在重试一次投递时会占住自己的串行队列(最长约 42 分钟),新事件却继续排在后面:压测中 32 分钟就积压了 32,704 条投递,占 14 MB 且还在增长。现在每个端点最多排队 10,000 条;超出的部分(正在投递的那条之后最早排队的)会被标为
failed(queue_overflow)并清理掉(见 docs/webhooks.md)。 - 较小的几项:迁移前备份每个源版本最多保留 3 份;
server.log超过 10 MB 时轮换(尽力而为,Windows 上文件被占用时不影响启动);被清理的会话工作区会重建,而不是沿用执行节点缓存里已删除的目录。
修复第 2–4 项之前,一轮 65 分钟的运行里 GC 后的堆以 0.29 MB/分钟增长,数据库以 0.8 MB/分钟增长;修复后分别为 0.008 和 0.0 MB/分钟。
2. 崩溃恢复语义
网关停止后,运行呈现的状态取决于停止方式:
| 停止时的运行状态 | 正常停止(SIGTERM、oaa stop) | 崩溃(SIGKILL、断电) |
|---|---|---|
completed / failed / cancelled / incomplete | 不变 | 不变(SQLite WAL,synchronous=FULL) |
queued | 保持 queued;下次启动时执行 | 同左 |
in_progress,内置智能体 | interrupted(gateway_restarted 或 effect_outcome_unknown) | 下次启动时变为 interrupted(store.recover) |
in_progress,外部智能体(ACP、原生、适配器) | interrupted,effect_outcome_unknown:已开始的回合无法排除副作用 | 同左 |
requires_action(审批) | interrupted;待审批项过期 | 同左,在下次启动时 |
requires_action,在等调用方回传工具结果 | 保留;调用方仍可回传 | 同左 |
| 已停车且所需审批决定均已落盘,但还没重新调度 | 重启后消费已有决定;拒绝、过期都不会派发工具 | 同左 |
| 父运行已不活跃的排队子运行 | cancelled,parent_interrupted | 同左 |
排队或停车任务取消时,待办过期和终态事件一起提交。写入失败,任务保留原队列位置或审批等待状态。调用方一次回传多项工具结果时,结果和输出游标也全部提交或全部回滚。
interrupted 在展示与计费上算已结束,但对运维人员不是终点:POST /v1/runs/{id}/resume(或 oaa resume)可以继续它;有未知外部副作用的步骤需要先核对(POST /v1/runs/{id}/reconcile)。默认由人工恢复。对显式启用持久恢复的任务,启动时只按每页 64 条读取候选记录;自动恢复被接受时,尝试次数、恢复标记和重新入队一起提交,未知副作用仍不会自动重放。外部智能体进程是网关的子进程,网关退出它们也退出(压测核对了 SIGTERM 和 SIGKILL 之后都没有残留)。
SQLite 暂时无法写入时: 执行中的任务保留原有槽位,终态提交前不结算用量。写最终检查点时不在事件循环里等待写锁,而是退避重试。
OAA_CHECKPOINT_RETRY 表示正在等待本地写入,不是重跑模型或工具。已经落盘的输出可以正常完成;未能保存的输出不会被报告为成功。外部操作的结果无法确认时,仍需人工核对。关机后从最近一次已提交的状态恢复。/health 能响应不代表可以接受新的写入,重试也不会修复已损坏的数据库。
通过 HTTP 创建运行时(包括媒体任务和工作流草稿),网关异步等写锁,不让整个事件循环停下来。等待时间不超过连接超时和 5 秒中的较短者。等待队列先进先出,每个 owner 最多 8 个请求,全网关最多 64 个;请求体另按每个 owner 32 MiB、全网关 64 MiB 限制。超时或排满返回 503 admission_busy 和 Retry-After: 1,不创建任务或预占用量。已有结果的幂等重放不等写锁。等待期间重新核对授权;提交前断开会放弃等待,不会取消已经提交的任务。这个保证针对运行创建,不涵盖所有数据库写入。文件字节预留和文件发布另行异步等写锁,最长五秒。竞争写锁与等待相同图片的请求分别限流:每个 owner 最多 8 个、32 MiB,全网关最多 64 个、64 MiB。这里限制的是等待中的文件字节,不是整个进程内存或传输耗时。放弃等待的请求不会删除其他请求仍在复用的内联图片。新的临时输入有持久归属记录,重启后仍可回收,无需启用保留策略。先提交删除凭据,再删除磁盘文件,确认文件已不存在才清除凭据。不会扫目录猜测旧文件归属;首次登记之前若仅留下空的文件系统条目,其中没有图片数据,也不占文件配额,仍由普通孤立文件清理处理。
3. 升级、备份与降级
- 存储结构版本是
PRAGMA user_version(目前为 4)。每次启动都会在一个BEGIN IMMEDIATE事务里迁移旧数据库;失败就回滚,数据库保持原版本(测试:streaming.test.ts、node-policy.test.ts)。测试覆盖了从结构版本 1、2、3 以及一份真实 0.0.64 数据库的升级(test/upgrade.test.ts、test/fixtures/upgrade-0.0.64.sqlite)。 - 迁移已有数据库之前,网关会把完整副本写到
<dataDir>/backups/state-v<旧版本>-before-subjects-<时间>.sqlite(权限 0600)。复制失败就中止启动。每个源版本只保留最近 3 份,守护进程反复重启一个迁移失败的网关也写不满磁盘。已经是当前版本的数据库不会被复制。除此之外不会删除备份;确认升级无误后请自行删除。 - 来自更新版本网关的数据库(
user_version高于本程序所知)会被拒绝,报schema_too_new("This data directory requires a newer gateway."),数据库不被改动。 - 0.0.64 已经是结构版本 4,所以在 0.0.64 与本版本之间来回切换都不需要迁移,也不会写备份。
npm run upgrade-check -- --old "<旧版本>/Contents/Resources/oaa"用真实的程序重做整个核对:旧版本运行quickstart,创建一把托管密钥、一个门户账号、一个已完成的运行、一个批准后完成的运行和一个待审批的运行,然后停止;当前版本接管同一个目录(运行都列得出来,已完成的运行完好,待审批的运行为interrupted,quickstart 密钥、托管密钥和门户登录仍然有效,控制台接口正常,没有写备份);之后旧版本再次打开这个目录,拒绝未来结构版本的数据库而不改动它,并拒绝含有它不认识字段的配置。加上--fixture-out FILE时还会写出测试用的、清洗过的夹具。
配置的前后兼容
配置 schema 是严格的。为旧版本写的配置照常可用:每个新字段都是可选的,缺省就是原来的行为(例如没有 retention,就什么都不删)。配置里有本程序不认识的字段(包括拼错的字段名)时,启动直接报校验错误并指出字段名,数据目录不受任何影响。所以退回旧版本之前,请先删掉它不认识的字段(例如 retention)。
4. 数据保留与 oaa prune
哪些数据会随使用增长,各由什么限制:
| 数据 | 位置 | 由什么限制 |
|---|---|---|
| 运行、事件、步骤、审批、输出基线、运行摘要、每运行的密钥用量行、事件回调的审批通告 | state.sqlite | retention.runsDays / oaa prune |
| 产物(运行生成的文件) | files 表 + <dataDir>/files/ | 随运行一起删除 |
| 上传文件,含存下的图片输入 | files 表 + <dataDir>/files/ | 早于截止时间且没有被保留的运行列出时由 oaa prune 删除(图片输入列在所属运行的 fileIds 里);每调用方的存储字节配额按这些行计算,所以清理后会相应下降 |
| 事件回调投递和待恢复的通知 | webhook_deliveries、webhook_outbox | 每个端点最多保留 200 条已结束的投递;两张表合计最多 10,000 条排队 |
| 本机执行节点的会话工作区 | <worker dataDir>/sessions/ | 会话已没有任何运行且目录早于截止时间时由 oaa prune 删除 |
| 审计记录 | audit_events | 按所有者保留固定条数(原有机制) |
| 门户会话 | platform_sessions | 按 platform.sessionTtlHours 过期(原有机制) |
| 密钥用量总计、平台账本、记忆、智能体版本 | 数据库 | 不清理:它们是账户与计费记录,或用户数据。门户的运行详情会把已清理的运行显示为不再可用;账本页与用量页依靠账本照常工作 |
oaa serve --detach / quickstart 的 server.log | <dataDir>/server.log | 启动时超过 10 MB 就轮换为 server.log.1(只保留一代) |
| 迁移前备份 | <dataDir>/backups/ | 每个源版本保留最近 3 份 |
保留策略默认关闭。 没有 retention 配置块时,已接受的运行和普通上传不会自动过期。回滚有凭据、未认领的临时输入不属于按年龄清理。
"retention": { "runsDays": 30, "intervalMinutes": 60, "warnDatabaseMb": 1024 }runsDays(可选,可以是小数):每隔intervalMinutes(默认 60;启动 5 秒后先跑一次)清理最后更新早于这个天数的已结束运行。warnDatabaseMb(默认 1024):oaa doctor报告数据库大小(database.bytes),超过这个大小时给出提示,oaa status也会打印一行提示。它从不删除任何东西。
oaa prune [--older-than 30d] [--dry-run] [--vacuum] [--config FILE]
--older-than接受30d、12h、45m、90s或不带单位的天数(默认30d)。--dry-run报告会删掉什么(运行、事件、文件与字节数),但不删除。- 配置的地址上有网关在运行时,命令用管理员密钥调用
POST /v1/maintenance/prune(只接受覆盖整个所有者的管理员密钥;最短一分钟),清理该所有者的运行。否则它直接打开数据目录;这会占用网关租约,期间网关无法启动,同时清扫工作区和孤儿文件。 --vacuum(只能在网关停止时用)在清理后执行VACUUM,把空间还给文件系统;需要大约与数据库同样大的空闲磁盘,执行期间会阻塞。
永远不会被清理的:queued、in_progress、requires_action 或 interrupted 的运行;晚于截止时间的运行;开发者平台账本行仍是 in_progress 的运行(下次对账时会依据运行结算);父运行仍被保留时它委托出去的子运行;仍被保留运行列出的文件(续接会继承文件)。续接一个已被清理的运行会返回 404,与任何未知的响应编号一样。
执行方式:候选运行按每批 200 个、在短的 BEGIN IMMEDIATE 事务里删除;在线争抢写锁时,在原 SQLite 超时预算内异步重试,只重试获取锁,不重放删除。保留祖先的委托后代也会保留;续接任务引用的产物仍可按原生产者授权下载,不因源运行过期而放宽权限。文件在对应的行提交后才删除;若中途崩溃,孤儿文件由下一次清理回收。在线删除后使用不等待读者退出的被动 WAL 检查点,WAL 可能保留空间供后续复用;离线清理仍使用 wal_checkpoint(TRUNCATE)。不加 --vacuum 不会主动缩小主数据库。
5. 已知限制
- 压测用的是假模型服务和离线示例智能体。真实的提供方和真实的智能体命令行会带来它测不到的延迟、内存与故障模式。
- 远程执行节点上的工作区不会被清理,只清理本机执行节点的
sessions/目录。 - 清理接口一次只清理一个所有者,也不清扫工作区;需要时请用离线的
oaa prune(或retention.runsDays)。网关运行时执行oaa prune --vacuum会被拒绝,报gateway_already_running(数据库由网关占用);请先停止网关。 interrupted的运行会一直保留,直到运维人员恢复或核对它们;它们不会被清理。- 没有自动的
VACUUM;数据库保持它的最高水位大小,直到执行oaa prune --vacuum。 - 实测最长的一轮是 62 分钟不重启。有设计上限的缓存(例如活动窗口,每个视图最多 100,000 条摘要)在保留时间很短时几小时才会填满,而不是几分钟;
runsDays较长的网关会保留更多。 - 压测工具需要 macOS 或 Linux。
- 有一次 32 分钟的尝试中,SIGKILL 之后重启的网关大约过了 110 秒才响应
/health,当时的测试工具在 30 秒后放弃。此后另外三次 SIGKILL 重启(0.7–1.0 秒)以及对同一数据目录手动强杀再打开(1 秒)都没有复现。原因未知;测试工具现在最多等待 3 分钟,把超过 30 秒的启动记为一项失败的核对,并且探针会记录 JavaScript 开始运行的时刻,再次出现时可以区分是进程启动慢还是网关初始化慢。 - 只支持结构版本相同的版本之间降级。