任务结果

每个任务拥有 details/<state>/<readable-task-id>--<sha256>/ 目录。<state> 按所有 attempt 最终问题的最高等级取 normal、error 或 fatal，仅含 warning 的结果属于 normal，尚未完成的任务位于 running。哈希根据原始 task ID 计算，字符替换和截断只影响可读前缀。

​

文件

相对于任务目录的路径	用途
task.json	保存任务标识、类别、ground truth、尝试计划，以及逻辑 attempt 序号到目录名的映射，例如 "1": "attempt-1"。
attempt-<n>/result.json	单次 attempt 的完整结果，包括轨迹、产物引用和该次 retry_count。
attempt-<n>/checkpoint.json	评测上下文，以及临时调度和下载状态。
attempt-<n>/artifacts/	实际采集文件，destination 相对于这个目录。
attempt-<n>/retries/	被丢弃的 retry 诊断及旧执行产物，不作为独立观测计数。

问题保存在结果内部，不再通过 _error_ 文件名前缀区分；状态目录只用于分组。报告、复用、结果浏览器和离线分析通过索引重建逻辑任务记录。下面展示的是重建后的记录；磁盘上的完整 attempts 内容分别保存在各自文件中。

​

task.json 落盘示例

下面是已分配三次 attempt 后的 task 层 task.json。新建目录使用 attempt-<n>，其中 n 为从 1 开始的逻辑 attempt 序号。执行期间先写入身份映射，attempt 内容落盘后再发布共享结果信息。

{
  "schema_version": "agentcompass.task.v3",
  "task_id": "example-task",
  "category": "coding",
  "ground_truth": null,
  "attempt_plan": {
    "k": 3,
    "strategy": "avg"
  },
  "attempts": {
    "1": "attempt-1",
    "2": "attempt-2",
    "3": "attempt-3"
  }
}

不再生成 task 层 result.json。任务 retry 总数及稀疏 retry_counts 映射由各 attempt 保存的 retry_count 计算。仅分配身份而没有结果的 attempt 不算已完成观测；没有结果内容的终态失败可以保留只含 retry 次数的记录。

attempt 目录名必须与逻辑序号一致，例如 "1": "attempt-1"。跨 run 复用时，新 run 使用 attempt-<n> 并同步更新产物引用，不修改来源结果。失败重试仍属于同一个逻辑 attempt，旧执行产物归档到该目录的 retries/ 下。旧目录结构和复用支持情况见 Legacy。

​

任务详情示例

{
  "task_id": "<task-id>",
  "category": "<category>",
  "ground_truth": "<reference-answer>",
  "attempt_plan": {
    "k": 3,
    "strategy": "avg"
  },
  "retry_count": 2,
  "retry_counts": {
    "1": 2
  },
  "attempts": {
    "1": {
      "status": "completed",
      "metrics": {
        "correct": true,
        "reward": 0.82
      },
      "final_answer": "<answer>",
      "trajectory": {},
      "issues": [],
      "artifacts": {},
      "analysis_result": {},
      "meta": {
        "benchmark": {
          "...": "..."
        },
        "harness": {
          "...": "..."
        }
      }
    }
  }
}

每份任务详情都使用这套固定标准外壳。空值会明确保留为 null、"" 或 {}。示例中的 ... 仅表示组件专属内容；命名空间没有内容时写为 {}。

​

任务级字段

字段	必需？	含义
task_id	是	Benchmark 提供的稳定非空任务 ID；首尾空白非法。
category	是	用于分组聚合的 Benchmark 类别；未分配时为 null。
ground_truth	是	任务级参考数据；隐藏验证器可以使用 null，不会在每次 attempt 中重复。
attempt_plan	是	生成该记录时实际使用的 k 与 strategy。
retry_count	是	全部逻辑 attempt 消耗的 retry 总数。
retry_counts	是	从字符串 attempt 编号到该 attempt retry 次数的稀疏映射，其值之和等于 retry_count。
attempts	是	非空映射，键是 "1" 这类规范的正整数字符串。

​

attempt 级字段

每次 attempt 都会写入全部标准字段。空值也会保留，确保所有任务详情具有相同字段集合。

字段	必需？	含义
status	是	可取 completed、skipped、run_error、eval_error、run_error_or_eval_error、cancelled 或 interrupted；完成不等于成功。
metrics	是	以 Benchmark Metric Contract 声明的 ID 为键的观测，值只能是 JSON 布尔值或有限数字。
final_answer	是	Model 或 agent 产生的文本、补丁或结构化答案；没有时为 null。
trajectory	是	Harness 归一化后的交互轨迹；没有时为 {}。
issues	是	未解决的结构化问题，无问题时显式写入 []。
artifacts	是	集成专属产物或索引；为空时为 {}。
analysis_result	是	以分析器系列为键的分析输出；为空时为 {}。
meta	是	有价值但不属于通用 Benchmark 指标的命名空间扩展数据。

​

meta 命名空间

命名空间	所属组件与示例
meta.benchmark	Benchmark 专属的 grader 诊断、组成分数或不属于通用观测的特殊字段。
meta.harness	Harness 诊断和 telemetry，例如 token 或延迟计数。

两个命名空间始终存在，为空时使用 {}。它们内部由组件定义的特殊字段不属于公共任务详情结构。

解析后的 Environment、Recipe 和网络计划统一存放在 run_info.json.resolved_execution_plans，详见运行记录与诊断。

​

trajectory 结构

存在 trajectory 时，它采用 AgentCompass 的 ACTF_v1.0 结构：

字段	含义
schema_version	trajectory 结构版本。
steps	按顺序保存的 model、工具、Environment 观测和计时步骤。
started_at、finished_at	完整 trajectory 的时间戳。

常见步骤字段包括 step_id、prompt、assistant 内容、工具调用、观测、时间戳，以及 metric 中的 token 与耗时数据。Harness 可以省略自身不产生的数据。

​

分析结果

analysis_result.<analyzer-family> 可以包含 is_badcase、score、details、error 和 extra。这些是分析器诊断，不会改变 attempt.metrics 或状态。运行级分析文件会在 Benchmark 指标聚合之外单独合并各次 attempt 的分析输出，详见汇总与分析。

​

retry 详情

失败命中 retry 规则且仍有预算时，AgentCompass 会先写入 agentcompass.retry.v1 诊断，再重做当前逻辑 attempt：

{
  "schema_version": "agentcompass.retry.v1",
  "task_id": "<task-id>",
  "attempt": 3,
  "retry": 1,
  "max_retries": 2,
  "stage": "evaluate",
  "scope": "evaluate",
  "matched_pattern": "fatal",
  "issues": [{"severity": "fatal", "phase": "evaluate", "code": "judge_failed", "message": "HTTP 503"}],
  "discarded_result": {}
}

attempt 标识不变的逻辑尝试，retry 是该 attempt 内从 1 开始的重试编号。stage 定位失败阶段，scope 说明 runtime 会重做完整 attempt 还是只重做评测。discarded_result 仅用于诊断，无需符合严格的任务详情结构。

已经完成的同任务 attempt 会继续保留 checkpoint。例如，第 3 次尝试发生 retry 时不会重做第 1、2 次。最终任务详情记录已消耗的 retry 次数，只有终态 attempt payload 才提供指标观测。

​

敏感内容

AgentCompass 会在持久化前脱敏已识别的凭据字段，但答案、trajectory、错误、产物和集成专属元数据仍可能包含敏感任务内容。共享运行目录前请先检查。

​

相关页面

• 指标与聚合
• 汇总与分析
• 运行记录与诊断
• 运行控制