32 lines
4.4 KiB
JSON
32 lines
4.4 KiB
JSON
{
|
|
"task_id": "RP24-02",
|
|
"commit": "09262f37c14397118d51b6b43c35ddbee14fcfa2",
|
|
"status": "changes_requested",
|
|
"summary": "受入項目RP24-02を、仕様・差分・ソース・Runner試験結果と照合しました。結論は差し戻しです。\n二重sandboxの除去は満たしています。外側Seatbeltは維持されており、`--sandbox`だけを外し、`--dangerously-skip-permissions`も追加していません。self-test pinの拡張も満たしています。対象はproject/task/base/spec SHAの完全一致に限られ、RP24-01の互換性と既存の拒否経路も残っています。Runner試験runner-unitは成功(57件)しています。\n一方、中核要件である「実際に観測された回復済みview_file ENOENTを、正当な結果として分類する」が実データで成立していません。coordinatorが実際のstdout(2be30fb9…, sha256 f7e5ad9f…)を再生したところ、提出コードは step_index 0 の `user_input`/DONE を `Antigravity unknown step` として拒否しました。このstdoutは、本タスクの起点になった実際の失敗ログです。\n新規試験は、この`user_input`ステップを含まない合成fixtureで書かれていたため、この欠陥を検出できませんでした。読み取り専用の修正案(許可するstep_typeに`user_input`を追加し、正例と負例の試験を追加)は再生に成功しています。ただし採用も正式検証もされていません。\nこのため、現在の提出コミットでは受入を満たしたと判断できません。",
|
|
"acceptance_ids": [
|
|
"RP24-02"
|
|
],
|
|
"findings": [
|
|
{
|
|
"severity": "high",
|
|
"message": "中核要件が実データで未達です。agy_result(runner/core.py)が許可するstep_typeは (tool, agent_response, checkpoint, finish) だけです。実際のAntigravity出力の先頭 step_index 0 `user_input` DONE が拒否され、観測された5件のview_file ENOENTを含む元ログ(2be30fb9…)の再生が `Antigravity unknown step` で失敗します。次の2点を対応してください: (1) 通常の`user_input`(stateはDONEのみ、error・tool_infoなし)を許可する。(2) 実ログと同じ構造(各stepのconversation_id、step0のuser_input、ACTIVE→ERRORの対、結果レコードのresponse/structured_output)の正例fixtureをtests/test_runner.pyに追加する。"
|
|
},
|
|
{
|
|
"severity": "medium",
|
|
"message": "検証が不足しています。新規の正例fixture(test_agy_observed_recovered_read_and_rejects)は、実ログの構造を再現しない合成データでした。そのため、提出時点の57件成功は実際の転送形式で受入できることを示しません。observedの実ストリームと同じ形の正例と、user_inputがERRORの場合・tool_infoやerrorを持つ場合などの負例を追加してください。"
|
|
},
|
|
{
|
|
"severity": "medium",
|
|
"message": "権限拒否の検出がstderrに限られています。実ログでは、`run_command` が state=DONE のまま tool_info.output に `sandbox-exec: sandbox_apply: Operation not permitted` を返していました。現在のagy_resultは、DONEのtool出力に含まれる拒否文言を検査しません。sandbox除去後は再発しにくいものの、仕様の「permission/authorization系エラーは拒否を維持し、曖昧な結果を隠さない」に照らすと抜けがあります。tool出力中のsandbox_apply/Operation not permitted を拒否するか監査に記録し、その試験を追加することを推奨します。"
|
|
},
|
|
{
|
|
"severity": "low",
|
|
"message": "trusted_self_test では、SELF_TEST_PINS を参照した直後に RP24-01 の pin を再代入する分岐が重複しています。既存試験が SELF_TEST_BASE / SELF_TEST_SPEC_SHA を patch するための措置と読めますが、意図をコメントで明記するか、pinを毎回動的に組み立てる形に統一してください。"
|
|
},
|
|
{
|
|
"severity": "low",
|
|
"message": "実シェルの試験(test_agy_actual_outer_shell_and_boundaries)は、service=agy の外側profileで git status の成功、許可範囲への書き込み、範囲外の拒否を確認しており妥当です。ただし、実際のagy CLIからrun_commandを経由したシェル実行は含まれません。正式採用前に、root trusted host での実運用確認の結果を証跡として残してください。"
|
|
}
|
|
]
|
|
}
|