AI エージェントに QA テスターを任せて開発サイクルを短縮する — OpenAI GPT-6 Astra と Computer Use を軸にした設計メモ

OpenAI の GPT-6 Astra と Computer Use を組み合わせて AI エージェントに QA テスターを任せる設計を 2026 年 9 月時点で整理したメモです。決定的な E2E スイートと探索的な AI テスターは目的も回すタイミングも異なり、開発者のローカル環境（Codex と ChatGPT デスクトップアプリの Computer Use を併用）・PR ごとの探索テスト・夜間の広域スイート・手動 QA の一次巡回の差し替えという 4 つの配置に切り分けると開発サイクルが素直に短縮できます。任せる範囲・任せない範囲、記録と再現性、非決定性への対処、機密データとコストの見立てまで、公式ドキュメントと OSS 実装から読み取れる設計方針を中心に整理しました。

macOS と Windows 両対応の Computer Use エージェントを比較検討したメモ — Hermes Agent・cua-driver を軸にした 2026 年 9 月時点の選定

macOS と Windows の両方でネイティブアプリまで操作できる Computer Use エージェントを 2026 年 9 月時点で比較検討したメモです。両 OS で OS 全体を操作できる公式アプリは ChatGPT デスクトップアプリと Claude デスクトップアプリの 2 択で、OSS では Nous Research の Hermes Agent と trycua の cua-driver を核に、UI-TARS・Agent S・Open Interpreter が有力候補になります。背景操作の「no-foreground contract」の実際の運用範囲、macOS の TCC 権限と AX API、Windows の UIPI・Session 0 制約、マルチモニター・日本語 IME の制約まで、機能表に載らない選定ポイントを中心に整理しました。

Cua Driver 0.26.1 の Computer Use 内部実装を読む — ウィンドウへの宛先固定と、操作結果・事後条件検証の分離

先日、Hermes Agent と Open Interpreter の Computer Use 内部実装を続けて読みました。どちらも操作そのものは外部の cua-driver に委譲していたので、次の関心は「その委譲先で何が起きているのか」でした。この記事は trycua/cua モノレポの commit b4e3caec に固定して、Cua Driver 0.26.1 の内部実装をコードリーディングしたノートです。MCP・CLI・SDK からの 1 回の要求が、対象ウィンドウと要素を確定し、OS の入力 API へ届き、公開 ActionResult と verify_state に射影されるまでを、native dispatch・WindowTargetGuard・element_token・macOS の ScreenCaptureKit・Windows の WGC / PrintWindow・Linux の X11 / Wayland・contract projection・permission mode の 3 層、という 8 つの分かれ道に沿って追いました。

Hermes Agent で Claude に切り替えたら HTTP 400 が出た — サードパーティアプリと extra usage の課金枠

Hermes Agent のモデルを OpenAI から Claude に切り替えたところ、`HTTP 400: Third-party apps now draw from your extra usage, not your plan limits.` が返ってきました。エラー文言はサードパーティアプリが別枠の extra usage クレジットを消費すると案内しますが、Anthropic 公式ヘルプは同じ切り替えを「一時停止」中と明記しており、案内と実挙動がずれています。エラーの読み方と、実際にどう回避したかをまとめます。

Hermes Agent v2026.9.7 の Computer Use 内部実装を読む — capture の宛先固定と background-first の verify → escalate

先日 macOS で有効化した Hermes Agent の computer_use ツールセットについて、コードを読むほど「単純な VLM の座標クリック」ではないことが見えてきました。この記事は Git tag v2026.9.7 に固定して、モデルの 1 つの tool 呼び出しが cua-driver の MCP サーバーへ届いて OS 操作になり、結果が verdict と再 capture として戻ってくるまでを追ったコードリーディングノートです。capture の宛先固定、background-first の verify → escalate、MCP timeout での書き込み系不再送、画像を返す 3 経路、そして Hermes 側と cua-driver 側の別レイヤーの承認、という 5 つの設計上の分かれ道を、該当ソースにリンクしながら書き残しています。

Hermes Agent の Computer Use を macOS で有効化した記録 — /Applications 書き込みと TCC 権限で詰まった 7 つのポイント

先日書いた選定メモの続きで、Hermes Agent v0.21.1 の computer_use ツールセットを macOS Tahoe (26.6) の実機で有効化しました。インストール自体は hermes computer-use install の 1 コマンドなのですが、cua-driver が /Applications への .app 配置を必須にしていること、Jamf 管理端末で非 admin だったこと、TCC 権限がプロセスの bundle identity に紐づくことなどが重なり、途中で 7 回詰まりました。この記事は各つまずきの症状と原因、そして次に同じ環境を組む人のために残しておくべき手順を、実際に出たログ付きでまとめたものです。

Open Interpreter rust-v0.0.42 の Computer Use 内部実装を読む — QA スキルから cua-driver CLI へ至る経路

先日 Hermes Agent v2026.9.7 の Computer Use 内部実装を読みました。同じ cua-driver を使うと明記されている Open Interpreter は、エージェント側の実装がどこまで似ていて、どこが違うのか。この記事は Git tag rust-v0.0.42 に固定して、モデルの 1 回の QA 依頼が qa-testing スキルの読み込みを経由して cua-driver CLI と Cua daemon に届き、結果と画像がモデルへ戻るまでを追ったコードリーディングノートです。バイナリ埋め込み QA スキルの配布、外部 CLI への責務委譲、汎用コマンド実行と承認、view_image による画像経路、Cua permission mode と OS 権限の 3 層、OI の tag だけでは Cua 版が固定されない再現性の問題、という 6 つの分かれ道を、該当ソースにリンクしながら書き残しました。

Windows の管理者権限プロセスは ChatGPT / Codex の Computer Use から操作できない — UIPI が引く壁の位置

Windows で [ChatGPT デスクトップアプリ](https://chatgpt.com/download/) の Computer Use を AI テスターとして使い始めると、管理者権限で起動したプロセスのウィンドウに対しては、クリックもキー入力も何ひとつ届かないという壁にぶつかります。原因は Windows の Mandatory Integrity Control（MIC）と UIPI（User Interface Privilege Isolation）で、標準ユーザー整合レベルのプロセスから高整合レベルのウィンドウへ入力を送ることが OS 側で禁止されているためです。この記事では、境界の位置、影響を受けるツールの範囲、実務で取り得る回避策と、そこから見えてくる AI テスターの配置制約を、公式ドキュメントで確認できる範囲で整理します。