Cua Driver 0.26.1 の Computer Use 内部実装を読む — ウィンドウへの宛先固定と、操作結果・事後条件検証の分離

先日、Hermes Agent と Open Interpreter の Computer Use 内部実装を続けて読みました。どちらも操作そのものは外部の cua-driver に委譲していたので、次の関心は「その委譲先で何が起きているのか」でした。この記事は trycua/cua モノレポの commit b4e3caec に固定して、Cua Driver 0.26.1 の内部実装をコードリーディングしたノートです。MCP・CLI・SDK からの 1 回の要求が、対象ウィンドウと要素を確定し、OS の入力 API へ届き、公開 ActionResult と verify_state に射影されるまでを、native dispatch・WindowTargetGuard・element_token・macOS の ScreenCaptureKit・Windows の WGC / PrintWindow・Linux の X11 / Wayland・contract projection・permission mode の 3 層、という 8 つの分かれ道に沿って追いました。

Hermes Agent v2026.9.7 の Computer Use 内部実装を読む — capture の宛先固定と background-first の verify → escalate

先日 macOS で有効化した Hermes Agent の computer_use ツールセットについて、コードを読むほど「単純な VLM の座標クリック」ではないことが見えてきました。この記事は Git tag v2026.9.7 に固定して、モデルの 1 つの tool 呼び出しが cua-driver の MCP サーバーへ届いて OS 操作になり、結果が verdict と再 capture として戻ってくるまでを追ったコードリーディングノートです。capture の宛先固定、background-first の verify → escalate、MCP timeout での書き込み系不再送、画像を返す 3 経路、そして Hermes 側と cua-driver 側の別レイヤーの承認、という 5 つの設計上の分かれ道を、該当ソースにリンクしながら書き残しています。

Open Interpreter rust-v0.0.42 の Computer Use 内部実装を読む — QA スキルから cua-driver CLI へ至る経路

先日 Hermes Agent v2026.9.7 の Computer Use 内部実装を読みました。同じ cua-driver を使うと明記されている Open Interpreter は、エージェント側の実装がどこまで似ていて、どこが違うのか。この記事は Git tag rust-v0.0.42 に固定して、モデルの 1 回の QA 依頼が qa-testing スキルの読み込みを経由して cua-driver CLI と Cua daemon に届き、結果と画像がモデルへ戻るまでを追ったコードリーディングノートです。バイナリ埋め込み QA スキルの配布、外部 CLI への責務委譲、汎用コマンド実行と承認、view_image による画像経路、Cua permission mode と OS 権限の 3 層、OI の tag だけでは Cua 版が固定されない再現性の問題、という 6 つの分かれ道を、該当ソースにリンクしながら書き残しました。