背景

この連載では、Claude Codeの公式ドキュメントを1ページずつ読み解いていきます。公式ドキュメントは情報が網羅されている分、「結局どの機能を、どんな場面で使えばいいのか」は自分で考える必要があり、読むのに意外と時間がかかります。そこで、私が実務で使うために読み込んだ内容を「使う場面→実例コード」の順に整理して残していくことにしました。専門家の解説というより、一次情報を読んだ記録です。推測や動作を確認していない部分には、その都度そう書きます。

一言でいうと何か

Claude Code CLI で「コンピュータ使用」を有効にし、Claude がアプリを開き、クリック・入力し、macOS の画面を見て操作できるようにする機能です。CLI からなら、Swift アプリをコンパイル・起動し、ボタンをクリックして結果をスクリーンショットする、といった一連を、コードを書いたのと同じ会話の中で実行できます。ネイティブアプリのテスト、ビジュアルの問題のデバッグ、GUI しか持たないツールの自動化を、ターミナルを離れずに行えます(macOS の研究プレビュー)。Desktop アプリ版のコンピュータ使用は第31回で扱っており、本記事は CLI 版です。

どういう場面で役立つか

ネイティブアプリを作って、その場で動作確認まで済ませたいとき。Claude が Swift を書いてコンパイル・起動し、各コントロールをクリックして、開く前に動くことを確認します。

エンドツーエンドの UI テストを、テストハーネスなしで回したいとき。ローカルの Electron アプリを指して「オンボーディングフローをテストして」と言えば、Claude がアプリを開いてサインアップをクリックし、各ステップをスクリーンショットします(Playwright 設定不要)。

ビジュアル/レイアウトのバグを再現・修正したいとき。「モーダルが狭いウィンドウで切れる」と伝えれば、ウィンドウをリサイズしてバグを再現し、スクショを撮り、CSS を直して検証まで行います。デザインツール・ハードウェア制御盤・iOS Simulator・API のない独自アプリの操作にも使えます。

不要・向かないケース：コンピュータ使用は最も広く最も遅い手段なので、Claude はまず正確なツール(サービスの MCP サーバー→シェルなら Bash→ブラウザ作業で Chrome 連携があれば Chrome)を試し、他に届かないものにだけ画面制御を使います。つまり MCP・Bash・Chrome で足りるタスクには不要です。macOS の研究プレビューで Pro/Max プランが必要、Team/Enterprise では使えず、-p の非インタラクティブモードやサードパーティプロバイダー経由でも使えません(Windows は Desktop 版を使います)。

有効化・承認・安全性の実例

コンピュータ使用を有効にする

コンピュータ使用は computer-use という組み込み MCP サーバーとして提供され、既定はオフです。インタラクティブセッションで MCP メニューを開きます。

/mcp

サーバー一覧で computer-use(無効表示)を選び Enable します(設定はプロジェクトごとに保持されるので、必要なプロジェクトで一度だけ)。最初に Claude がコンピュータを使おうとしたとき、2つの macOS 権限——クリック・入力・スクロールのための Accessibility と、画面を見るための Screen Recording——の付与を求められます。プロンプトのリンクから該当のシステム設定を開いて両方を付与し、Try again を選びます(Screen Recording 付与後は Claude Code の再起動が必要な場合があります)。設定後は GUI が要ることを頼めます。

Build the app target, launch it, and click through each tab to make
sure nothing crashes. Screenshot any error states you find.

セッションごとのアプリ承認

サーバーを有効にしても全アプリへのアクセスが許可されるわけではなく、Claude がセッション内で特定アプリを初めて使うときに、制御したいアプリ・追加で要求する権限(クリップボードなど)・作業中に非表示になる他アプリ数を示すプロンプトが出ます。Allow for this session か Deny を選び、承認は現在のセッションに有効です(まとめて要求されれば複数同時承認も可)。広い権限を持つアプリには警告が付き、Terminal・iTerm・VS Code など IDE/ターミナルは「シェルアクセスと同等」、Finder は「任意のファイルを読み書きできる」、System Settings は「システム設定を変更できる」と表示されます(これらはブロックされているわけではなく、そのアクセスが本当に必要かを判断するための注意喚起です)。制御レベルもアプリカテゴリで異なり、ブラウザや取引プラットフォームはビューのみ、ターミナルと IDE はクリックのみ、その他はフルコントロールです(層の全分類は Desktop 版参照)。

Claude が画面でどう動くか

コンピュータ使用は、最初のアクションを取ったセッションが終了するまでマシン全体のロックを保持します(v2.1.195 以降、タスク完了ではロックは解放されず、セッション終了で解放。別セッションが使用中なら新しい試みは失敗し、そのセッションを先に終了します)。Claude が制御を始めると他の表示アプリは非表示になり、承認したアプリのみと対話します。ターミナルウィンドウは表示されたままかつスクリーンショットから除外されるので、監視はできて Claude は自分の出力を見ません(ターン終了で非表示アプリは自動復元)。スクリーンショットはモデル送信前に自動ダウンスケールされるため、解像度を下げたりウィンドウを縮めたりする必要はありません(読みづらい場合は解像度でなくアプリ側で文字やコントロールを大きくします)。ロック取得時は「Claude is using your computer · press Esc to stop」の通知が出て、どこからでも Esc(またはターミナルで Ctrl+C)で即中止でき、制御が戻ります。

安全性と信頼の境界

サンドボックス化された Bash と違い、コンピュータ使用は実際のデスクトップで動き、承認したアプリにアクセスします。Claude は各アクションをチェックし、画面上のコンテンツからのプロンプトインジェクションの可能性にフラグを立てますが、信頼の境界は異なるため、安全ガイドの確認が推奨されます。設定不要の組み込みガードレールとして、アプリごとの承認、シェル/ファイル/システム設定アクセスを許すアプリへのセンチネル警告、ターミナルをスクリーンショットから除外(画面上のプロンプトがモデルに戻らない)、どこからでも効きキー入力が消費される(インジェクションがダイアログを閉じられない)グローバルエスケープ、一度に1セッションのみのロックファイル、があります。

ワークフロー例

コンピュータ使用とコーディングを組み合わせる典型例です。ネイティブビルドの検証は、コンパイルから UI 操作・スクショまで1パスで頼めます。

Build the MenuBarStats target, launch it, open the preferences window,
and verify the interval slider updates the label. Screenshot the
preferences window when you're done.

Claude は xcodebuild を実行してアプリを起動し、UI を操作して報告します。特定のウィンドウサイズでだけ出るレイアウトバグの再現も任せられます。

The settings modal clips its footer on narrow windows. Resize the app
window down until you can reproduce it, screenshot the clipped state,
then check the CSS for the modal container.

このほか、iOS Simulator を開いてオンボーディング画面をタップしていき、読み込みが1秒を超える画面がないか報告させる、といったシミュレータフローのテストも、XCTest を書かずに行えます。

Desktop 版との違い

CLI と Desktop は同じエンジンを共有しますが、CLI は macOS のみ(Desktop は macOS/Windows)、有効化は /mcp での computer-use 有効化(Desktop は Settings のトグル)、拒否アプリリストは CLI では未対応、自動非表示は CLI では常時オン(Desktop はオプション)、Dispatch 統合は CLI には適用されない、という違いがあります。

トラブルシューティングの要点

「別の Claude セッションが使用中」はそのセッションを終了します(クラッシュ時はプロセス消滅を検出してロックが自動解放)。macOS の権限プロンプトが繰り返し出るときは、Screen Recording 付与後に Claude Code を完全終了して新セッションを開始し、なお続くなら System Settings > Privacy & Security > Screen Recording にターミナルアプリが有効で載っているか確認します。computer-use が /mcp に出ない場合は、macOS か(Windows は Desktop 版)、Pro/Max か(/status で確認)、claude.ai 認証か(サードパーティプロバイダーでは不可)、インタラクティブセッションか(-p では不可)を確認します。

まとめ

CLI からのコンピュータ使用は、computer-use 組み込み MCP サーバーを /mcp で有効化し、Accessibility と Screen Recording を付与することで、Claude が macOS の画面を操作してネイティブアプリのテスト・ビジュアルバグのデバッグ・GUI ツールの自動化を行える機能です(研究プレビュー、Pro/Max、macOS、インタラクティブのみ)。アプリはセッションごとに承認し、一度に1セッションがロックを保持し、Esc でいつでも中止でき、ターミナルは画面キャプチャから除外されるなどのガードレールがあります。MCP・Bash・Chrome で届かないものにだけ使う、という位置づけと、Windows は Desktop 版という差分を押さえておくとよいでしょう。

次回は、残る連携・自動化系の未執筆ページ(Channels、/goal、Agent SDK など)、あるいは長く保留している引き継ぎ課題(第5回欠番の補完・第1/2回の照合)に着手する予定です。

---

この記事は執筆時点の公式ドキュメントに基づいています。最新の情報は必ず公式ドキュメントをご確認ください。