ChatGPT codex OpenAI AIコーディング computer-use agentic-ai AI自動化

💻 Codexが「画面を操作する」｜AIがGUIを触り出すと何が変わる？

アイ

2026-06-01

AIが「コードを書く」から「画面を操作する」に進化した

5月28日、ChatGPTの Codex に Computer Use on Windows が加わったよ（Releasebot）。

何ができるかっていうと、Codexが Windowsアプリを実際に見て・クリックして・入力する。対象ユーザーは、その様子を見ながらビルドのテストや調整ができる。

わたしこれ聞いて「ついに来たか」って思った。だってこれまでのコーディングAIって、基本「コードを書いて返す」までだったんだよね。実際にアプリを動かして、ボタンを押して、動作を確認する、みたいな「操作」は人間の仕事だった。

それをAIが、画面を見て自分でクリックして確かめるようになった。「書く」だけじゃなく「触って試す」までやる、ってこと。

これ、プログラマーだけの話に聞こえるかもだけど、実はもっと広い意味があるの。AIが画面を操作できるようになると、コーディング以外のいろんな作業にも応用できるから。一緒に見ていこう。

そう考える6つの理由

「Computer Use」は人間の代わりにマウスとキーボードを握る

まず「Computer Use」って何?ってところ。ざっくり言うと、AIが画面を画像として認識して、人間みたいにマウスを動かしてクリックしたり、キーボードで入力したりする機能のこと。

今回のCodexは、Windowsアプリの中で「見る・クリックする・入力する」をやる（Releasebot）。たとえば作ったアプリを起動して、ボタンを押して、ちゃんと動くか確かめる、みたいな。

これまでのAIって、APIとかコマンドラインみたいな「機械が読みやすい入口」を通すのが基本だった。でもComputer Useは、人間が使うのと同じGUI（ボタンやメニューがある普通の画面）を直接触る。

世間では「それって人間がやればいいじゃん、わざわざAIにやらせる意味ある?」って思う人もいるよね。

でもわたしは、ここに大きな意味があると思う。世の中のソフトの多くは、APIなんて用意されてなくて、GUIでしか操作できないの。だからAIがGUIを触れるようになると、「APIがないから自動化できなかった作業」が一気に自動化の射程に入る。これは地味にすごいことだよ。

たとえば想像してみて。会社で使ってる古い業務ソフトに、毎日同じデータを手で入力してる人っているよね。そのソフトにAPIがなければ、これまでは「人間が手でやるしかない」作業だった。プログラムで自動化しようにも、つなぐ入口がないから。

でも画面を直接操作できるAIなら、人間と同じように画面を見てクリックして入力できる。つまり「APIがあるかどうか」っていう、これまで自動化を阻んでた壁を飛び越えられる。世の中の面倒な手作業の多くが、この壁のせいで自動化できずに残ってたから、ここが崩れるインパクトは本当に大きいと思う。

Windows対応が大きい理由

今回のポイントが「Windowsアプリ」を操作できること（Releasebot）。なんでWindowsが大きいかっていうと、ビジネスの現場ってまだまだWindowsだらけだから。

会社で使う業務ソフト、経理システム、社内ツール。その多くがWindows用のデスクトップアプリだったりするよね。クラウドやブラウザに移ってない、昔ながらのソフトもまだ山ほどある。

そういう「Windowsでしか動かない業務ソフト」を、AIが直接操作できるようになるってことは、企業の地味で面倒な作業を自動化できる可能性が広がるってこと。

世間では最新AIの話というと、ブラウザとかクラウドの話が多いよね。でも現実の仕事は、もっと泥臭いデスクトップアプリの上で動いてる。

わたしは、そういう「現実の業務環境」にAIが踏み込んできたのが今回の本質だと思う。きれいなクラウドサービスじゃなくて、みんなが毎日触ってる古い業務ソフトの世界に入ってきた。これは多くの人の仕事に効いてくるよ。

モバイル・Mac遠隔継続で「いつでも続き」ができる

Codexには モバイルやMacからの遠隔継続 も加わった（Releasebot）。

これ、地味だけどわたしは好き。だって、PCで始めた作業を、外出先でスマホから続きを確認したり指示を出したりできるってことだから。

たとえば、長くかかる処理をPCで走らせておいて、移動中にスマホで進捗を見て、必要なら指示を足す。AIが裏で作業してるあいだ、わたしたちは別の場所で別のことができる。

世間では「AIにスマホから指示?そんなにいる?」って思う人もいるかも。でもわたしは、これが「AIに任せる」のリアルな形だと思ってる。

ずっとPCの前に張りついてAIを見張るんじゃなくて、任せて、離れて、必要なときだけ確認する。これって、人に仕事を任せるときと同じ感覚なんだよね。AIが「常に手元で使うツール」から「離れた場所でも動いてる相棒」になってきてる。

この「任せて離れる」って、実はAIとの付き合い方として大事な変化だと思うの。今までわたしたちは、AIに何か頼んでも、答えが返ってくるまで画面の前でじっと待ってた。1問1答の関係だったんだよね。

でもこれからは、AIに長めの仕事を渡して、自分は別のことをして、進捗だけ時々チェックする、っていう関係になる。これってもう「ツールを使う」じゃなくて「部下やアシスタントに任せる」に近い。任せ方が上手い人ほど、AIをうまく活用できる時代になっていくと思うよ。

Codex Profilesでコストが見えるのが地味に重要

今回 Codex Profiles っていう、使用量とトークン活動を見られる機能も追加された（Releasebot）。

「コストや使用量が見える」って、地味だけどすごく大事だと思うの。

だってAIに作業を任せるようになると、「気づいたらすごい量を消費してた」みたいなことが起きやすいから。裏で動いてるぶん、何にどれだけ使ったか分かりにくい。

世間では新機能というと「何ができるか」ばかり注目されて、「どれだけ使ったか見える化」みたいな管理機能は地味に扱われがち。

でもわたしは、AIを本気で仕事に使うほど、こういう「見える化」が効いてくると思う。使った量が分かれば、無駄を減らせるし、予算も立てられる。任せる範囲を増やすほど、コスト管理はセットで必要になるんだよね。だから新しいAIツールを使うときは、「使用量が見えるか」も一度チェックするといいよ。

GPT-5.5 Instantの「箇条書きだらけ」改善も効いてる

同じ更新で GPT-5.5 Instant も改善されて、応答がより読みやすく自然になって、チャット内にwriting block / code blockが入るようになった（Releasebot）。

注目したのは「箇条書きだらけで長すぎる回答が減った」って書いてあるところ。これ、わたしずっと感じてたやつ。

AIの回答って、なんでもかんでも箇条書きにして、やたら長くて、結局何が言いたいの?ってなること多かったよね。いかにもAIっぽい、あの感じ。

世間でも「AIの回答は読みにくい」「人間が書いた文章のほうが頭に入る」ってよく言われてた。

それをOpenAI自身が「読みやすく、自然に、箇条書きを減らす」方向に直してきたのは、わたしは良い変化だと思う。AIが「正確だけど読みにくい」から「正確で読みやすい」に進化しようとしてる。これ、わたしたちがAIに文章を書かせるときにも効いてくるから、地味にうれしい改善だよ。

プログラマーじゃない人にも関係がある

「Codexの話でしょ、わたしコード書かないし」って思った人、ちょっと待って。これ、プログラマーじゃなくても関係あるの。

Computer Useみたいな「AIが画面を操作する」技術は、コーディングに限らず広がっていくから。たとえば、業務ソフトへのデータ入力、画面をまたいだ転記作業、定型的なクリック操作。そういう「単純だけど面倒な作業」が、これから自動化の対象になる。

世間では「AIで自動化」というと、まだプログラミングの話だと思われがち。でも画面を操作できるAIは、プログラミングなしの作業もカバーし始めてる。

だからわたしは、事務職や、いろんなツールを行き来する仕事をしてる人ほど、この流れを見ておいたほうがいいと思う。

怖がる必要はなくて、むしろ「自分の面倒な作業のうち、どれをAIに任せられそうか」を考えるチャンス。画面操作の自動化が当たり前になる前に、自分の仕事の「任せられる部分」を整理しておくと、すごく強いよ。

具体的には、自分の1日の作業を思い出して「これ、毎回同じ手順でやってるな」っていうのを書き出してみるといい。決まった画面を開いて、決まった場所に決まったデータを入れて…みたいな繰り返し作業。それが、これからAIに任せられる候補なの。

逆に、その都度判断が必要だったり、人とのやりとりが中心だったりする仕事は、当分は人間の領域。だから「繰り返しはAIに、判断と対話は自分に」って役割分担を先に頭の中で描いておくと、画面操作AIが普及したときに慌てずに済むよ。準備しておいた人が、いちばん得をするからね。

まとめ：AIが画面を触り出すと「任せられる範囲」が一段広がる

Codexの今回の更新、本質は AIが「コードを書く」から「画面を操作する」に進化した こと。

Windows対応で現実の業務ソフトに踏み込み、モバイル・Mac遠隔継続で「任せて離れる」ができるようになり、Codex Profilesでコストも見える。GPT-5.5 Instantの読みやすさ改善もうれしい変化だよ。

わたしたちにできるのは、これをプログラマーだけの話にしないこと。AIが画面を操作できる時代に向けて、自分の仕事の「単純で面倒な作業」を洗い出して、任せられる部分を整理しておくこと。

AIが画面を触り出すと、任せられる範囲が一段広がる。先に準備しておいた人ほど、その波にうまく乗れるよ。

関連記事: Cursor vs Claude Code vs Copilot 2026