クロード 3.5 ソネット、あなたの PC を制御する AI がここにあります

人工知能は、私たちがコンピューターと対話する方法を変えています。の更新バージョン クロード 3.5 ソネットのフラッグシップAIモデル 人間原理は、この進化の明らかな例です。以前のバージョンがテキスト ダイアログに限定されていた場合、この新しいアップデートでは、 発表されたばかり グラフィカル インターフェイスを解釈し、アプリケーションと自律的に対話することができます。

人間がPC上で行うのと同じように「動く」、デジタルアクティビティの自動化の新たな可能性を開くアプローチ。このテクノロジーがどのように機能するのか、そしてその実際の用途が何であるのかを一緒に見てみましょう。

PC との対話の仕組み

Claude 3.5 Sonnet は、「Computer Use API」と呼ばれるシステムを使用してデスクトップと対話します。実際には、人間のユーザーが行うのと同じように、AI はスクリーンショットを通じて画面を観察し、何が表示されているかを分析します。アプリケーションと対話する必要がある場合、目的のポイントに到達するまでの距離をピクセル単位で計算し、マウスのクリック、キーボードの入力、カーソルの動きなどの必要なアクションをシミュレートします。

私たちは、画面上で何が起こっているかを確認し、利用可能なソフトウェア ツールを使用してタスクを実行できるようにクロードを訓練しました。

人間原理

このバージョンの主な革新は何ですか?待望の機能: あらゆるデスクトップ アプリケーションを使用できる機能。もはや質問に答えたりテキストを生成したりするだけではありません。 ただし、ソフトウェアと積極的に対話する必要があります。

新しい Sonnet 3.5、実用的なアプリケーション

使用の可能性は数多くあります。例えば、 返信ソフトウェア開発プラットフォームである は、すでに Claude 3.5 Sonnet を使用して、開発中にアプリケーションを評価する「自律検証器」を作成しています。 Canvaオンライン グラフィック編集プラットフォームである は、デザインと編集プロセスに AI を統合する方法を模索しています。

すべてが見た目どおり「すごい」ですか？いいえ。 彼は私たちの仕事を盗むのでしょうか？ どちらでもない。システムの現在の機能について現実的になることが重要です。フライト予約テストで、クロード 3.5 ソネットは割り当てられたタスクの半分未満を正常に完了することができました。スクロールやズームなどの一見単純なタスクでも問題が発生する可能性があります。

一方で彼女自身もそれを認めている 人間原理:

クロードのコンピュータの使用は依然として遅く、エラーが発生しやすくなっています。開発者には、リスクの低いタスクから始めることをお勧めします。

Sonnet 3.5 が完璧になるまでどれくらいかかりますか?数年、数か月、あるいは数週間かかるでしょうか?考えてみれば、すでに答え、あるいはそれに近いことがわかっています。

今後の展望

新しいバージョンの Claude 3.5 Sonnet の開発と並行して、 人間原理 また、Claude シリーズの中で最も経済的で効率的なモデルである Haiku の更新バージョンの登場も発表しました。さまざまな使用レベルでアクセスできる AI 分野の小さな一歩。もちろん、このようなものは依然としてエネルギーと資源を大量に消費します。

とにかく、このテクノロジーが私たちとコンピューターの関係をどのように変えているかは、私にとって特に興味深いように思えます。私たちはもはや単純な自動化スクリプトについて話しているのではなく、ほぼ人間的な方法でグラフィカル インターフェイスを理解し対話するシステムについて話しています。

クロード・ソネット 3.5: バランスの取れた前進、しかし驚くべき方向へ

AI の分野ではよくあることですが、このイノベーションの真の価値は、その技術的能力ではなく、それを日常のワークフローにどのように有効に統合できるかによって測られることになります。将来の課題は、自動化と人間による制御の間の適切なバランスを見つけ、その限界と倫理的責任を見失わずにこのテクノロジーの可能性を最大限に活用することです。

Claude 3.5 Sonnet の機能自体はそれほど印象的ではありませんが、それが示す方向性としては印象的です。私たちはまだこのテクノロジーの旅の始まりにいます。すぐに何が起こるでしょうか?