ネイティブWindowsデスクトップで動作するLLMエージェント用のハーネス
デスクトップセンシングとアクションプリミティブのブレンドを体験し、LLMが標準のWindowsアプリケーションを認識し制御できるようにします。ADHプロジェクトのエージェントデスクトップハーネスは、AIエージェント作業における研究者、LLM開発者、QAエンジニアを対象としています。クリック、タイプ、キー、視覚のためのプリミティブを公開し、モデルコンテキストプロトコルをサポートし、ミッドタスクロジックのためのサンドボックス化とPython実行パスを埋め込むことで、実際のGUI上での自律エージェントの動作をベンチマークするのに適しています。
エージェントデスクトップハーネスはエージェントに何を可能にしますか？
ハーネスは生のプリミティブを使用してネイティブWindowsインタラクションを提供します：クリック、タイプ、キー、および見る、したがってエージェントは実際のデスクトッププログラムを操作し、ファイルを管理できます。さらに、モデルコンテキストプロトコルの統合をサポートし、エージェントがタスクの途中で欠けているロジックを書いて実行できるPython実行フックを公開します。これらの機能は、シミュレーションされた環境やヘッドレス環境ではなく、実際のグラフィカルインターフェースでエージェントの能力を評価することを目的としています。
実行中にシステムの安全性と隔離を維持しますか？
このツールには、ホストシステムへのリスクを減らしてエージェントを実行するための環境隔離とサンドボックス化が含まれています。さらに、Robot Frameworkなどの自動化フレームワークと統合されているため、実験は制御されたシーケンスで実行できます。サンドボックス化と標準化された評価指標の存在は、研究者がテスト中にデスクトップ状態への制御されていない変更を制限しながらパフォーマンスを測定するのに役立ちます。
ハーネスは開発マシンにインストールして操作するのに実用的ですか？
ハーネスはPythonベースであり、通常はPython 3.12以降が必要ですので、セットアップは標準のPython開発ワークフローに従います。さらに、インターフェースにはコマンドライン、MCPバインディング、Pythonスクリプト、およびRobot Frameworkフックが含まれているため、このツールは既存の開発者パイプラインに適合します。それにもかかわらず、最新のPythonランタイムとスクリプティングに対する親しみが必要なため、技術的に熟練したユーザーを対象としており、カジュアルな実験者には向いていません。
技術的なチームのための明確な研究ツール、単一のトレードオフ
エージェントデスクトップハーネスは、ネイティブデスクトップエージェンシーと測定可能なベンチマークを必要とする研究者やエンジニアに適しています。これは、実際のGUIへのプログラム的アクセスを提供し、MCPおよび自動化フレームワークと統合します。主なトレードオフは、Pythonに精通したワークフローとWindowsテスト環境を前提としているため、スクリプト経験のないチームは、ハーネスの研究に特化した設計にもかかわらず、設定の難易度が高くなることです。
