はじめに

AI Computer Vision パックには、Click、Type Into、Get Text などのリファクタリングされた基本的な共通要素アクティビティが含まれています。 CV アクティビティと従来のアクティビティの主な違いは、機械学習 部門が社内で開発した コンピューター ビジョン ニューラル ネットワークを使用していることです。ニューラル ネットワークは、セレクターを使用せずに、ボタン、テキスト入力フィールド、チェック ボックスなどの UI 要素を識別できます。

主に仮想デスクトップ環境での自動化を目的として作成されたこれらのアクティビティは、自動化しているウィンドウの画像をニューラル ネットワークに送信し、そこで分析され、すべての UI 要素が識別され、内容に応じてラベル付けされるため、存在しないセレクターや信頼性の低いセレクターの問題を回避します。スマート アンカーは、操作している UI 要素の正確な位置を特定するために使用され、実行しようとしているアクションが確実に成功するようにします。