メニュー

logo

カチシステムはお客様に寄り添った
システム開発と支援サービスを提供し
「やさしい最先端」を創造します。

【第11回】ロータス博士のWinActor塾~画像マッチング

2020.06.12

画像マッチング

画像マッチングは、PCの画面に表示されている映像データを取得し指定の画像パターンに一致する部分を探します。

その取得した部分に対して、クリックやマウスの操作を行うことができます。

 

今回は3つの例を介して、主に使用する機能について説明していきます。

 

まずはフローチャート表示エリアにドラッグアンドドロップでノードを配置しましょう。

配置したらダブルクリックでプロパティ画面を表示します。

 

 

それでは、画像マッチングでできることを見ていきましょう。

画像の取り込み

マッチングをするためには、まず画面を取り込む必要があります。

あらかじめキャプチャを取り自分で画像を用意することもできますが、今回は自動で取り込みを行います。

 

画像の取り込み前

 

 

 

操作したい画面の取り込み

 

 ターゲット選択ボタンをクリックし、取り込む対象ウィンドウをクリックします。

 

 

 

取得した画面を操作する

画面を取り込むことができたら、実際に操作をしてみよう。

操作といってもたくさんあるからのう。

3つほど、やりたいこと別に設定方法をお見せしよう。

 

ある画像を検索して、その画像をクリックする操作

 

Webページのボタンをクリックしてリンク先を表示したい場合など。

ボタンの画像を指定して、一致した部分をクリックするように設定します。

やりたいこと

 

 

を対象ウィンドウから探し出して、無料セミナーの申し込みページを開く

画像マッチングノードのプロパティを以下のように設定します。  

 

  

 

 

 

 

 

ある画像を検索して文字列を入力可能状態にする操作

 

フォームなどの入力エリアをクリックし、文字を入力できる状態にします。

多くの場合、入力フォームは空欄となっているため画像として認識できるような特徴がありません。

このようなときは周囲の特徴的な画像を検索し、そこを中心としてクリック位置をずらすことで

なにもない白背景の部分でも正確にクリックさせることができます。

やりたいこと

 

1. 「乗換案内」のイメージを対象ウィンドウから探し出す

2. マウスの位置をずらすことで「出発」の入力欄をクリックし文字が入力できる状態にする

  

 

  

 

 

 

ある画像を検索した結果をみる

 

この操作は、特定のイメージが画面に表示されているかどうかを検索して

クリックなどの操作を行わずに結果のみを取得する方法です。

結果は変数に格納されるため、条件分岐などに使用することができます。

やりたいこと

 

赤枠で囲った画像「乗換案内」の検索の結果を変数に取得する

 

 

 

ここまでできれば画像マッチングはある程度使えるようになる。

以下、他の機能についても紹介するが、必ず使わなくてはいけないものではない。

使う必要が出てきたときに改めて覚えていくのがよいじゃろう。

その他の設定

 

 

 

緑枠(検索範囲)

 

 緑枠(a)で囲んだ範囲内のみでマッチング画像を探します。

 ただし、緑枠自体は画像を認識していません。取り込んだ画像の左上を原点とした位置関係のみを指定します。

 

マスク範囲(内側/外側)

 

 キャプチャした画像の中に個人情報など、他の使用者に隠しておきたい情報がある場合に使用します。

 ただし、このマスク範囲は取り込んだ画像を直接塗りつぶすため、赤枠の検索範囲に被ってしまうと

 正常にマッチングが行われません。

 

 <内側をマスク>

 

 <外側をマスク>

 

キャプチャ画像選択

 

 あらかじめ保存しているキャプチャ画面の画像ファイルを選択して開きます。

 

 ファイル選択後は、画面取り込みを行った時と同様にマッチング画像タブに表示されます。

 

輪郭マッチングについて

画像マッチングと同様に、取り込んだ画像に対してイメージ検索を行います。

画像マッチングとの違いとして、輪郭マッチングは色を対象としません。

 

輪郭で判定を取るため、マッチング対象の表示サイズが多少変化してもマッチします。

色合いが変わるオブジェクトに対しても有効です。

 

ただし、輪郭のはっきりしないイメージなどには不向きで、誤検出してしまう可能性もあります。

輪郭マッチングは差異を許容する特性があるため、充分に動作確認してからご使用ください。

フローを作成して実行してみよう

やりたいこと

 

1.乗換案内の画像を探して、それを基準に出発の入力欄を選択する

2.出発駅を入力する

分岐で画像マッチングの結果を判定する

例外処理は第10回ロータス博士のWinActor塾を見てね

 

 

画像マッチングのプロパティ

 

以下のように設定しています

 

 

 

 

 

画像マッチング後の「結果」変数一覧表

 

検索対象のイメージが画面上に存在していたため、状態取得結果に指定した変数にtrueが入りました

 

 

 

 

分岐の条件

 

マッチング結果がtrueの場合に処理が続行されるように設定します

 

 

 

 

文字列送信のプロパティ

 

送信する文字列に駅名を入力しています

 

 

 

 

実行結果

 

 

出発駅に駅名が入力されれば成功です!

 

どうかな?今回はここまでじゃ。

使い方がわかった方は到着駅の入力と検索ボタンのクリックも追加して実践してみよう。

次回はウィンドウ識別について説明するぞ!


 

関連記事こちらの記事も合わせてどうぞ。

最近の記事

カテゴリ

PAGETOP