【Sikuli/Sikulix】PC操作自動化　－基本の使い方編ー

2018年7月30日
PC操作自動化
RPA, Sikuli, 使い方, 働き方改革, 利用方法, 基本操作, 操作方法, 自動操作

PC操作自動化

今回はSikuli/Sikulixの使い方について、例を交えながら詳しくご紹介します。

RPAによりパソコン操作を自動化させるツールとして、【Sikuli/Sikulix】をご紹介しました。

今回はWindows標準の電卓を自動操作させることを例として、詳しくSikuliの使用方法をご紹介していきます。Sikuliのインストール方法は前回の投稿をご覧ください。

Sikuliインストール方法はこちら

1 Sikuliの起動
2 Sikuliプログラムの作成　－例：電卓計算自動化ー

Sikuliの起動

Sikuliインストール時に作成した「Sikuli」フォルダ内にある、runsikulixという名前のWindowsコマンドスクリプトをダブルクリックで起動させます。黒いコマンドプロンプト画面が表示されますが、下記画面が立ち上がるまでお待ちください。

Sikuliプログラムの作成　－例：電卓計算自動化ー

電卓にて「1+2」をPC操作自動化にて実現する方法をご紹介します。

PC操作の大部分は、「マウス」操作と「キーボード」操作の組み合わせで実現されます。マウス操作とキーボード操作それぞれの操作自動化方法は今後詳しくご説明していきます。まずはSikuliの基本操作方法を知っていただくことを目標に、自動でマウスが動いて電卓計算されるところを実際に体験いただければと思います。

まず、Windowsに標準でインストール済みの「電卓」を立ち上げます。（Windows10の場合、スタートメニュー>電卓）

Sikuliは画面に表示されているものだけを識別して自動操作することができます。

電卓が他のウィンドウの裏に隠れてしまわない様に表示位置を調整して、Sikuli画面左下の「Click(カメラマーク）」をクリックしてください。

すると、「Select an image」とパソコンの画面が薄暗い色で表示されると思います。

自動でクリックしたい部分を選択します。ここでは電卓の「1」ボタンの部分を領域選択します。

領域選択が完了すると、Sikuliのプログラム画面に「Click（領域選択した画像）」と1文追加されます。

同様にSikuliの「Click（カメラマーク）」をクリックして、Sikuliプログラム画面に「Click（「+」と領域選択した画像）」、「Click（「2」と領域選択した画像）」、「Click（「=」と領域選択した画像）」の順に追加してください。下記のとおりに表示される状態です。

一番上の「1」と表示されている画像部分をクリックしてみてください。下記が画面が表示されますので、「マッチングプレビュー」というタブをクリックしてください。

デスクトップ画面が表示され、Sikuliが選択された画像（ここでは1と表示される領域）とマッチする部分が色付きで表示されます。

濃い赤色で表示されている部分が、Sikuliがマッチすると認識した領域となります。色付きの部分が複数ある場合や色付きの部分がない場合はSikuliがきちんとマッチすると認識できていない状態となりますので、画面下部のバーを調整して、上記画像のように濃い赤色で表示されている部分が1つのみになるように調整してください。

次に「ターゲットオフセット」というタブをクリックしてみてください。十字の交差で表示されている部分が、自動操作によりクリックで押される座標となります。広い範囲の領域を選択しているときなどに、ボタンからずれて表示されている場合に調整が必要となります。

ここまで確認したら、「OK」でパターン設定画面を閉じ、同様に「+」、「2」、「＝」の画像についても確認を実施してください。

Sikuli画面の　「ファイル」 > 「名前を付けて保存」から保存を実施します。作成済みのSikuliフォルダ内に「プログラム」というフォルダを作成して、そこに保存するのがよいでしょう。【test】等、任意の名前を付けて保存してください。（日本語を使用すると保存に失敗してしまうため、英数字を使用して名前を付けてください。）

それでは、さっそくプログラムを実行させてみます。電卓のウィンドウが画面上に表示されている状態にして、「実行」をクリック。（クリック後はSikuliによる自動操作が終了するまで、マウスやキーボードを操作しないでください）