UIPath などの RPA ツールが流行しているが、無料で使えるツールがないか探してみた。
結論としてはRPAツールとは言い難いが、デスクトップの画像を認識して操作をある程度自動化するような OSS として SikuliX というものがあったので試してみた。
なお開発者が自称するところによれば、SikuliX は
ビジュアル・ワークフローの自動化 automate visual workflow を目的とした、WYSIWYSツール
とのこと。
一つの画像も無い、素っ気ない SikuliX のサイトへ行く
sikulix.com
能書き
- デスクトップで見えるものはすべて自動化できる
OpenCV による画像認識で GUI 部品を識別・操作する仕組み。
制限はあるがマルチモニタやリモートデスクトップでも利用できる。
Tess4J / Tesseract による文字認識により文章を検索できる。 - スクリプト言語として Python、RobotFramework、Ruby、JavaScript 併用可
- モバイルデバイス上での利用はできない（エミュレータ経由なら可）
SikuliX IDE の jar ファイルをダウンロード
現行バージョンは Version 1.1.4 とのこと。
最低限必要なのは SikuliX IDE のようなので、これをダウンロードした。
D:\Program Files (x86)\Sikulix
にファイル sikulix.jar を配置した。
ダブルクリックしてみたがアプリの関連付けがされておらず起動しなかった。
まず Java のインストールが必要だった
そういえば最近 Java なるものを使っていないので、Java 環境そのものがなかった。
Java 8 以上ならば動作するとのことなので、Open JDK 11 を JDK 11.0.2 GA Release よりダウンロード。
Zip 形式だったので右クリックして解凍し、作成されたフォルダ jdk-11.0.2 を Cドライブ直下にフォルダごと移動した。
Java へのパス設定は必須なので [Windows の設定]より[環境変数を編集]を選んで、
Path 変数に Jdk-11.0.2 を追加した。
コマンドプロンプトを起動し、sikulix.jar を指定して Java を起動する。
たくさんの警告 WARNING を出力しながらも、一応起動した。
インタフェースの一部は日本語化されているようだが、英語部分もまだある。
Java 実行環境の作り方を知らないと、起動させることもままならない感じだ。
なんだが使い始めるまでのハードルがかなり高いぞ…
サンプルスクリプト hello world を試作
分かりやすいとはいえないがドキュメントがある。
Sikuli / SikuliX Documentation for version 1.1+ (2014 and later) — SikuliX 1.1+ documentation に大体の使い方の説明があり、
最も簡単なスクリプト（いわゆる Hello World ）の作り方は以下のとおり。
https://sikulix-2014.readthedocs.io/en/latest/tutorials/helloworld/helloworld-win.html
- 「スクリーンショットを撮る」で Windows （スタート）アイコンをキャプチャ
- キャプチャした画像の周りに click () を記入
- 次の行に type ("hello world") を記入
- 実行
実行すると、マウスポインタがするすると Windows （スタート）アイコンのところまで移動してクリックし、hello world が検索条件欄に入力された。
使い方をさらに調べてみる
もちろん、こんな hello world では何の役にも立たない。
より理解するために SikuliX - QUICKSTART を読み始めたら、まだ最新のドキュメントではないので Getting Started のほうを見よとのことだった。
Until this page is revised for version 1.1.4+ look here for Getting Started
なお、 SikuliX を対象とした書籍としては以下のものがある。
オープンソースで作る！RPAシステム開発入門 設計・開発から構築・運用まで
- 作者: 株式会社完全自動化研究所小佐井宏之
- 出版社/メーカー: 翔泳社
- 発売日: 2018/12/19
- メディア: Kindle版
- この商品を含むブログを見る
始めるには Getting Started
Getting Started というリンクをクリックした先の Web ページは、単なるチェンジログのページであり、始めるために必要なことは少しも書いておらず、最新版での変更点のみ。ドキュメンテーションはかなり混乱しているようだ。
バージョン 1.1.4 には、バージョン2で予定している機能しか入れておらず、主な変更点としては：
- C++ 実装は Java に置き換え、OpenCV は最新の3.4
- 文字とOCR機能は Tess4J (Tesseract 3.0.5ベース) で実装
- 検索のさい、透明な部分のある画像によるマスクが可能に
- adb 経由での Android 対応の再実装
IDEでJython、JRuby を使うには対応するファイルのダウンロードが必要であり、JavaScript についてはまだ利用できない。
とのこと。
再び QUICKSTART に戻る
Getting Started では始められなかったので、再度 QUICKSTART に戻って続きを読む。
前提条件チェック Check the prerequisites
- 64ビットOSでしか動作しない
- Java8以上でないと動作しない（最新版を推奨）
とのこと。
別のマシンで試したところ、64ビットOS上の Java8 JRE では動作しなかったので、とにかく Java は最新にしておいたほうがトラブルは少ないと思う。
SiuliX のダウンロードするには How do I download SikuliX
ダウンロードした jar をダブルクリックすれば起動すると書いてあるが、手許の２台のPCではいずれも起動しなかったので、コマンドプロンプトからの起動にしたほうがトラブルは少ないと思う。
SikuliX をセットアップするには How do I set up SikuliX
記載の通りセットアップ手順は 1.1.3 までが対象なので、1.1.4 には関係ない。
SikuliX IDE を使い始めるには Getting started with SikuliX IDE
幾つか起動方法が書かれているが、最後の Java コマンドによる方法しかうまくいかなかった。
Java8 JRE が入っているPCでは、そちらが誤って起動されるので、ダウンロードした最新の Java 10 JDK/bin フォルダにある Java コマンドをフルパス指定することで起動させた。
c:\jdk-11.0.2\bin\java -jar c:\Sikulix\sikulix.jar
助けが欲しいときは Getting help
- 質問は Launchpad の SikuliX コミュニティへ
- APIドキュメントは Sikuli / SikuliX Documentation for version 1.1+ (2014 and later) — SikuliX 1.1+ documentation へ
どうやら、上記 API ドキュメントが一番詳しそうなので読んでみた
前置きとして以下のような説明があった。
- チュートリアルを見るとよい
- 複雑なスクリプト開発や構造化をしたい場合はスクリプト（Python、Ruby）を使え
ただし Jython、JRuby インタプリタ経由なので標準以外のモジュールは使えないかもしれない - Sikulix自体がJavaで書かれているので、他のJavaプロジェクトからAPIレベルで使うこともできる
SikuliX の動作の仕組みとシステム仕様 SikuliX - how does it work and system specific information
SikuliX の基本 the basics、システム仕様 system specifics を全て読んだ。
しかし、この２章にも使い方は書かれておらず、画像による判定方式について細々と説明されているだけだった。
また開発者自身の定義によれば、SikuliXとは
ビジュアル・ワークフローの自動化 automate visual workflow を目的とした、WYSIWYSツール
とのこと。
世の中にある自動化ツールを３つに分類の上で、
本ツールは「視覚的」に属しており「操作記録」の機能は現在無いとの説明。
但し、RobotFramework、Cucumber、Selenium と組み合わせた例はあるとのことだった。
なお画像判定は OpenCV の matchTemplate を使ったピクセル単位の一致なので、実行環境が違う場合には失敗しやすい。これはバージョン2で画像管理方法などを改善する予定とのこと。
SikuliX スクリプトとプログラミング SikuliX scripting and usage in programming scenarios
- 画像の表示を待ち合わせ、GUI要素をマウスやキーボードで操作する手順の繰り返しが基本
- スクリプト言語を理解することが望ましいが、最初は SikuliX IDE でも十分
- SikuliX script の実体は書いたスクリプトとキャプチャした画像が格納されたフォルダだが、直接フォルダはいじらないように
- 配布用のスクリプトは jar、zip 形式でまとめることができ、jar の場合は Sikulix 本体も含めることができるので java 環境さえあれば他のPCでもすぐ実行できる
説明を読み進めていくと、どうやら IDE の標準は Python であり、先に helloworld を作ったときにすでに Python を使っていたらしいことに今さら気づいた。
SikuliX IDE でスクリプト作成し画像を整理する SikuliX IDE create/run scripts and organize your images
特に有益な情報はなかった
SikuliX API でスクリプティングとJavaプログラミング SikuliX API for scripting and Java programming
これらはリファレンスであり、前から読んでも使い方は分からない。
チュートリアル Tutorials を見たほうがまだましだが、チュートリアルのとおりに IDE の Command List が表示されない。
調べてみたら最新バージョンでは Command List が未実装に戻ってしまったらしく、いきなり心が折れた。2018年8月25日時点のバグとして：
[1.1.4] IDE: No Command List --- dropped by intention --- there should be some replacement
wait、exist など重要と思われる関数の説明も API ドキュメントの中にはない。
最新バージョンで根本的に変更されたのか？
分かりやすい説明がどこにもないので、索引 Index を見て、メソッド名から機能を想像し、解説の中にあるサンプルコードを読むのが一番早そうだが、とても楽だとはいえない…
やはりタダはタダなりの苦労がある。
そのうち進化していくとは思うが、現時点では取っつきにくい。
少しだけ試して、使いやすい・とっつきやすいなどと言っている人もいるようだが、使いこなしているという人を見かけない。IT業界以外の一般ピープルには、使い始めることすら困難だろう。
いまのところ安定バージョンと開発バージョンの区別もなく、ドキュメントは追いついておらず、開発途中で状態のわからないものを試す感じになってしまう。
夜間ビルドが走っている最中なのか、JavaDoc へのリンクも切れていて Not Found になるし･･･ドキュメンテーションがかなり貧弱。
また実装方式としても、画像のピクセル単位の一致で判定しているので、OS のバージョンや利用者の環境ごとにアイコンが違うだけでも動かなくなってしまいそうだ。バージョン２で改善はされそうではあるが。
でも面白いし、個人PCの安定した環境ならば使いみちはあるかもしれないので、もう少し落ち着いたら、少しずつ練習してみようとは思う。
