White Box技術部

WEB開発のあれこれ(と何か)

Circle Checker作りで学んだこと(GroovyとかSpockでのモックの書き方とか)

技術的なこと

前回はCircle Checkerの紹介だったので、今回は作って学んだことを書こうと思います。

※Circle Checkerの紹介記事はこちらです。

実装の話

まずは、

「1時間で作る!」

とか言って始めたのに、プロジェクトの準備に30分かかっていた件ですが、 ローカルのgitリポジトリGitHubリポジトリを同期するのにコマンドを忘れ、時間がかかったためでした。

GitHub上のLICENSEファイルを使いたかったんです

リモートのGitリポジトリとローカルをマージ

以下が手順のコマンド。

git remote add origin git@github.com:seriwb/circle-checker.git
git fetch origin
git merge origin/master

ただ単に、マージの引数が足りていないだけでした。

便利なDTOの定義方法

Javaではプログラム間でやり取りするデータを扱うクラスをDTOと呼んだりしますが、 DTOは適切なコンストラクタやアクセッサメソッド、equals()、hashCode()の実装がほぼ必須になります。

Groovyではフィールド定義するだけでアクセッサメソッドは用意されますが、他は自前で用意する必要があります。

ですが、@EqualsAndHashCodeアノテーションを付けると、equals()とhashCode()の実装が行われ、 @TupleConstructorアノテーションを付けると、クラスフィールドの数に応じたパラメータを持つコンストラクタが利用できるようになります。

それらを利用してすると、以下のような記述だけでDTOクラスが実装できます。

import groovy.transform.EqualsAndHashCode
import groovy.transform.TupleConstructor

@EqualsAndHashCode
@TupleConstructor
class CircleInfo {

    String twitterName
    String twitterId
    String twitterUrl
}

Twitter APIのカーソリング方法

Twitter APIからカーソル付きの結果を得るときは最初に-1を投げること、とTwitterAPIドキュメントに記載があるので、 Twitter APIのラッパーであるTwitter4jの当該メソッドを利用する場合も、-1相当の値(long型なので-1L)を設定して呼び出す必要があります。

Circle Checkerで該当する実装箇所は、以下などです。

https://github.com/seriwb/circle-checker/blob/master/src/main/groovy/box/white/cc/CircleChecker.groovy#L156

クロージャ内での正規表現チェック

クロージャに渡った値をそのままクロージャ内の正規表現の一部に利用する場合は、 ダブルクォートで囲まれた文字列のときと同様に、$を先頭につけるだけで使えました。

def checkStr = "ああああiiiiうううう"

def filterList = ["aaaa", "iiii", "uuuu"]
filterList.each {
    if (checkStr =~ /.*$it.*/) {
        println(it)
        return
    }
}

※ each内でのreturnはeachを抜けるだけで、後続処理は継続されます

AccessTokenのクリアの仕方

AccessTokenオブジェクトのtokenとtokenSecretをnullに設定したもAccessTokenの設定がクリアできるわけではなく、以下の例外は発生します。

java.lang.IllegalStateException: Access token already available.

Twitter4jでAccessTokenをクリアするには、Twitter#setOAuthAccessTokenでnullをセットするのが正しい方法になります。

落ち穂

私がGroovyなのに型をわざわざ宣言しているのは、見返したときに何に利用しようとしていたかを確認するためと、IDEの補完を有効にするためです。

最初はdefで宣言してざっくりコードを書いて、後々型宣言に修正するという書き方を良くしています。

テスト(Spock)の話

過去にJUnitの記事を書いたように、業務ではJUnitでテストを書くことが多かったのですが、

個人的にJava/GroovyのテストフレームワークSpockに期待を寄せています。

洋書のJava Testing with Spock買って読んだりたりしていたわりには、 今まで実用レベルのテストをSpockで書いていなかったので、今回はMock/Spyの両機能を使ったテストコードを書いてみました。

Gradleの設定

GradleプロジェクトでSpockを利用するために、以下をbuild.gradleの依存関係に追加しますが、 Spockでテストを書くだけであれば、spock-coreだけで大丈夫です。 クラスをモックしたコードを書く場合は、cglibとobjenesisも必要になります。

testCompile "org.spockframework:spock-core:1.1-groovy-2.4"
testCompile group: 'cglib', name: 'cglib-nodep', version: '3.2.5'
testCompile group: 'org.objenesis', name: 'objenesis', version: '2.5.1'

モックとスタブ

モッククラスを作るのはとても簡単で、以下の2通りで宣言できます。
(モック対象のクラスをUserとして、モッククラスuserを宣言する場合)

  • def user = Mock(User)
  • User user = Mock()

モッククラスのメソッドにスタブさせる場合は、当該メソッドに対し、>>演算子を使って返却値を定義してあげるだけです。

user.getName() >> "ダミー名"

実際にモッククラスを使ってテストを実行している例は、以下になります。

   def "フィルタにある名前の結果のみが返却されることを確認"() {
     setup:
        List<String> filterList = ["ああ","uu"]

        def user = Mock(User)
        user.getName() >> name
        user.getScreenName() >> screenName
        user.getURL() >> url

        def file = '''
cc.target.list = "listname"
cc.html.dir = "./dir"
cc.tweet.maxcount = 100
cc.loop.waittime = 600
'''
        def config = new ConfigSlurper().parse(file)

        def testSuite = new CircleChecker(config)
        testSuite.filterList = filterList

     expect:
        testSuite.checkUserName(user) == expected

     where:
        name | screenName | url               | expected
        "ああああ" | "aaaa" | "http://aaaa.com" | new CircleInfo("ああああ", "aaaa", "http://aaaa.com")
        "いいいい" | "iiii" | "http://iiii.com" | new CircleInfo()
        "aaiiuu" | "uuuu" | null              | new CircleInfo("aaiiuu", "uuuu", "")
    }

setupでテスト実施までの処理を記載し、expectにはテストで確認したい比較条件のみを記載します。 また、複数のパラメータでテストを流すために、whereにそれぞれ動的に変更するパラメータを定義することができます。 記述順的に直感的ではないですが、whereで宣言しているパラメータはsetupやexpectでも使えます。

抽象メソッドの実装

後テストでよく必要になるのは、抽象メソッドを持つクラスのインスタンス化ではないでしょうか。

これはGroovyで実現できます。

例えば、Twitter4jのRateLimitStatusクラスに存在するgetRemaining、getLimit、getResetTimeInSeconds、getSecondsUntilResetを 適当な処理(呼ばれたら1を返す)で実装してインスタンス化する場合は、以下のようになります。

def status = [
 getRemaining: { -> 1 },
 getLimit: { -> 1 },
 getResetTimeInSeconds: { -> 1 },
 getSecondsUntilReset: { -> 1 },
] as RateLimitStatus

テスト対象クラスの一部をスタブ化

そして後はテスト対象クラスの一部をスタブ化できれば、大抵のテストは書けるようになるのかと思います。

Mockではインスタンス化したクラスのメソッドが全て実態のないものになっているので、Spyを使ってインスタンス化します。

以下は、PagableResponseListImpl#hasNext()を1度目はtrueを返し、それ以降はfalseを返すようにする実装です。

def users = Spy(PagableResponseListImpl, constructorArgs: [status, 1])
users.hasNext() >>> [true, false]

スタブの書き方は他にも色々あるので、実装時は以下などを参考にしてみてください。

また、MockとSpyの使い分けはこちらのサイトが参考になるかと思います。

@Unroll

Spockのパラメータテストの結果は、デフォルトではまとめて1テストとして出力されます。

これを各条件ごとに出力させるためには、@Unrollアノテーションをクラスかメソッドに対して付ける必要があります。
(基本は必要なメソッドに対して付けるのが良いかと思います)

@Unrollを付けていない場合、比較条件によってはエラー時にどの条件がダメだったのかがわからないので、 パラメータテストを行うメソッドには付与しておくことをお奨めします。

テストスイート

SpockにJUnitでいうところのテストスイートのような仕組みはないのですが、 Gradleでspock-coreを取り込むと、JUnitも依存ライブラリとして追加されます。

そこでJUnitでの書き方をGroovyにアレンジして、以下のようにすると、Spockでもテストスイートが実現できます。

import org.junit.runner.RunWith
import org.junit.runners.Suite
import org.junit.runners.Suite.SuiteClasses

@RunWith(Suite)
@Suite.SuiteClasses([
    CircleChecker_CheckUserNameSpec,
    CircleChecker_CheckFollowSpec,
])

class CircleCheckerSpecSuite {
}

今回はクラス名の末尾をSpecSuiteとしましたが、いつもならAllSpecにしていたかと思います。
末尾を統一させるか、末尾を分けて目立たせるかの違いですが、好きな方でいいと思います。

テストスイートのクラスを追加した場合は、テスト数が重複して計上されないように、当該クラスをtestタスクの対象外にしておきましょう。

build.gradleに以下の記述を追加してください(include/excludeは必要なものだけでOK)。

test {
    include '**/*Test*'
    include '**/*Spec*'
    exclude '**/*TestSuite*'
    exclude '**/*SpecSuite*'
    exclude '**/*AllTest*'
    exclude '**/*AllSpec*'
}

Spockでテストを書こう!

Spockのテストコードはどうでしたか?
過去にJUnitでモック処理を書いたり、パラメータテストを書いたことがある方であれば、魅力を感じてもらえるのではないかと思います。

とはいえ、ここまで単純化できているのは、テスト対象クラスのフィールドがGroovyらしくpublicになっているから、といいますか、 protectedのメソッドでも普通に直アクセスできるからなのですが。
この振る舞いは色々議論があるでしょうが、私としてはアクセス識別子はマーカー識別子くらいの認識なので、 プログラミングする上でアクセス識別子の考え方が頭に入っていれば、この動作でも問題ないと思っています。 ただ、プログラミング初学者などにはもしかしたら良くないのかもしれないなぁとも思ったりします。 ですが、Groovyを使う人でJavaを経験してこなかった人がどれだけいるのかと考えると、この件はただの杞憂ではないかなと。

極力単純に、かつ少ないコード量でのプログラミングするためのツールとして、Spockを使ってみるのはどうでしょうか?

【自作ツール紹介】 Twitterのユーザ名からイベント参加情報を抽出するツール「Circle Checker」

なぜ余裕を持って行わないのか・・・

原稿に追われていようといまいと、不精な性格が災いして、 イベント直前にならないとサークルチェックをしない私のような人に「余裕を持って行え」とか言っても無駄なので、 プログラマらしくプログラムで解決を図ってみました。

Circle Checker

イベントにサークル参加する方は、Twitterアカウントの名前に直前の参加イベントの情報を追加している事が多いので、 その情報を元にしたサークルチェックのツールを作りました。

使い方

まず、Javaをお使いのPCにインストールしてください。
READMEにはJava SEと記載していますが、Java REでも構いません。

今のインストーラなら環境変数への設定も自動で行われたような気がするので、 インストール後、WindowsならコマンドプロンプトMacならターミナルを起動し、 java -versionを入力し、実行した結果が正常に返ってくること(バージョンが1.8以上になっていること)が確認できたら大丈夫です。
(以降、コマンドプロントとターミナルのことをコンソールと表記します)

ツール準備

releasesからcircle-checker-X.X.X.zipのようなファイルを取得し、適当な場所に展開してください。
(コンソールを利用する関係上、日本語ディレクトリ配下ではない方が都合がいいです)

展開したディレクトリの中にある以下の設定ファイルを、条件に合うように修正してください。

  • config/config.txtcc.target.list = ""の"“の中にチェックするリスト名を入力
  • config/filter.txtにユーザ名に含まれる可能性のあるイベント名を列挙(デフォルトはコミティア用)

filter.txtは上から順番にパターンマッチを行うので、長い文字列は最初に持ってくるのをお奨めします。

また、上記ファイルの文字コードUTF-8である必要があります。
Windowsのメモ帳などでは文字化けする可能性があるので、sakura editorなど文字コード指定ができるエディタをご利用ください。

ここまでの準備ができたら、コンソールからcircle-checker-X.X.X.jarがある場所まで移動し、以下のコマンドを実行してください。 (X.X.Xはそのときのjarファイルのバージョン番号であると仮定します)

java -jar circle-checker-X.X.X.jar

リストのサイズによっては少し待ちますが、後は出力結果を元にサークルチェックするだけです!

ちなみに2013年のMacBook Proで1000くらいのユーザが登録されているリストを対象にして実行したところ、結果出力までに体感で4、5秒くらいかかりました。

似たようなツールあるけど何で作ったの?

ここまで説明しておいて何ですが、似たようなツールならWebで使えるものが検索するといくつがヒットします。

じゃあなぜ作ったのかというと、単純に自分の利用用途に合わなかったからです。
そして、その利用用途を叶えるため、このツールは以下の特徴を持っています。

Circle Checkerの特徴

  • リスト対象にチェックができる
  • チェックするリストを指定できる
  • フィルタの条件を自分で変えられる(マイナーなイベントでも対応できる)
  • 自分が動かしたいときに動かせる(アプリのWebサーバが止まっているという心配がない)

Webアプリではないので、スマホで処理したい!出先でチェックしたい!というような要望は叶えられませんが、 リストを使ってサークル管理していたり、自分でフィルタ条件をいじりたい人には使えるものになっているのではないかと思います。

また、他アプリによっては、サークルスペースも抜き出してくれるものがありますが、 サークル配置図にマッピングするための情報は「Twitter Name」に出ているので、今のところ追加する予定はありません。

ここのメンテでサークルチェックができなくなったら本末転倒なので。

雑記

前から作りたいなーと思っていたツールだったのですが、不精がすんなり作るわけもなく結局作らないでいたものの一つでした。

それをコミティアを当日に控えた深夜3時、

reinsのコード参考にしたら1時間でいけるんじゃ?!
そしたらTwitterとカタログ見るより早いな!!

と深夜テンションで始め、結局4時間くらいかけて終わらせ、

カタログ見た方が早かったのでは・・・

と思ったりもしてしまいましたが、それはさておき。

こんな理由で作ったものなので、要件を満たしたものがあっても既存のアプリは元々使わなかったんでしょうね。

後は、コードが公開されていないのをどこまで信じれるかというプログラマ故の面倒くさいところと、 単純にコーディングしたかったという理由もありますが。

実際に使ってみたところ、結果に出てくるTwitterアカウントへのリンクが便利でした。
iPhoneのメモに結果を貼っておいたら、URLをタップするとTwitterアカウントの表示ができたので、 電車の中でサークルチェックができました。

それで思いましたけど、お品書きが固定ツイートになっていると、すごく助かりましたね・・・

お陰でコミティアでは良い感じにお札が溶けたことを併記しておきます。

GradleプロジェクトのSpockのテストをCircleCIで実行してJaCoCoでカバレッジを取りつつCoverallsで表示する

ちょっと思い立ってJavaでコードを書いていて、 さらに思い立ってカバレッジのバッジをREADMEに付けようとしたら、 思いの外ハマったので「GradleプロジェクトのSpockのテストをCircleCIで実行してJaCoCoでカバレッジを取りつつCoverallsで表示する」ための手順を残しておきます。

やりたいこと

  • GradleプロジェクトのREADMEにCircleCICoverallsのバッジを表示したい
  • JavaコードのテストをSpockで書きたい
  • JavaコードのカバレッジJaCoCoで集計したい
  • GitHub/CIrcleCI/Coverallsの結果をSlackに通知する(ブログでは言及しない)

つまりこういう感じのことをしたいわけです。

f:id:seri_wb:20170320005901p:plain

ではやっていきます。


build.gradleにJaCoCoとCoverallsの設定を追加

Spockでテストを書くJavaのGradleプロジェクトは以下のコマンドで作成していました。

$ gradle init --type java-library --test-framework spock

このプロジェクトでCoverallsを使うため、以下のGradleプラグインを導入します。

build.gradleにpluginsとjacocoTestReportを追加すると使えるようになります。

plugins {
    id 'jacoco'
    id 'com.github.kt3k.coveralls' version '2.8.1'
}

apply plugin: 'java-library'
apply plugin: 'groovy'

省略

jacocoTestReport {
    reports {
        xml.enabled true // coveralls plugin depends on xml format report
        html.enabled true
        html.destination "${buildDir}/jacocoHtml"
    }
}

Coverallsで観るだけならhtml関連の設定は不要なのですが、ローカルでテストしたときにもカバレッジ結果を見たかったので入れてます。
The JaCoCo Plugin - Gradle User Guide Version 3.5

※実際に適用した場合はこのようになります。

CircleCIでテストする

CircleCIでテストを動作させるためには、まずCircleCIにアカウントを作成して、メニューのPROJECTSからテストしたいプロジェクトをBuild projectにします。

その前後でテスト対象のプロジェクトにcircle.ymlファイルを作成して、GitHubにプッシュします。
例えば、Javaのプロジェクトをテストするcircle.ymlの内容は、以下のようになります。

machine:
  timezone: Asia/Tokyo
  java:
    version: oraclejdk8

test: 
  override:
    - ./gradlew test jacocoTestReport coveralls

ここが失敗ポイントだった

作業していたときに上手くいかなかった原因を話してしまうと、ここで実行しているgradlewのコマンドを coveralls-gradle-pluginのREADMEに書いてある通り./gradlew jacocoTestReport coverallsとしていたためでした。

というのも、testを書いていないとtestタスクがSKIPされ、結果カバレッジも取得されないという状態になっていたようです。

つまり以下のような一文をbuild.gradleに足して、jacocoTestReportタスクがtestタスクに依存することを示しておけば、 testを書き忘れてもちゃんとカバレッジが取れるようになります。

jacocoTestReport.dependsOn test

CircleCIとCoverallsを連携させる

CircleCIでカバレッジが取れるようになったら、次はCoverallsの設定をします。

CircleCIと同様に、Coverallsもアカウントを作成し、メニューのADD REPOから対象のプロジェクトをONにします。
その後、SETTINGSの画面に表示されるREPO TOKENの値をメモします。

次はCircleCIの方に移り、プロジェクトの設定メニューからBUILD SETTINGSのEnvironment Variablesを選択し、以下の変数を追加します。

  • COVERALLS_REPO_TOKEN : CoverallsのREPO TOKENの値

この設定まで終わった状態で、CircleCIでビルドを行うと、Coverallsの方にカバレッジの結果が表示されるようになります。

READMEにバッジを表示

最後にREADME.mdにCircleCIとCoverallsのバッジを表示させます。

CircleCI、Coveralls共に、バッジをREADMEに表示するためのテキストを生成してくれています。
それぞれコピーして、対象プロジェクトのREADME.mdに貼り付ければバッジの表示は完了です。

CircleCI

f:id:seri_wb:20170320035858p:plain

CircleCIでのビルド状態を示すバッチは、以下の2通りで表示することができます。

CircleCIhttps://circleci.com/gh/seriwb/utsusemi.svg?style=svg

CircleCIhttps://circleci.com/gh/seriwb/utsusemi.svg?style=shiled

Coveralls

f:id:seri_wb:20170320040009p:plain

感想:結構大変だった

READMEに表示されているバッジの仕組みについて、気にはなっていましたが、今までスルーしていたので、その知識が補えて良かったです。 今回は結構苦戦してしまいましたが、わかっていれば10分もあれば終わりそうでした。(今回は4時間ぐらいかけたんですけど。。)

ともあれ、これでいつでもどこからでもテストとカバレッジの状態が見えるようになったので、 後は頑張ってコードを書いていこうと思います。

新年の挨拶と、reviewetのバージョンアップ連絡

新年あけましておめでとうございます

2日に、幼少の頃以来の初詣に行ってきました。

f:id:seri_wb:20170106014440j:plain

それもずっと行きたかった神田明神へ参拝することができたので、今年は幸先がいい感じがします。 IT情報安全祈願のお守りも購入できたので、後は頑張ってシステム作りに励みたいです。

甘酒が美味しかったです。

その過程で学んだことなどは、今年もブログに記載していこうと思いますので、 今年もご愛読よろしくお願いします。

Reviewetのバージョン1.2.0をリリースしました

アプリのレビュー取得ツール『Reviewet』の最新版をリリースしました。

今回の改修で、iOS/Android共に、複数のアプリをレビューの取得対象にすることができるようになりました。

複数アプリの指定方法

config/default.ymlのappIdの各変数(iOS/android)に、ハイフンを使ったリスト形式で必要な分だけIDを追加してください。
iOS/Android共に2つずつ指定する場合は、以下のようになります。

appId:
  iOS:
    - 490217893
    - 544007664
  android:
    - com.google.android.googlequicksearchbox
    - com.apple.android.music

もちろん1つだけの場合は、今まで通りiOS: 490217893のような書き方で動作します。

これで、作成している全アプリやライバルアプリなどをまとめて通知することができると思いますので、 ぜひ利用してみてください。

オプションの変更

iOSのみで使えた、日付指定でレビューの取得範囲を限定するcheckDateは削除しました。

そして、新たに初回起動時の通知件数を制限できるオプションのoutputsを追加しました。
利用する場合は、まずfirstTimeIgnoreの値をfalseにし、 この設定値に通知したい回数の数値を指定してください。
例えば、各アプリ3件通知したい場合は、以下のようになります。

firstTimeIgnore: false
outputs: 3

これは初回のみの動作確認用オプションなので、最新のレビューだけ通知されればいい場合は、気にする必要はありません。

バージョンアップ時の注意

今回、内部DBの構造を変えているため、以前のバージョンからアップグレードした場合は、 必ずreviewetのルートディレクトリ直下にあるreviewet.sqliteを削除してから起動してください。

今後の話

いったん、細かい動作を気にしなければ作成当初の要求を満たせるようになったので、 reviewetの開発は一段落させる予定です。あとは多言語対応するくらいなので。

というわけで、次はディスプレイの一部をクローンして表示するツールを作る予定です。 これもあると便利なものになるかと思うので、リリースの際はぜひ利用してみてください。