読者です 読者をやめる 読者になる 読者になる

White Box技術部

WEB開発のあれこれ(と何か)

GradleプロジェクトのSpockのテストをCircleCIで実行してJaCoCoでカバレッジを取りつつCoverallsで表示する

手法 Gradle Java CircleCI

ちょっと思い立ってJavaでコードを書いていて、 さらに思い立ってカバレッジのバッジをREADMEに付けようとしたら、 思いの外ハマったので「GradleプロジェクトのSpockのテストをCircleCIで実行してJaCoCoでカバレッジを取りつつCoverallsで表示する」ための手順を残しておきます。

やりたいこと

  • GradleプロジェクトのREADMEにCircleCICoverallsのバッジを表示したい
  • JavaコードのテストをSpockで書きたい
  • JavaコードのカバレッジJaCoCoで集計したい
  • GitHub/CIrcleCI/Coverallsの結果をSlackに通知する(ブログでは言及しない)

つまりこういう感じのことをしたいわけです。

f:id:seri_wb:20170320005901p:plain

ではやっていきます。


build.gradleにJaCoCoとCoverallsの設定を追加

Spockでテストを書くJavaのGradleプロジェクトは以下のコマンドで作成していました。

$ gradle init --type java-library --test-framework spock

このプロジェクトでCoverallsを使うため、以下のGradleプラグインを導入します。

build.gradleにpluginsとjacocoTestReportを追加すると使えるようになります。

plugins {
    id 'jacoco'
    id 'com.github.kt3k.coveralls' version '2.8.1'
}

apply plugin: 'java-library'
apply plugin: 'groovy'

省略

jacocoTestReport {
    reports {
        xml.enabled true // coveralls plugin depends on xml format report
        html.enabled true
        html.destination "${buildDir}/jacocoHtml"
    }
}

Coverallsで観るだけならhtml関連の設定は不要なのですが、ローカルでテストしたときにもカバレッジ結果を見たかったので入れてます。
The JaCoCo Plugin - Gradle User Guide Version 3.4.1

※実際に適用した場合はこのようになります。

CircleCIでテストする

CircleCIでテストを動作させるためには、まずCircleCIにアカウントを作成して、メニューのPROJECTSからテストしたいプロジェクトをBuild projectにします。

その前後でテスト対象のプロジェクトにcircle.ymlファイルを作成して、GitHubにプッシュします。
例えば、Javaのプロジェクトをテストするcircle.ymlの内容は、以下のようになります。

machine:
  timezone: Asia/Tokyo
  java:
    version: oraclejdk8

test: 
  override:
    - ./gradlew test jacocoTestReport coveralls

ここが失敗ポイントだった

作業していたときに上手くいかなかった原因を話してしまうと、ここで実行しているgradlewのコマンドを coveralls-gradle-pluginのREADMEに書いてある通り./gradlew jacocoTestReport coverallsとしていたためでした。

というのも、testを書いていないとtestタスクがSKIPされ、結果カバレッジも取得されないという状態になっていたようです。

つまり以下のような一文をbuild.gradleに足して、jacocoTestReportタスクがtestタスクに依存することを示しておけば、 testを書き忘れてもちゃんとカバレッジが取れるようになります。

jacocoTestReport.dependsOn test

CircleCIとCoverallsを連携させる

CircleCIでカバレッジが取れるようになったら、次はCoverallsの設定をします。

CircleCIと同様に、Coverallsもアカウントを作成し、メニューのADD REPOから対象のプロジェクトをONにします。
その後、SETTINGSの画面に表示されるREPO TOKENの値をメモします。

次はCircleCIの方に移り、プロジェクトの設定メニューからBUILD SETTINGSのEnvironment Variablesを選択し、以下の変数を追加します。

  • COVERALLS_REPO_TOKEN : CoverallsのREPO TOKENの値
  • CI_NAME : circleci

この設定まで終わった状態で、CircleCIでビルドを行うと、Coverallsの方にカバレッジの結果が表示されるようになります。

READMEにバッジを表示

最後にREADME.mdにCircleCIとCoverallsのバッジを表示させます。

CircleCI、Coveralls共に、バッジをREADMEに表示するためのテキストを生成してくれています。
それぞれコピーして、対象プロジェクトのREADME.mdに貼り付ければバッジの表示は完了です。

CircleCI

f:id:seri_wb:20170320035858p:plain

CircleCIでのビルド状態を示すバッチは、以下の2通りで表示することができます。

CircleCIhttps://circleci.com/gh/seriwb/utsusemi.svg?style=svg

CircleCIhttps://circleci.com/gh/seriwb/utsusemi.svg?style=shiled

Coveralls

f:id:seri_wb:20170320040009p:plain

感想:結構大変だった

READMEに表示されているバッジの仕組みについて、気にはなっていましたが、今までスルーしていたので、その知識が補えて良かったです。 今回は結構苦戦してしまいましたが、わかっていれば10分もあれば終わりそうでした。(今回は4時間ぐらいかけたんですけど。。)

ともあれ、これでいつでもどこからでもテストとカバレッジの状態が見えるようになったので、 後は頑張ってコードを書いていこうと思います。

新年の挨拶と、reviewetのバージョンアップ連絡

日記 Reviewet

新年あけましておめでとうございます

2日に、幼少の頃以来の初詣に行ってきました。

f:id:seri_wb:20170106014440j:plain

それもずっと行きたかった神田明神へ参拝することができたので、今年は幸先がいい感じがします。 IT情報安全祈願のお守りも購入できたので、後は頑張ってシステム作りに励みたいです。

甘酒が美味しかったです。

その過程で学んだことなどは、今年もブログに記載していこうと思いますので、 今年もご愛読よろしくお願いします。

Reviewetのバージョン1.2.0をリリースしました

アプリのレビュー取得ツール『Reviewet』の最新版をリリースしました。

今回の改修で、iOS/Android共に、複数のアプリをレビューの取得対象にすることができるようになりました。

複数アプリの指定方法

config/default.ymlのappIdの各変数(iOS/android)に、ハイフンを使ったリスト形式で必要な分だけIDを追加してください。
iOS/Android共に2つずつ指定する場合は、以下のようになります。

appId:
  iOS:
    - 490217893
    - 544007664
  android:
    - com.google.android.googlequicksearchbox
    - com.apple.android.music

もちろん1つだけの場合は、今まで通りiOS: 490217893のような書き方で動作します。

これで、作成している全アプリやライバルアプリなどをまとめて通知することができると思いますので、 ぜひ利用してみてください。

オプションの変更

iOSのみで使えた、日付指定でレビューの取得範囲を限定するcheckDateは削除しました。

そして、新たに初回起動時の通知件数を制限できるオプションのoutputsを追加しました。
利用する場合は、まずfirstTimeIgnoreの値をfalseにし、 この設定値に通知したい回数の数値を指定してください。
例えば、各アプリ3件通知したい場合は、以下のようになります。

firstTimeIgnore: false
outputs: 3

これは初回のみの動作確認用オプションなので、最新のレビューだけ通知されればいい場合は、気にする必要はありません。

バージョンアップ時の注意

今回、内部DBの構造を変えているため、以前のバージョンからアップグレードした場合は、 必ずreviewetのルートディレクトリ直下にあるreviewet.sqliteを削除してから起動してください。

今後の話

いったん、細かい動作を気にしなければ作成当初の要求を満たせるようになったので、 reviewetの開発は一段落させる予定です。あとは多言語対応するくらいなので。

というわけで、次はディスプレイの一部をクローンして表示するツールを作る予定です。 これもあると便利なものになるかと思うので、リリースの際はぜひ利用してみてください。

Twitter画像取得ツール「reins」の0.3版をリリースしました

紹介 Tool Groovy

seri.hatenablog.com

前回の紹介からほぼ2年ぶりですが、Twitterからいい感じに画像を取得するツールのreinsの最新版をリリースしました!

reins 0.3

今回、以下の機能追加・バグ修正を行っています。

  • リツイートの取得に関する動作変更の選択機能の追加
  • reinsで取得した画像の元ツイートを表示する機能の追加(コマンド入力機能)
  • Twitterの画像ファイルはlargeを指定して取得するように変更
  • 複数画像があるツイートから先頭の画像しか取れていなかったのを修正

リツイートがつぶやいたユーザのディレクトリ配下に!

リツイートもリストのユーザと同列に保存していたら、正直管理しきれないほどディレクトリが増えてしまったので、 リツイートリツイートしたユーザのディレクトリ配下にrtディレクトリを作成して、その配下に保存するようにしました。

同一ユーザの同一画像を複数保存する可能性が上がりましたが、視認性はよくなったかと思います。

またオプション設定により、そもそもリツイートを取得しないこともできるようにしました。

コマンド入力機能を追加!

reinsを起動しているコンソール(コマンドプロンプト)からのコマンド入力を受け付けるようにしました。

今回は、reinsで取得した画像の元ツイートを表示する「url」コマンドが実装されています。

url -o reinsで取得した画像ファイル名

このようにコマンド入力すると画像ファイルがつぶやかれたツイートを(これはオプションがついているのでブラウザで)表示します(URLを取得するだけなら-oはなくてもOK)。

ログが流れていても認識するので、気にせず入力してください。

注意

画像の元ツイート表示は、今回のバージョンのreinsを使って取得した画像からしか利用できません。 また、dbディレクトリのデータを削除しても同様に利用できなくなります。

所感

画像がつぶやかれた元のツイートの表示機能が楽しいです。

画像元のツイート表示機能は作りたかった機能なので実現できて嬉しいです。

実装のあれこれ

まず2年近くも触ってないと、自分で書いたコードですらなにがなんだかわかりませんね。。
処理と設計方針を思い出すので数日かかりました。

なので今回はドキュメントも並行して作成しています。ドキュメント大事。

それと今回、ツイート表示機能を実装するにあたり、一度テーブル設計を見直したのですが、 結局元のテーブルに追加する感じで機能追加してあります。 リストをベースにした設計になっているので、個別ユーザの情報にアクセスするのがなかなかに大変です。

今後のあれこれ

リツイート毎に同じユーザの情報があったりするので、ここらへんをいい感じに一覧化できるといいかなと思っていたりします。 リスト毎に保存するという現在の作り上だと、どうも難しそうではあるんですが、GUI化でなんとかできないかなと模索中です。

GUI化は別プログラムからreinsを呼び出す感じで実現しようかと思っています。 ここらへんも、どうGUIで表示するとか諸々まとまっていないので、まだなんとも言えないのですが、ユーザ名での検索ができるだけでも結構いいかなと思ったりしています。今回作ったコマンド入力機能を拡張しながらやっていく予定です。

あとは1週間くらい放置しているとTwitterからデータ取得する方のThreadが落ちちゃってるのを直したいのですけれど、 現状のSleep処理から見直さないとダメかもしれないので、結構根が深いです。 バージョン1のリリースまでにはなんとかしたいですが、そろそろTwitterの存続も怪しいのでどうですかね、間に合うかな?

【Shansible】VagrantとAnsibleでのShangriLa開発環境構築

Ansible ShangriLa MySQL sbt Jenkins

Shansible

Shansibleは、秋葉原IT戦略研究所Project ShangriLaでAnime APIが動作するサーバ群を構築するためのプロジェクトです。

Shansibleを利用することにより、VagrantとAnsibleを使って簡単にローカルでAnime APIの動作を確認する環境を作ることができます。

利用方法

基本的にはshansibleをgit cloneしてvagrant upするだけです。

ですが、環境によってはVagrantやAnsibleの不具合に対する対処がいくつか必要になる場合があります。 READMEに判明している不具合への対処方法を記載していますので、上手くいかない場合はご確認ください。

READMEに記載した、利用するVagrantのバージョンが現時点の最新である1.8.5でないのは、1.8.5にはSSHに関する不具合があり、素の設定ではまともに起動しないためです。(一応対処方法は本家のIssueに上がっています)

Ansible

ミドルウェアのインストールにはAnsibleを使っているのですが、本Playbookに記載している以下のミドルウェアについては まだ他にもそんなに例がないと思いますので、結構いい参考になるのではないでしょうか!

  • MySQL 5.7
  • Jenkins 2
  • Ant

とくにMySQL 5.7のrootパスワード設定は苦労したので、使ってもらえると嬉しいです。(べったり貼っておきます)

- name: download
  get_url: url=http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm dest={{ src_dir }}/
  tags: mysql

- name: local install
  yum: name={{ src_dir }}/mysql57-community-release-el7-7.noarch.rpm state=present
  tags: mysql

- name: install
  yum: name=mysql-community-server state=present
  tags: mysql

- name: create log directory
  file: path={{ mysql_log_dir }} state=directory owner=mysql group=mysql mode=0764
  tags: mysql

- name: replace my.cnf
  template: src=my.cnf.j2 dest=/etc/my.cnf mode=0644
  tags: mysql

- name: start MySQL service
  service: name=mysqld enabled=yes state=started
  tags: mysql

- name: get temporary root password
  shell: cat {{ mysql_log_dir }}/mysqld.log | grep 'password is generated' | awk '{print $11}'
  register: mysql_default_password
  tags: mysql

- name: install MySQL-python module for ansible
  yum: name=MySQL-python state=present
  tags: mysql

- name: check .my.cnf exists
  stat: path=/root/.my.cnf
  register: mycnf_file
  tags: mysql

- name: deploy my.cnf for root user
  template: src=root.my.cnf.j2 dest=/root/.my.cnf mode=0600
  when: not mycnf_file.stat.exists
  tags: mysql

- name: change password validation to the easy way
  shell: |
    mysql -u root -p'{{ mysql_default_password.stdout }}' --connect-expired-password -e "SET GLOBAL validate_password_length=4;"
    mysql -u root -p'{{ mysql_default_password.stdout }}' --connect-expired-password -e "SET GLOBAL validate_password_policy=LOW;"
  when: not mycnf_file.stat.exists and stage == "development"
  tags: mysql

- name: change root user password
  shell: |
    mysql -u root -p'{{ mysql_default_password.stdout }}' --connect-expired-password -e "ALTER USER 'root'@'localhost' IDENTIFIED BY '{{ mysql_root_password }}';"
  when: not mycnf_file.stat.exists
  tags: mysql

Ansibleの作成方針

以前、Ansible Meetupで「もっとシンプルに」とか話した手前、Ansibleの構成はシンプルになるように心がけました。 基本は公式のベストプラクティスを踏襲しています。

  • 利用者が変更する可能性のある変数はgroup_vars/all.ymlに集約
  • サーバ個別にPlaybookを作成するのではなく、site.ymlにまとめて記載し、インベントリファイルでchildrenを使って、ローカル・開発・STG・本番毎に構成を作れるようにした
  • 環境毎に変数を切り替えたい場合は、group_varsに環境毎のファイルを作成して設定する(local/development/staging/productionのような単位)

これにより、利用者は環境毎のインベントリファイルとsite.yml、group_varsを見るくらいになり、変数を変えたい場合も基本はall.ymlを編集すればよくなります。

注意する点としては、この方法では環境毎にサーバで実行するroleを変えることが、実行時パラメータでも使わないとできないというところです。 これについてはroleを変えるのではなく、whenでstage変数を見て、実行を分けるようにしています。 (例えば、MySQLのパスワードのバリデーションレベルの設定タスク:change password validation to the easy way)

こうすることで1ファイルの複雑度は増しますが、管理するファイルは1つであり、コードの重複も抑えられるため、結果的に見通しが良くなると思います。

雑記

疲れました・・・

いつも実際の開発よりこういう環境周りとかビルドツールとかで詰まる時間の方が長いので、 結果すっかりVagrant/Ansibleおじさんになってしまった感じがありますが、アプリ開発おじさんになれるよう巻き返していこうと思います。