White Box技術部

WEB開発のあれこれ(と何か)

新年の挨拶と、reviewetのバージョンアップ連絡

新年あけましておめでとうございます

2日に、幼少の頃以来の初詣に行ってきました。

f:id:seri_wb:20170106014440j:plain

それもずっと行きたかった神田明神へ参拝することができたので、今年は幸先がいい感じがします。 IT情報安全祈願のお守りも購入できたので、後は頑張ってシステム作りに励みたいです。

甘酒が美味しかったです。

その過程で学んだことなどは、今年もブログに記載していこうと思いますので、 今年もご愛読よろしくお願いします。

Reviewetのバージョン1.2.0をリリースしました

アプリのレビュー取得ツール『Reviewet』の最新版をリリースしました。

今回の改修で、iOS/Android共に、複数のアプリをレビューの取得対象にすることができるようになりました。

複数アプリの指定方法

config/default.ymlのappIdの各変数(iOS/android)に、ハイフンを使ったリスト形式で必要な分だけIDを追加してください。
iOS/Android共に2つずつ指定する場合は、以下のようになります。

appId:
  iOS:
    - 490217893
    - 544007664
  android:
    - com.google.android.googlequicksearchbox
    - com.apple.android.music

もちろん1つだけの場合は、今まで通りiOS: 490217893のような書き方で動作します。

これで、作成している全アプリやライバルアプリなどをまとめて通知することができると思いますので、 ぜひ利用してみてください。

オプションの変更

iOSのみで使えた、日付指定でレビューの取得範囲を限定するcheckDateは削除しました。

そして、新たに初回起動時の通知件数を制限できるオプションのoutputsを追加しました。
利用する場合は、まずfirstTimeIgnoreの値をfalseにし、 この設定値に通知したい回数の数値を指定してください。
例えば、各アプリ3件通知したい場合は、以下のようになります。

firstTimeIgnore: false
outputs: 3

これは初回のみの動作確認用オプションなので、最新のレビューだけ通知されればいい場合は、気にする必要はありません。

バージョンアップ時の注意

今回、内部DBの構造を変えているため、以前のバージョンからアップグレードした場合は、 必ずreviewetのルートディレクトリ直下にあるreviewet.sqliteを削除してから起動してください。

今後の話

いったん、細かい動作を気にしなければ作成当初の要求を満たせるようになったので、 reviewetの開発は一段落させる予定です。あとは多言語対応するくらいなので。

というわけで、次はディスプレイの一部をクローンして表示するツールを作る予定です。 これもあると便利なものになるかと思うので、リリースの際はぜひ利用してみてください。

Twitter画像取得ツール「reins」の0.3版をリリースしました

seri.hatenablog.com

前回の紹介からほぼ2年ぶりですが、Twitterからいい感じに画像を取得するツールのreinsの最新版をリリースしました!

reins 0.3

今回、以下の機能追加・バグ修正を行っています。

  • リツイートの取得に関する動作変更の選択機能の追加
  • reinsで取得した画像の元ツイートを表示する機能の追加(コマンド入力機能)
  • Twitterの画像ファイルはlargeを指定して取得するように変更
  • 複数画像があるツイートから先頭の画像しか取れていなかったのを修正

リツイートがつぶやいたユーザのディレクトリ配下に!

リツイートもリストのユーザと同列に保存していたら、正直管理しきれないほどディレクトリが増えてしまったので、 リツイートリツイートしたユーザのディレクトリ配下にrtディレクトリを作成して、その配下に保存するようにしました。

同一ユーザの同一画像を複数保存する可能性が上がりましたが、視認性はよくなったかと思います。

またオプション設定により、そもそもリツイートを取得しないこともできるようにしました。

コマンド入力機能を追加!

reinsを起動しているコンソール(コマンドプロンプト)からのコマンド入力を受け付けるようにしました。

今回は、reinsで取得した画像の元ツイートを表示する「url」コマンドが実装されています。

url -o reinsで取得した画像ファイル名

このようにコマンド入力すると画像ファイルがつぶやかれたツイートを(これはオプションがついているのでブラウザで)表示します(URLを取得するだけなら-oはなくてもOK)。

ログが流れていても認識するので、気にせず入力してください。

注意

画像の元ツイート表示は、今回のバージョンのreinsを使って取得した画像からしか利用できません。 また、dbディレクトリのデータを削除しても同様に利用できなくなります。

所感

画像がつぶやかれた元のツイートの表示機能が楽しいです。

画像元のツイート表示機能は作りたかった機能なので実現できて嬉しいです。

実装のあれこれ

まず2年近くも触ってないと、自分で書いたコードですらなにがなんだかわかりませんね。。
処理と設計方針を思い出すので数日かかりました。

なので今回はドキュメントも並行して作成しています。ドキュメント大事。

それと今回、ツイート表示機能を実装するにあたり、一度テーブル設計を見直したのですが、 結局元のテーブルに追加する感じで機能追加してあります。 リストをベースにした設計になっているので、個別ユーザの情報にアクセスするのがなかなかに大変です。

今後のあれこれ

リツイート毎に同じユーザの情報があったりするので、ここらへんをいい感じに一覧化できるといいかなと思っていたりします。 リスト毎に保存するという現在の作り上だと、どうも難しそうではあるんですが、GUI化でなんとかできないかなと模索中です。

GUI化は別プログラムからreinsを呼び出す感じで実現しようかと思っています。 ここらへんも、どうGUIで表示するとか諸々まとまっていないので、まだなんとも言えないのですが、ユーザ名での検索ができるだけでも結構いいかなと思ったりしています。今回作ったコマンド入力機能を拡張しながらやっていく予定です。

あとは1週間くらい放置しているとTwitterからデータ取得する方のThreadが落ちちゃってるのを直したいのですけれど、 現状のSleep処理から見直さないとダメかもしれないので、結構根が深いです。 バージョン1のリリースまでにはなんとかしたいですが、そろそろTwitterの存続も怪しいのでどうですかね、間に合うかな?

【Shansible】VagrantとAnsibleでのShangriLa開発環境構築

Shansible

Shansibleは、秋葉原IT戦略研究所Project ShangriLaでAnime APIが動作するサーバ群を構築するためのプロジェクトです。

Shansibleを利用することにより、VagrantとAnsibleを使って簡単にローカルでAnime APIの動作を確認する環境を作ることができます。

利用方法

基本的にはshansibleをgit cloneしてvagrant upするだけです。

ですが、環境によってはVagrantやAnsibleの不具合に対する対処がいくつか必要になる場合があります。 READMEに判明している不具合への対処方法を記載していますので、上手くいかない場合はご確認ください。

READMEに記載した、利用するVagrantのバージョンが現時点の最新である1.8.5でないのは、1.8.5にはSSHに関する不具合があり、素の設定ではまともに起動しないためです。(一応対処方法は本家のIssueに上がっています)

Ansible

ミドルウェアのインストールにはAnsibleを使っているのですが、本Playbookに記載している以下のミドルウェアについては まだ他にもそんなに例がないと思いますので、結構いい参考になるのではないでしょうか!

  • MySQL 5.7
  • Jenkins 2
  • Ant

とくにMySQL 5.7のrootパスワード設定は苦労したので、使ってもらえると嬉しいです。(べったり貼っておきます)

- name: download
  get_url: url=http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm dest={{ src_dir }}/
  tags: mysql

- name: local install
  yum: name={{ src_dir }}/mysql57-community-release-el7-7.noarch.rpm state=present
  tags: mysql

- name: install
  yum: name=mysql-community-server state=present
  tags: mysql

- name: create log directory
  file: path={{ mysql_log_dir }} state=directory owner=mysql group=mysql mode=0764
  tags: mysql

- name: replace my.cnf
  template: src=my.cnf.j2 dest=/etc/my.cnf mode=0644
  tags: mysql

- name: start MySQL service
  service: name=mysqld enabled=yes state=started
  tags: mysql

- name: get temporary root password
  shell: cat {{ mysql_log_dir }}/mysqld.log | grep 'password is generated' | awk '{print $11}'
  register: mysql_default_password
  tags: mysql

- name: install MySQL-python module for ansible
  yum: name=MySQL-python state=present
  tags: mysql

- name: check .my.cnf exists
  stat: path=/root/.my.cnf
  register: mycnf_file
  tags: mysql

- name: deploy my.cnf for root user
  template: src=root.my.cnf.j2 dest=/root/.my.cnf mode=0600
  when: not mycnf_file.stat.exists
  tags: mysql

- name: change password validation to the easy way
  shell: |
    mysql -u root -p'{{ mysql_default_password.stdout }}' --connect-expired-password -e "SET GLOBAL validate_password_length=4;"
    mysql -u root -p'{{ mysql_default_password.stdout }}' --connect-expired-password -e "SET GLOBAL validate_password_policy=LOW;"
  when: not mycnf_file.stat.exists and stage == "development"
  tags: mysql

- name: change root user password
  shell: |
    mysql -u root -p'{{ mysql_default_password.stdout }}' --connect-expired-password -e "ALTER USER 'root'@'localhost' IDENTIFIED BY '{{ mysql_root_password }}';"
  when: not mycnf_file.stat.exists
  tags: mysql

Ansibleの作成方針

以前、Ansible Meetupで「もっとシンプルに」とか話した手前、Ansibleの構成はシンプルになるように心がけました。 基本は公式のベストプラクティスを踏襲しています。

  • 利用者が変更する可能性のある変数はgroup_vars/all.ymlに集約
  • サーバ個別にPlaybookを作成するのではなく、site.ymlにまとめて記載し、インベントリファイルでchildrenを使って、ローカル・開発・STG・本番毎に構成を作れるようにした
  • 環境毎に変数を切り替えたい場合は、group_varsに環境毎のファイルを作成して設定する(local/development/staging/productionのような単位)

これにより、利用者は環境毎のインベントリファイルとsite.yml、group_varsを見るくらいになり、変数を変えたい場合も基本はall.ymlを編集すればよくなります。

注意する点としては、この方法では環境毎にサーバで実行するroleを変えることが、実行時パラメータでも使わないとできないというところです。 これについてはroleを変えるのではなく、whenでstage変数を見て、実行を分けるようにしています。 (例えば、MySQLのパスワードのバリデーションレベルの設定タスク:change password validation to the easy way)

こうすることで1ファイルの複雑度は増しますが、管理するファイルは1つであり、コードの重複も抑えられるため、結果的に見通しが良くなると思います。

雑記

疲れました・・・

いつも実際の開発よりこういう環境周りとかビルドツールとかで詰まる時間の方が長いので、 結果すっかりVagrant/Ansibleおじさんになってしまった感じがありますが、アプリ開発おじさんになれるよう巻き返していこうと思います。

【Reviewet】アプリレビュー通知ツールのその後

Reviewet

以前も紹介したアプリレビュー通知ツールのReviewetですが、その後も少しずつ変更を加え、 一部の挙動や起動方法も変わりましたので、今日はその紹介です。

変更内容

ざっくり書くと変更点は以下になります。

  • メールの件名に、どちらのOSのレビューかが記載されるようなった
  • Reviewetの起動にforeverコマンドを使うように変更
  • checkDateオプション未指定の場合、起動後の新着レビューを通知するように変更

Reviewetをバックグラウンドで起動させていると、プロセスが落ちることがあるので、foreverモジュールを導入して死活監視して貰うようにしました。 導入後はプロセスが落ちる心配はしなくて良くなったのですが、foreverがプログラムを再起動させたときにcheckDateの値が設定されていると、 一度飛んでいたiOSのレビュー結果が再通知されてしまいます。

そこで、checkDateオプションの未指定時の挙動を「既存を全件通知」から「これから来たものを通知」に変更し、 再起動後も重複して通知されないようにしました。なので、基本的にはcheckDateの値は「なし」で利用してください。
(もともとcheckDateは動作確認を目的としてつけたオプションだったので、本来の用途に戻ったような感じです)

今後の予定

コード中にはまだTODOが残っていたりするのですが、機能も一段落、夏の作業も一段落したので、別のものを作る予定です。 9月末までには公開できるといいのですがどうなることやら・・・