Lambdaを使うことになった経緯
Lambdaの利用経験がなかった私が、Lambda利用を決めた流れは
- 1日1回のS3のファイルチェック処理が必要になる
- ファイルがなかったらSlack通知してくれればいい(簡単なスクリプトでOK
- 今のところ、AWS上にサーバは立ってない
- 調べてみたらLambdaもスケジュール実行できるらしい
- ならインフラコストを考えるとLambdaがいいか
でした。
Lambdaで利用する言語については、JupyterやGlueと合わせてPythonに。
LambdaやPythonの学習コストは、自分が払って展開すれば大したことにはならないだろうという見込みもあり、
「ついに私もサーバレスか・・・」
と感慨深く利用を始めました。
Lambda利用のために何をやったらいいのか?
Lambdaはマネージドサービスなので、AWS Console内で作業ができるようになっています。 エディタも用意されており、そこのテンプレートコードにあるlambda_handle関数に処理を書けば、指定のトリガーで実行される仕組みです。
言えば簡単なのですが、以下を懸念していました。
- Pythonのライブラリ利用について
- コード管理
- ログ管理
- テスト実行(テストコードではなく)
- デプロイの自動化
なので、今回はこれらについて記事にしようと思います。
Pythonのライブラリ利用について
Lambdaを利用した際に、最初から用意されているライブラリはBoto3で、それ以外を利用したい場合は、利用するPythonのコードと一緒にzipでまとめて、アップロードする必要がありました。
今回はSlack通知の処理部分にrequestsを使いたかったので、zipでまとめてアップロードしています。
コード管理
そんな事もあって、幸か不幸かLambdaのコンソール上だけでは完結しなかったため、Lambdaプロジェクト用のGitHubリポジトリを作成し、コードは当該リポジトリ配下で記述するようにしました。
ディレクトリ構成はLambdaコンソールを参考に、リポジトリルート直下に関数名のディレクトリを作成して、そこにコードを置き、リポジトリルート直下には以下のようなシェルファイルを作成して、アップロード用のzipを作る、といった具合の構成です。
rm -rf upload.zip pip3 install requests -t ./someLambdaFunction cd someLambdaFunction zip -r ../upload.zip *
しくじりポイント
zipは展開後が関数名のディレクトリになるのではなく、ソースコードの配置になっていないと駄目でした。
Lambdaコンソール上では、例えばsomeLambdaFunction/lambda_function.py
のような構成になっているので、てっきりsomeLambdaFunctionディレクトリもzipに含めるのかと思っていましたが、含めてしまうとsomeLambdaFunction/someLambdaFunction/lambda_function.py
のようになり、動作しなくなります。
環境変数の利用
WebhookのURLなどは環境変数を利用することで、コードから除去することができます。
ログ管理
ログについては標準出力に出しさえすれば、特に設定もなくCloudWatch Logsで見れました。
テスト実行(テストコードではなく)
関数のテスト実行はLambda上でテスト用のトリガーを作成して、それを実行すればできます。
処理内部で外部パラメータを利用しないのであれば、トリガーで渡すパラメータはデフォルトのままで問題ありません。
ローカルで開発・実行できるように準備もしたのですが、アクセスキーの発行を渋られて、結局Lambda上でのみ動作テストすることになってしまいました。。
デプロイの自動化
デプロイは少し曲者で、AWSのマネージドで完結させることはできなそうでした。
最初はCodeDeployでいけるかと思ったのですが、CodeDeployはデプロイされているLambdaのバージョンを切り替えることしかできないようでした。 CloudFormationを使えばいけるのかもしれませんが、ちょっとイメージしているのとは違うというか、CIと流れるように実行したかったといいますか。
lambda-uploaderを使えばできそうだったのですが、アクセスキーが・・・
AWS Lambda Pythonをlambda-uploaderでデプロイ | DevelopersIO
というわけで、これはまだ手動です。
Lambdaを使ってみて
「思っていたより簡単に利用できてびっくりした」というのが素直な感想です。
サーバの用意もいらないし、実行のコスト(金額的な意味で)もほとんどかからないしで、いいとこづくめだなと。 でもその恩恵に預かれるのはLambdaを知っている人だけなんだなぁと思うと、読みかけのサーバレス本をちゃんと読んで、もっと使いこなせるようになっておこうという気になりました。
知は力なりとは言ったものですね。