public note

AWS

AWS Batch のシークレットを AWS Secrets Manager から取得する

AWS

AWS Batch で使うシークレットを AWS Secrets Manager から取得したのでメモ。 設定は、前回の Step Functions → Batchの AWS Cloud Formation テンプレートに追加して、動作を確認しています。 GitHub - tosh223/practice-aws-batch: Sample code of AWS Ba…

AWS Step Functions → AWS Batch on Fargate を SAM で定義する

AWS

AWS Step Functions から AWS Batch を呼び出す構成を AWS SAM で定義しました。 AWS Batch のジョブは、Fargate で動くようにしています。 すんなり定義できなかったところがいくつかありましたので、ひっかかったところをまとめました。 つくったテンプレ…

Amazon SQS と Cloud Pub/Sub のインターフェースを統一する

はじめに 小品ですが、ライブラリをつくっています。 その特徴やつくっている背景、解決したいことについてまとめています。 github.com 特徴 名前のとおり、キューのハブです。 Amazon SQS と Google Cloud Pub/Sub を同一のインターフェースで扱うことがで…

AWS Step Functions が yaml に対応したので試した

AWS

2021/3/4 に以下の記事が出ました。待望のyaml対応! aws.amazon.com これで、Cloud Formation の Template と同じく yaml で統一できます。 どんな感じなのか、以前に json で作成したステートマシンを yaml で定義しなおして確認してみました。 対象とした…

Cloud Pub/Sub でキューの長さを確認する

Cloud Pub/Sub で作成したTopicのサイズを確認する方法を調べていたのだが、ちょっと癖があったのでメモ。 Python での実装 import os from datetime import datetime from google.cloud import monitoring_v3 from google.cloud.monitoring_v3 import query…

権限付与から見たAWSとGCPの違い

業務都合で GCP を使う機会が増えたけど、サービスアカウントってなんかわかりにくいなぁってずっと思ってた。でもそれは AWS の考え方を引きずっていたからだと気づいたので、両者の権限付与について違いをまとめる。ざっくりしたまとめなので、詳細な仕様…

AWS Lambda コンテナイメージ の感想

AWS

2020年12月に、AWS Lambda のパッケージタイプとして「コンテナイメージ」が追加されました。 aws.amazon.com 遅まきながら、どのようなものか体験しましたので、感想を適当に書きます。 やったこと 感じたこと イメージについて確認したこと 気になったこと…

pytest, SAM, LocalStackを使ったAWS Lambda結合テスト

AWS

この前の続きで、AWS Lambda の結合テストについて書きます。 やること 実現方法 Method 単位のテスト Function 単位のテスト 具体例 ソースコード 動作確認環境 実装詳細 LocalStack pytest SAM Local テスト実行 テスト実行結果 まとめ やること LocalStac…

AWS Lambdaに対するユニットテスト

AWS

AWS Lambda に対するユニットテスト(以下、UT)で気をつけていることを言語化して、記録に残します。 結論 はじめに 実現したいこと 考えたこと 工夫したこと 具体例 処理内容 ディレクトリ構造 テストデータ Lambda Function テスト共通処理 テストコード ま…

AWS S3オブジェクトのMetadata管理

AWS

S3にファイルを格納する際に、そのファイルがどういった設定・経緯で作成されたのかを合わせて記録に残したいというニーズがありました。今回のケースでは、S3オブジェクトにMetadataを設定しつつputして、そのあとgetする手順をPythonで試したので、記録に…