- 2020/05/07 AWS Glueのローカル環境を作成する Sparkが使えるAWSのサービス(AWS Glue)を使うことになったとき、開発時にかかるGlueの利用料を抑えるために、ローカルに開発環境を作ります。
- 2020/05/17 私たちの AWS Glue を使った開発のやり方 弊社での AWS Glue (Spark) を使ったシステムの開発のやり方についてご紹介します。ポイントはできるだけローカルの環境を使うことです。
- 2020/06/15 PySparkの分散される処理単位であるクロージャと共有変数の仕組み Spark では、処理が分散されて、複数のノードやスレッドで実行されますが、分散される処理の塊を、どう配信しているのか？加えて、複数のタスク間でのデータの共有とか、集約するための仕組みがどうなっているのか？少しだけ説明します。
- 2020/09/07 AWSのエラーログ監視の設定 AWSにサーバーレスなシステムを構築したときのログ監視のやり方を説明します。簡単に再利用できるようにできるだけCLIで設定します。