2020/06/15 PySparkの分散される処理単位であるクロージャと共有変数の仕組み Spark では、処理が分散されて、複数のノードやスレッドで実行されますが、分散される処理の塊を、どう配信しているのか？加えて、複数のタスク間でのデータの共有とか、集約するための仕組みがどうなっているのか？少しだけ説明します。SparkPySparkクロージャタグプログラミング技術総覧 (16)Actorモデル (1)リアクティブプログラミング (1)機械学習 (6)静的サイト (1)環境構築 (5)Docker (6)AngularJS (2)React (2)アルタスファイブ (5)Vagrant (1)プログラミング (2)Laravel (1)OAuth (1)アルゴリズム (2)DB (2)Let's Encrypt (1)Chainer (1)マルコフ連鎖 (1)Trie (2)LOUDS (1)テキスト処理 (2)形態素解析 (2)Web Performer (1)Spring Boot (1)Spring Framework (2)書評 (1)組織心理学 (1)ゲーム理論 (1)Python (1)Double array (1)最適化 (2)システム開発 (6)TERASOLUNA (1)統計学 (1)データ可視化 (1)R (1)販売管理システム (1)用語集 (2)ボトルネック (2)Jupyter Notebook (1)仕事効率化 (1)データ構造 (4)実装 (2)連想配列 (1)Ruby (2)ハッシュテーブル (1)テキスト圧縮 (1)ファイル圧縮 (1)全文検索 (1)仕様書 (3)マークダウン (2)a5doc (2)Angular (2)エラー処理 (2)SPA (2)Confluence (1)おやつ (1)オブジェクト指向 (1)CI (1)PhpStorm (1)IntelliJ (1)インスペクション (1)漫画 (1)採用 (1)AWS (4)Glue (2)Spark (3)サーバーレス (3)PySpark (1)クロージャ (1)ログ監視 (1)Chatbot (1)ChatOps (1)Lambda (1)Bot Builder (1)Slack (1)WSL2 (1)DevOps (1)テスト仕様書 (1)