2020/06/15 PySparkの分散される処理単位であるクロージャと共有変数の仕組み Spark では、処理が分散されて、複数のノードやスレッドで実行されますが、分散される処理の塊を、どう配信しているのか?加えて、複数のタスク間でのデータの共有とか、集約するための仕組みがどうなっているのか?少しだけ説明します。SparkPythonプログラミングサーバーレスタグプログラミング (24)機械学習 (9)マークダウン (2)環境構築 (6)Docker (7)フロントエンド (4)アルタスファイブ (7)フレームワーク (3)PHP (1)OAuth (1)アルゴリズム (3)データ構造 (6)Java (2)書評 (1)Python (3)システム開発 (7)統計学 (1)データ可視化 (1)生産性 (4)Ruby (2)設計 (3)エラー処理 (2)IDE (1)クラウド (3)サーバーレス (4)Spark (1)Chatbot (1)テスト (2)アーキテクチャ (1)プロジェクト管理 (1)Git (2)生成AI (4)IaS (1)TypeScript (1)ADR (1)レビュー (1)