https://yue-jenny.github.io/tags/mapreduce/ Recent content in MapReduce on Jenny blog Hugo -- gohugo.io en-us Wed, 18 Jan 2023 10:32:40 +0800 https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E4%B8%89-mapreduce/ Wed, 18 Jan 2023 10:32:40 +0800 https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E4%B8%89-mapreduce/ <h2 id="mapreduce">MapReduce</h2> <h3 id="前言">前言</h3> <p>MapReduce 是一個 Google 提出的軟體架構，適用於<strong>大規模資料的並列運算</strong></p> <h3 id="prerequistites">Prerequistites</h3> <ul> <li>File System <ul> <li>資料的儲存系統</li> <li>有許多不同型態，例如以垂直結構為主的目錄與資料夾、Object storage 等</li> </ul> </li> <li>Distributed File System <ul> <li>分散式檔案系統，透過一大群機器(cluster)互相合作，對外表現如同<strong>一個巨大的 file system</strong>，將 data 切成特定大小的 chunks (如 4 MB 或 64 MB)，會透過 <strong>central control plane</strong> 會決定應該將 chunks 存在哪一個 node，後續應該去哪一個 node 讀取 chunks</li> <li>主要操作方式是透過<strong>網路</strong>以定義好的通訊協定進行資料存取</li> <li>目前現有的產品有 Google File System (GFS)、Hadoop Distributed File System (HDFS)</li> </ul> </li> <li>Hadoop <ul> <li>支持 MapReduce 與資料管線的 open-source 框架，最重要的中央組件為 Hadoop Distributed File System (HDFS)</li> </ul> </li> </ul> <h3 id="各階段簡介">各階段簡介</h3> <h4 id="map-階段">Map 階段</h4> <ul> <li>負責 <strong>filtering</strong> 和 <strong>sorting</strong> 並且組合出一個 key value pair 結果</li> </ul> <h4 id="reduce-階段">Reduce 階段</h4> <ul> <li>負責<strong>資料整合</strong></li> <li>以 wordcount 為例，從 Map 傳過來的 key 若一樣，表示同一個字，因此把一樣的 key 做加總，可以得出最後的出總筆數</li> </ul> <h3 id="冪等性idempotency特性">冪等性(idempotency)特性</h3> <ul> <li>意義: <strong>當操作多次，結果應呈現一致</strong></li> <li>透過 pub/sub messaging system 應當有冪等性，因為 pub/sub 系統本身允許相同訊息被 consumer 接收多次</li> <li>舉例，增加資料庫某欄位的 integer value，就不是一個具有冪等性的操作，因為保持每次增加的操作後都不會保持跟前一個相同的數值</li> <li>另一舉例，將欄位值設定為 &ldquo;DONE&rdquo;，多次重複此操作，還是會顯示為 &ldquo;DONE&rdquo;，因此設定為 &ldquo;DONE&rdquo; 是一個冪等性操作</li> </ul> <h3 id="範例">範例</h3> <ul> <li><strong>input</strong> <ul> <li>要做計算的原始資料，可以是一堆文字清單等</li> </ul> </li> <li><strong>split</strong> <ul> <li>把 input 資料做分散處理</li> <li>以 hadoop 來說，當 MapReduce 工作被輸入的時候，會被<strong>切割到各個 cluster 裡面等待做處理</strong></li> </ul> </li> <li>🔔<strong>map</strong> <ul> <li>MapReduce 的 map 階段</li> <li>每一個節點有自己的一份資料要分析，會把對應切割出來的資料<strong>建立 key value 的結果</strong></li> <li>key 是字本身，value 是 1 代表找到一筆</li> </ul> </li> <li><strong>combine</strong> <ul> <li>在 map 的機器進行以下動作</li> <li>將一樣的 key 先做一次加總，避免傳送多次出去，例如 combine 後的結果可能是 &ldquo;A&rdquo; 有 2 筆、&ldquo;B&rdquo; 有 1 筆等</li> </ul> </li> <li><strong>shuffle &amp; sort</strong> <ul> <li>在進入 reduce 階段之前，會先被做一個<strong>排序</strong>，因此<strong>相關的 key 會放在一起</strong></li> <li>比如第一批資料的 &ldquo;A&rdquo; 有 2 筆、第二批資料的 &ldquo;A&rdquo; 有 5 筆&hellip;第一批資料的 &ldquo;B&rdquo; 有 1 筆、第二批資料的 &ldquo;B&rdquo; 有 3 筆</li> </ul> </li> <li>🔔<strong>reduce</strong> <ul> <li>此階段會做<strong>實際的加總</strong>，因此每一個 key 的 value 會被加總</li> </ul> </li> <li><strong>output</strong> <ul> <li>最後得到的結果</li> </ul> </li> </ul> <p><img src="https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E4%B8%89-mapreduce/061114_0930_Introductio1.jpg" width="642" height="460" srcset="https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E4%B8%89-mapreduce/061114_0930_Introductio1_hu4f185708e50b3a3419973268adc34821_28898_480x0_resize_q75_box.jpg 480w, https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E4%B8%89-mapreduce/061114_0930_Introductio1_hu4f185708e50b3a3419973268adc34821_28898_1024x0_resize_q75_box.jpg 1024w" loading="lazy" alt="source: https://www.guru99.com/introduction-to-mapreduce.html" class="gallery-image" data-flex-grow="139" data-flex-basis="334px" ></p> <h2 id="參考資料-">參考資料 👐</h2> <ul> <li>system expert</li> <li><a class="link" href="https://zh.wikipedia.org/zh-tw/MapReduce" target="_blank" rel="noopener" >wiki MapReduce</a></li> <li><a class="link" href="https://www.guru99.com/introduction-to-mapreduce.html" target="_blank" rel="noopener" >introduction-to-mapreduce</a></li> </ul> <p><strong>🍀 最後，若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵!✨</strong></p>