https://yue-jenny.github.io/tags/publish/subscribe-pattern/ Recent content in Publish/Subscribe Pattern on Jenny blog Hugo -- gohugo.io en-us https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/ Fri, 20 Jan 2023 13:38:08 +0800 https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/ <h2 id="kafka">Kafka</h2> <ul> <li>最先是由 LinkedIn 創立的一款分散式訊息系統 (distributed messaging system)，由 Scala 和 Java 編寫的 open-source 專案</li> </ul> <h3 id="前言">前言</h3> <h3 id="prerequistites">Prerequistites</h3> <ul> <li><a class="link" href="../%e7%b3%bb%e7%b5%b1%e8%a8%ad%e8%a8%88%e5%9f%ba%e7%a4%8e%e5%9b%9b-publish/subscribe-pattern/" >Publish/Subscribe Pattern</a></li> </ul> <h3 id="-功能">📌 功能</h3> <ul> <li> <p><strong>高效能</strong>、<strong>容錯</strong>且具<strong>可擴展性</strong>的平台</p> </li> <li> <p>用於建置<strong>即時串流資料管道</strong>，並以 pub/sub pattern 來管理生產者與消費者的資料</p> <ul> <li><strong>Kafka Connect</strong> 是 Apache Kafka 的開放原始碼元件，是一個用於將 Apache Kafka 與外部系統 (如資料庫、機碼值存放區、搜尋索引和檔案系統) 連接的架構。</li> <li>串流資料是一種<strong>小型記錄或事件</strong> (記錄或事件通常為幾 KB 大小的記錄) 的持續串流，這類的記錄則由數千台機器、裝置、網站和應用程式所產生。串流資料包含各式各樣的資料，例如客戶使用您的行動或 Web 應用程式產生的日誌檔、電子商務採購、遊戲中的玩家活動、來自社交網路</li> </ul> </li> <li> <p>資料取用的順序以 <strong>FIFO (First In First Out)</strong> 作為原則</p> <p><img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/FIFO.jpg" width="428" height="270" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/FIFO_hu1f9ef358d98fa79ae89d09bc8323061c_12585_480x0_resize_q75_box.jpg 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/FIFO_hu1f9ef358d98fa79ae89d09bc8323061c_12585_1024x0_resize_q75_box.jpg 1024w" loading="lazy" alt="First In First Out, source:https://en.wikipedia.org/wiki/FIFO_%28computing_and_electronics%29" class="gallery-image" data-flex-grow="158" data-flex-basis="380px" ></p> </li> </ul> <h3 id="最重要的觀念">💫最重要的觀念💫</h3> <p>如何達到高效能、容錯且可擴展的呢?</p> <h4 id="partition">partition</h4> <ul> <li> <p>Partition 是最小的存儲單元 <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/01.png" width="1080" height="601" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/01_hu744ad90d8ee661de56063cb174dff7c8_235967_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/01_hu744ad90d8ee661de56063cb174dff7c8_235967_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="179" data-flex-basis="431px" ></p> </li> <li> <p>一個 Partition 內部消息有序，一個 Topic 跨 Partition 是無序的。 <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/02.png" width="1080" height="520" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/02_hu3284de12ac4cff1966242054d24b6a5c_728647_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/02_hu3284de12ac4cff1966242054d24b6a5c_728647_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="207" data-flex-basis="498px" > <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/03.png" width="698" height="590" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/03_hub073a7a655e622b4ac85bdd1cd9c7c48_210484_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/03_hub073a7a655e622b4ac85bdd1cd9c7c48_210484_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="118" data-flex-basis="283px" ></p> </li> <li> <p>一個 Kafka cluster由多個 Broker（就是 Server） 構成，每個 Broker 中含有 cluster 的部分數據。</p> <ul> <li>Partition 分佈在多個 Broker 的話，Consumer 的多個實例就可以連接不同的 Broker</li> <li>好處 <ul> <li>Topic 就可以水平擴展</li> <li>支持更多的 Consumer</li> <li>一個 Consumer 實例負責一個 Partition <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/04.png" width="1080" height="588" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/04_hu9df9c2d8a44e24fac982d8c6b378c6b4_463876_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/04_hu9df9c2d8a44e24fac982d8c6b378c6b4_463876_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="183" data-flex-basis="440px" ></li> </ul> </li> </ul> </li> <li> <p>數據冗餘</p> <ul> <li>一個 Partition 生成多個副本，並且把它們分散在不同的 Broker。</li> <li>如果一個 Broker 故障了，Consumer 可以在其他 Broker 上找到 Partition 的副本，繼續獲取消息。</li> </ul> </li> <li> <p>寫入 Partition 的方式</p> <ul> <li>給 Kafka 決定 <ul> <li>若沒有 key 則 kafka 以 round robin 方式將訊息寫入 partition，但這樣就不保證順序性了，若需要有順序性，請參考下面一個方式 <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/05.png" width="847" height="614" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/05_hu7adb8fef5a4461cb66826d8f5528082e_158389_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/05_hu7adb8fef5a4461cb66826d8f5528082e_158389_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="137" data-flex-basis="331px" ></li> </ul> </li> <li>使用 Partition Key 寫入特定 Partition <ul> <li>kafka 保證使用相同的 key 會將訊息放到同一個 partition，並且保證順序性 ( in order )</li> <li>舉例，如果相同客戶的資訊有序地取得，表示需要放在同一個 partition，可以使用 customer id 作為 partition key，這樣同一個 customer 的資料都會放到同一個 partition <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/06.png" width="827" height="622" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/06_huae17a34b446bfa39d9899ec7a7d45732_138399_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/06_huae17a34b446bfa39d9899ec7a7d45732_138399_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="132" data-flex-basis="319px" ></li> </ul> </li> </ul> </li> <li> <p>讀取 partition <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/07.png" width="1368" height="751" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/07_hud5080fe6ac86749543c5228e1a603204_275585_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/07_hud5080fe6ac86749543c5228e1a603204_275585_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="182" data-flex-basis="437px" ></p> <ul> <li>consumer group <ul> <li>多個 consumer 組合成一個 consumer group，目的是為了<strong>水平擴展(scale out)</strong> consumer</li> <li>決定 consumer group 要從哪裡開始讀取資料的關鍵是 consumer offsets <ul> <li>offsets 會被存在 topic name 中</li> <li>如果 consumer 讀取資料完畢，則會 commit offsets <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/08.png" width="519" height="250" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/08_hu37fa375a3ca6eee0640a804803663223_19691_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/08_hu37fa375a3ca6eee0640a804803663223_19691_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="207" data-flex-basis="498px" > <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/09.png" width="1261" height="615" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/09_hudf56ad857977013a5721689d05bf4b0e_359612_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/09_hudf56ad857977013a5721689d05bf4b0e_359612_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="205" data-flex-basis="492px" > <img src="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/10.png" width="916" height="214" srcset="https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/10_hu37bf28b82deed242038d260af9cbaad5_71844_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/kafka-%E7%B0%A1%E4%BB%8B/10_hu37bf28b82deed242038d260af9cbaad5_71844_1024x0_resize_box_3.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="428" data-flex-basis="1027px" ></li> </ul> </li> </ul> </li> </ul> </li> </ul> <h4 id="apache-zookeeper">apache zookeeper</h4> <ul> <li>an open-source server which enables highly reliable distributed coordination</li> <li>通過冗餘服務實現高可用性</li> </ul> <h2 id="參考資料-">參考資料 👐</h2> <ul> <li><a class="link" href="https://youtu.be/y9BStKvVzSs" target="_blank" rel="noopener" >Apache Kafka® 101: Partitioning</a></li> <li><a class="link" href="https://www.readfog.com/a/1635090175644241920" target="_blank" rel="noopener" >細說 Kafka Partition 分區</a></li> <li><a class="link" href="https://www.confluent.io/apache-kafka-vs-confluent/" target="_blank" rel="noopener" >Apache Kafka vs Confluent: Comparing Features &amp; Capabilities</a></li> <li><a class="link" href="https://aws.amazon.com/tw/msk/faqs/" target="_blank" rel="noopener" >全受管 Apache Kafka - Amazon MSK 常見問答集 - Amazon Web Services</a></li> </ul> <p><strong>🍀 最後，若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵!✨</strong></p> https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E5%9B%9B-publish/subscribe-pattern/ Wed, 18 Jan 2023 20:13:18 +0800 https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E5%9B%9B-publish/subscribe-pattern/ <h2 id="publishsubscribe-pattern">Publish/Subscribe Pattern</h2> <h3 id="publishsubscribe-pattern-pubsub-簡介">Publish/Subscribe Pattern (Pub/Sub) 簡介</h3> <ul> <li>一種包含 publisher、subscriber 與 broker 的訊息模型 <ul> <li><strong>publisher</strong> - 將訊息<strong>傳送至特定 topic</strong>(也可能被稱呼為 <strong>channels</strong>)，不需要擔心誰需要收到這筆消息</li> <li><strong>subscriber</strong> - <strong>訂閱特定 topic</strong> 後，將會收到來自此 topic 的訊息</li> <li><strong>broker</strong> - 負責將 topic 的訊息轉發給 subscriber</li> </ul> </li> <li>通常有以下的保證，如「<strong>至少傳送一次</strong>」、「<strong>持久化</strong>」、「<strong>訊息的順序性</strong>」、「<strong>訊息可重送多次</strong>」 <ul> <li>若相同<strong>訊息可重送多次</strong>，不會影響結果就是符合冪等性(idempotent)，需要 consumer 另外實作</li> </ul> </li> </ul> <p><img src="https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E5%9B%9B-publish/subscribe-pattern/publish-subscribe.png" width="1531" height="543" srcset="https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E5%9B%9B-publish/subscribe-pattern/publish-subscribe_hu398db46b8eff78fda80a450631206aab_25455_480x0_resize_box_3.png 480w, https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E5%9B%9B-publish/subscribe-pattern/publish-subscribe_hu398db46b8eff78fda80a450631206aab_25455_1024x0_resize_box_3.png 1024w" loading="lazy" alt="source:https://learn.microsoft.com/en-us/azure/architecture/patterns/publisher-subscriber" class="gallery-image" data-flex-grow="281" data-flex-basis="676px" ></p> <h3 id="有哪些-pubsub-服務">有哪些 Pub/Sub 服務?</h3> <p>這邊舉幾個服務，後續再寫一篇較詳細文章來比較之間差異</p> <h4 id="rabbitmq">RabbitMQ</h4> <ul> <li>最廣泛使用的 message broker，特色是輕量級輕鬆部屬，但也有支援 distributed 以符合 high-scale 與 high-availability 的要求</li> <li><a class="link" href="https://www.rabbitmq.com/" target="_blank" rel="noopener" >點我看更多👀</a></li> </ul> <h4 id="apache-kafka">Apache Kafka</h4> <ul> <li>最先是由 LinkedIn 創立的一款<strong>分散式訊息系統 (distributed messaging system)</strong>，由 Scala 和 Java 編寫的 open-source 專案，<a class="link" href="https://kafka.apache.org/" target="_blank" rel="noopener" >點我看更多👀</a></li> </ul> <p><img src="https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E5%9B%9B-publish/subscribe-pattern/Overview_of_Apache_Kafka.jpg" width="416" height="309" srcset="https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E5%9B%9B-publish/subscribe-pattern/Overview_of_Apache_Kafka_hue991647147ca2d95c15c545730161e7a_23969_480x0_resize_q75_box.jpg 480w, https://yue-jenny.github.io/2023/01/%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%9F%BA%E7%A4%8E%E7%AD%86%E8%A8%98%E5%9B%9B-publish/subscribe-pattern/Overview_of_Apache_Kafka_hue991647147ca2d95c15c545730161e7a_23969_1024x0_resize_q75_box.jpg 1024w" loading="lazy" alt="Kafka 概覽。source: wiki" class="gallery-image" data-flex-grow="134" data-flex-basis="323px" ></p> <ul> <li>原本的 Kafka 團隊有出雲端受託管版本的 Kafka - <strong>Confluent Cloud (Cloud Native Apache Kafka®)</strong>，<a class="link" href="https://www.confluent.io/apache-kafka-vs-confluent/" target="_blank" rel="noopener" >點我看更多👀</a></li> <li>另外，AWS 也有是出自己的雲端版本的 Kafka - <strong>Amazon MSK</strong>，<a class="link" href="https://aws.amazon.com/tw/msk/" target="_blank" rel="noopener" >點我看更多</a></li> </ul> <h4 id="cloud-pubsub">Cloud Pub/Sub</h4> <ul> <li>Google 創立的雲端 Pub/Sub 服務，可用於<strong>串流服務、非同步微服務整合</strong>。<a class="link" href="https://cloud.google.com/pubsub?hl=zh-tw" target="_blank" rel="noopener" >點我看更多👀</a></li> </ul> <h2 id="參考資料-">參考資料 👐</h2> <ul> <li>system expert</li> <li><a class="link" href="https://zh.wikipedia.org/zh-tw/Kafka" target="_blank" rel="noopener" >wiki - Kafka</a></li> <li><a class="link" href="https://learn.microsoft.com/en-us/azure/architecture/patterns/publisher-subscriber" target="_blank" rel="noopener" >publisher-subscriber pattern</a></li> </ul> <p><strong>🍀 最後，若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵!✨</strong></p>