System Design Fundamental on Jenny blog

系統設計基礎筆記(十) Replication And Sharding

Tue, 14 Feb 2023 15:00:24 +0800

Replication And Sharding

前言

Replication

目的是建立一個高可用的資料庫架構
可以選擇同步或非同步的方式進行 main 與 replication 資料庫的同步方式

Sharding

目的是為了建立高吞吐量的資料庫架構
透過將資料切片，存在不同的節點，可減少對一個節點太多次存取資料造成的負擔，換句話說，即能增加吞吐量
達成 sharding 的策略有
- hashing strategy，此部分相關議題為 Consistent Hashing
- 使用不同 table (需要確認資料夠 unitform) 存取

參考資料 👐

system experts
How to Use Consistent Hashing in a System Design Interview?

🍀 若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵

系統設計基礎筆記(九) Peer-To-Peer Networks

Fri, 10 Feb 2023 09:58:46 +0800

Peer-To-Peer Networks

P2P network

介紹

對等式網路，又稱對等技術，依靠使用者群（peers）交換資訊的網際網路體系
目標就是讓所有的客戶端都能提供資源，包括頻寬，儲存空間和計算能力。因此，當有節點加入且對系統請求增多，整個系統的容量也增大。這是具有一組固定伺服器的Client-Server結構不能實現的，因為在上述這種結構中，客戶端的增加意味著所有使用者更慢的資料傳輸。
根據中央化程度，可以區分為一般型P2P、特殊型P2P與混合型P2P，使用一般型P2P技術的網路系統有比特幣、Gnutella或自由網等。

好處

不會因為單點故障就導致整體服務無法運作
不會讓單點遇到效能瓶頸

Gossip Protocol

簡介

又稱作 epidemic protocol，是 P2P network 的核心技術
Gossip protocol 的實際應用如 Cassandra / Redis Cluster / Consul 等集群架構
- consul 用於管理 membership 與傳播消息，有興趣可點這邊
廣度優先遍歷(Breadth-First Search, BFS)
- 假設 A 得到某些資訊，更新了自身的資訊，A 需要將資訊告訴 B、C 等，然後 B、C 告訴其他的 D、E、F、G，一直遍歷。如果節點 B 收到 A 的消息，發現自己早就知道這個消息就直接忽略，從而可以防止圖重複遍歷。

執行過程

Gossip 過程是異步的，也就是說發消息的節點不會關注對方是否收到，即不等待響應；不管對方有沒有收到，它都會每隔1 秒向周圍節點發消息

通信模式

Push:
- 節點 A 將數據 (key,value,version) 及對應的版本號推送給節點 B，節點 B 更新 A 中比自己新的數據
Pull:
- A 僅將數據 key, version 推送給 B，B 將本地比 A 新的數據（Key, value, version）推送給 A，A 更新本地
- 對 A 來說是 pull
Push/Pull:
- 與 Pull 類似，步驟上多一步，A 再將本地比 B 新的數據推送給 B，B 則更新本地
- 收斂速度最快，收斂速度是指所有節點的資訊達到一致的速度

優點

擴展性 (scalability)
- 允許任意節點的增加和減少
容錯 (Fault tolerance)
- 任何節點的故障和重啟都不會影響 Gossip 消息的傳播
去中心化 (decentralization)
- 所有節點都可以是對等的，任何一個節點無需知道整個狀況，只要網路相通，任意一個節點就可以把消息散播到全網
一致性收斂
- 消息會以一傳十、十傳百一樣的指數級速度在網路中快速傳播，因此系統狀態的不一致可以在很快的時間內收斂到一致
簡易實現

缺點

latency
- 節點只會隨機向少數幾個節點發送消息，消息最終是通過多個輪次的散播而到達全網
消息冗餘
- 節點會定期隨機選擇周圍節點發送消息，而收到消息的節點也會重複該步驟，因此就不可避免的存在消息重複發送給同一節點的情況，造成了消息的冗餘，同時也增加了收到消息的節點的處理壓力。
- 由於是定期發送，即使收到了消息的節點還會反複收到重複消息，加重了消息的冗餘。

參考資料 👐

🍀 若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵

系統設計基礎筆記(八) Pulling And Streaming

Mon, 06 Feb 2023 23:24:44 +0800

Pulling And Streaming

Prerequistites

Client-Server Model
- client 發 request，server 提供資料或服務給 client
Socket
- 是一種一種網路傳輸協定，實現 client 與 server 的雙向溝通機制，使用 TCP 連線，透過 HTTP 3-way handshake 建立連線
- 目的是可以即時地讓雙方交換資訊，應用場景如聊天室
- 優點是較少開銷、即時性、二進位支援等

Polling

每隔多少固定的時間去更新資料

Streaming (Pushing)

持續與 server 保持連線，並隨時取得最新資料

參考資料 👐

🍀 若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵

系統設計基礎筆記(七) Configuration

Sat, 04 Feb 2023 10:30:09 +0800

Configuration

Static Configuration V.S Dynamic Configuration

Static Configuration

以 YAML 或 JSON 為主的設定檔

YAML:

---
receipt:     Oz-Ware Purchase Invoice
date:        2012-08-06
customer:
    given:   Dorothy
    family:  Gale

JSON

{
    "streetAddress": "21 2nd Street",
    "city": "New York",
    "state": "NY",
    "postalCode": "10021"
}

需要跟 source code 結合
需要 re-deploy 應用才能更新設定

Dynamic Configuration
- UI 介面去控制設定
- 需要去實作此 feature

參考資料 👐

🍀 若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵

系統設計基礎筆記(六) Rate Limiting

Thu, 02 Feb 2023 10:55:49 +0800

Rate Limiting

Prerequistites

DDOS
- 分散式阻斷服務攻擊（distributed denial-of-service attack）亦稱洪水攻擊
DoS
- 阻斷服務攻擊（英語：denial-of-service attack）
- 預防方式是使用 rate limit, 可以限制 IP, 使用者帳戶, 區域等等。

Rate Limiting

意思就是限流
根據維基百科，定義是「控制計算機發送或接收的請求之頻率」

Rate Limiting for Multiple Server

use Redis to implement rate limiting for multiple servers

Application Layer 如何實現 Rate Limit

實現方式
- 在 Node.js 裡，有一個用來做限流的 express middleware 叫做 express-rate-limit，可看這篇
缺點
- 在 API server 裡面自己用 middleware 做限流，雖然這樣做感覺很方便，但也會讓 API server 無法完全專注在業務邏輯上

AWS WAF (Web Application Firewall)

目的是保護您的 Web 應用程式免受常見 Web 入侵程式的危害

運作方式

關於 AWS WAF components

Web ACLs
- 目的是保護 AWS resources，藉由建立一組 web ACL 並新增 rules 去定義保護策略
- 屬於 AWS WAF resource
Rules
- 顧名思義，定義檢查標準 (inspection criteria)，當有 matching requests，可以做的事情如允許通過、計算他們或者執行 CAPTCHA puzzles 去檢查是否為機器人
- 不屬於 AWS WAF resource
Rule groups
- 可以組合自己的 rule groups，也可以直接在 web ACL 中定義規則
- 屬於 AWS WAF resource

關於 Web ACL capacity units (WCU)

使用 WCU 來計算與控制運行規則、規則組和 Web ACL 所需的操作資源
- For example, a size constraint rule statement uses fewer WCUs than a statement that inspects against a regex pattern set.
AWS WAF 會管理 Rule capacity, Rule group capacity, Web ACL capacity，詳情可以參考這篇

關於 Resources that you can protect with AWS WAF

使用 AWS WAF web ACL 去保護全球或區域性的 resource types，只需要將 web ACL 連結到你想要保護的 resources 上，官方提供 Amazon CloudFront 以及 Regional resources 特別說明
- Note: Amazon CloudFront 是一項內容交付網路(CDN) 服務，可協助您以高速效能、安全和開發人員易用性快速、可靠地分發靜態和動態內容。
限制
- 一個 web ACL 可以連結多個 AWS resources，一個 AWS resource 僅連結一個 web ACL
- 一個 web ACL 可以連結多個 CloudFront distributions，且已連結到 CloudFront distribution 的 web ACL 不能再去連結其他 AWS resource type

使用情境，舉例 3 點

篩選 Web 流量
- 建立規則以根據各種條件篩選 Web 請求，例如 IP 地址、HTTP 標頭和內文，或自訂 URI。
防止帳戶接管詐騙
- 監控應用程式的登入頁面，偵測以盜用憑證對使用者帳戶進行的未經授權存取。
使用 API 管理 AWS WAF
- 自動建立和維護規則，並將這些規則併入開發和設計程序中。

比較 AWS WAF, AWS Shield 與 AWS Firewall Manager

AWS WAF
- monitor requests that are forwarded to your web applications and control access to your content.
AWS Shield
- help protect against DDoS attacks.
AWS Firewall Manager
- set up your firewall rules and apply the rules automatically across accounts and resources, even as new resources are added.

參考資料 👐

🍀 若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵

系統設計基礎筆記(五) Logging And Monitoring

Thu, 26 Jan 2023 12:16:48 +0800

Logging And Monitoring

前言

Prerequistites

Logging
Monitoring
Alerting

Elastic Search, Logstash, Kibana (ELK)

Elasticsearch 的核心是搜索引擎、採集管道Logstash 和可視化工具Kibana。

Elastic Search

Introduce

一個建置在 Apache Lucene 上的分散式搜尋和分析引擎，提供 near real-time 的數據搜尋與分析，能夠儲存複雜結構的數據
授權不是開放原始碼，也不向使用者提供相同的自由。因此引進了 OpenSearch 專案，此專案是一個社群驅動型 ALv2 許可的開放原始碼 Elasticsearch 和 Kibana 分支
列舉幾項應用場景:
- 網站或應用的 search box
- 儲存與分析 logs, metrics 等 structured 或 unstructured 文字進而找出安全漏洞
- 將 Elasticsearch 作為儲存引擎去自動化 workflows
- 將 Elasticsearch 作為 GIS 去整合與分析空間資料
- 將 Elasticsearch 作為生物訊息搜尋工具去儲存與處理基因資料

以資料流來簡易說明 Elasticsearch 8.6(current) 做的事情

documents and indices
- 儲存已序列化為 JSON 文檔的複雜數據結構
- 有多個 Elasticsearch 節點時，存儲的文檔分佈在集群中，並且可以從任何節點立即訪問
- 支援快速搜尋，因為使用了 “inverted index” 的數據結構，每種數據都有專屬並優化過的結構，如
  - text fields are stored in inverted indices
  - numeric and geo fields are stored in BKD trees
- 支援 schema-less，當不確定如何處理文檔中的字段時使用，需啟用 “dynamic mapping”
search and analyze
- 支援 structured queries, full text queries 以及結合兩種搜尋方式
- 除此之外，也有支援高性能地理空間與數值數據搜尋
- 透過 Elasticsearch’s comprehensive JSON-style query language (Query DSL) 可以去訪問這些搜尋功能
- 結合 JDBC 與 ODBC drivers 可以讓第三方 applications 更加廣泛地透過 SQL 與 Elasticsearch 互動
scalabilty and resilience
- Elasticsearch 可根據您的需求進行擴展，並且知道如何平衡多節點 cluster
- 運作方式
  - 將 shards 分布到多個 nodes 上，利用確保冗餘 (redundancy) 可以達到防止 hardware failures 以及增加 query capacity (讀取請求的能力)，當 nodes 數量增減，Elasticsearch 會自動遷移 shard 以重新平衡集群
- shard 有兩種 types
  - primaries:
    - Each document in an index belongs to one primary shard.
    - 數量固定。
  - replicas:
    - a copy of a primary shard.
    - 為了冗餘 (redundancy)，可以達到防止 hardware failures 以及增加 query capacity (讀取請求的能力)。
    - 數量可以更改。

Logstash

Introduce

一種開放原始碼資料擷取工具，可讓您從各種來源收集資料、轉換資料並將資料傳送到所需目的地。憑藉預先建置的篩選條件和對 200 多個外掛程式的支援，Logstash 可讓使用者輕鬆擷取資料，而不管資料來源或類型如何。

架構:

一個輸入，一個輸出，中間有個管道（不是必須的），這個管道用來收集、解析和轉換日誌的。
three stages: inputs → filters → outputs
Inputs generate events, filters modify them, and outputs ship them elsewhere.

簡介 Inputs, Filters 與 Outputs
- Inputs 如 file, syslog, redis or beat
  - 參考這篇 configure Filebeat to send log lines to Logstash
- Filters 如 grok, mutate, drop, clone, geoip
  - grok: 解析與重組文字，Logstash 中用來解析非結構性的 log 的最好方式，可參考這篇
  - mutate: 能夠 rename, remove, replace, and modify fields in your events
  - drop: 完整剔除一個 event
  - clone: 複製一個 event
  - geoip: 加入一些新的資訊，如 IP 地址
- Outputs 如 elasticsearch, file, graphite, statsd
  - elasticsearch: 放在這邊的優點是效率、方便且容易搜尋的
  - file: 寫入檔案內
  - graphite: 一個 open-source 的儲存時序資料與 render graphs 工具
    - 根據官方文件介紹
      
      Graphite does two things:
      1.Store numeric time-series data
      2.Render graphs of this data on demand
  - statsd:
    - 用途是監控應用程式，方式是將 metrics 收集、儲存並建立對應的警報機制
    - 原理是監聽 UDP (或 TCP) 的程式並收集數據，將數據傳送給其他應用程式。
    - 重要概念
      - bucket: 每個 stat 擁有自己的 bucket
      - value: 每個 stat 擁有一個 value，通常是 integer
      - type: 指定 c (用於計數器)、g (用於測量儀)、ms (用於計時器)、h (用於長條圖) 或 s (用於 set)
    - 官方文件
- Codecs plugins
  - 可在 input 或者 output 流程去更改數據顯示的格式
  - codec-plugins

整合多種 data source

參考這篇範例, conf 檔設定值應如下:

input {
    twitter {
        consumer_key => "enter_your_consumer_key_here"
        consumer_secret => "enter_your_secret_here"
        keywords => ["cloud"]
        oauth_token => "enter_your_access_token_here"
        oauth_token_secret => "enter_your_access_token_secret_here"
    }
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => ["IP Address 1:port1", "IP Address 2:port2", "IP Address 3"]
    }
    file {
        path => "/path/to/target/file"
    }
}

Kibana

一種用於檢視日誌和事件的資料視覺化和探索工具。Kibana 提供易於使用的互動式圖表、預先建置的彙總和篩選條件以及地理空間支援

Introduce

一種用於檢視日誌和事件的資料視覺化和探索工具。Kibana 提供易於使用的互動式圖表、預先建置的彙總和篩選條件以及地理空間支援
透過 kibana 能做到:
- 透過搜尋與觀察你的數據進而找出安全漏洞
- 分析與視覺化你的數據
- 管理數據、監測 Elastic Stack cluster 健康程度與權限控管

Kibana Query Language (KQL)

only filters data, and has no role in aggregating, transforming, or sorting data
filter documents where a value for a field exists, matches a given value, or is within a given range
example
- filter for documents where the http.request.method is GET, use the following query:
```
http.request.method: GET
```
- search for all documents for which http.response.bytes is less than 10000:
```
http.response.bytes < 10000
```
- filter documents where the http.request.method is not GET, use the following query:
```
**NOT** http.request.method: GET
```
- find documents where a single value inside the user array contains a first name of “Alice” and last name of “White”, use the following:
```
user:{ first: "Alice" and last: "White" }
```

Lucene query syntax

regular expressions or fuzzy term matching
Lucene syntax is not able to search nested objects or scripted fields.
example
- find entries that have 4xx status codes and have an extension of php or html:
```
status:[400 TO 499] AND (extension:php OR extension:html)
```

Prometheus

介紹

open-source systems monitoring and alerting toolkit
Cloud Native Computing Foundation (CNCF) in 2016 as the second hosted project
- NOTE: 第一個被 CNCF hosted 的 project 是 kubernetes
collects and stores its metrics as time series data

優點

recording any purely numeric time series
support for multi-dimensional data collection and querying
Prometheus server is standalone, not depending on network storage or other remote services

缺點

不適合需要 100% accuracy 的服務

功能

a multi-dimensional data model with time series data identified by metric name and key/value pairs
PromQL, a flexible query language to leverage this dimensionality
no reliance on distributed storage; single server nodes are autonomous
time series collection happens via a pull model over HTTP
pushing time series is supported via an intermediary gateway
targets are discovered via service discovery or static configuration
multiple modes of graphing and dashboarding support

metrics 介紹

metrics are numeric measurements
Metrics play an important role in understanding why your application is working in a certain way.
支援四種 metrics types, 這篇有更詳細的介紹
- Counter - only increase or reset
- Gauge - 使用情境如計算 number of pods in a cluster, number of events in an queue
- Histogram - 使用情境可以是任何需要計算的值，如 API requests 所花費的時間，Histogram 會將數據存在 buckets 中，會先定義 buckets - lower or equal 0.3 , le 0.5, le 0.7, le 1, and le 1.2，接著計算完每次 request 所花費的時間後可以將對應到 bucket 的 count 加一，如下圖
- Summary - Histogram 的替代方案，因為更便宜，但付出的代價是 lose more data，原理是計算 metrics 的層級是 application level，所以當同一個 process 有諸多 instances 的話會無法計算

Components

the main Prometheus server which scrapes and stores time series data
client libraries for instrumenting application code
a push gateway for supporting short-lived jobs
special-purpose exporters for services like HAProxy, StatsD, Graphite, etc.
an alertmanager to handle alerts
various support tools

Grafana

介紹

Grafana Labs 開發的 open-source 專案之一，還有其他專案，如 Grafana Loki (Like Prometheus, but for logs!), Grafana k6 (load testing tool)…
query, visualize, alert on, and explore your metrics, logs, and traces wherever they are stored.

功能

Explore metrics, logs, and traces

以 RBAC ( Role-based access Control ) 來決定誰能夠 explore 這些數據
利用以下功能來查詢到更多數據趨勢與細節，細節參考這篇
- query management in explore
- logs integration in explore
- trace integration in explore
- inspector in explore: 目的是 troubleshoot 你的 queries，可以將數據導出至 csv 檔案，logs 導出至 txt 檔案

Alerts

參考這篇去建立 alert rules，包含設定 threshold, interval, duration
「缺少數據」也能被設定 alert 行為

Annotations

Hover over events to see the full event metadata and tags.
參考這篇可進行 Add annotation, Add region annotation, Edit annotation, Delete annotation, Built-in query, Query by tag 等功能

Grafana provides many ways to authenticate users

預設是提供 password authentication，其他詳細請看這篇

參考資料 👐

🍀 若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵

系統設計基礎筆記(四) Publish/Subscribe Pattern

Wed, 18 Jan 2023 20:13:18 +0800

Publish/Subscribe Pattern

Publish/Subscribe Pattern (Pub/Sub) 簡介

一種包含 publisher、subscriber 與 broker 的訊息模型
- publisher - 將訊息傳送至特定 topic(也可能被稱呼為 channels)，不需要擔心誰需要收到這筆消息
- subscriber - 訂閱特定 topic 後，將會收到來自此 topic 的訊息
- broker - 負責將 topic 的訊息轉發給 subscriber
通常有以下的保證，如「至少傳送一次」、「持久化」、「訊息的順序性」、「訊息可重送多次」
- 若相同訊息可重送多次，不會影響結果就是符合冪等性(idempotent)，需要 consumer 另外實作

有哪些 Pub/Sub 服務?

這邊舉幾個服務，後續再寫一篇較詳細文章來比較之間差異

RabbitMQ

最廣泛使用的 message broker，特色是輕量級輕鬆部屬，但也有支援 distributed 以符合 high-scale 與 high-availability 的要求
點我看更多👀

Apache Kafka

最先是由 LinkedIn 創立的一款分散式訊息系統 (distributed messaging system)，由 Scala 和 Java 編寫的 open-source 專案，點我看更多👀

原本的 Kafka 團隊有出雲端受託管版本的 Kafka - Confluent Cloud (Cloud Native Apache Kafka®)，點我看更多👀
另外，AWS 也有是出自己的雲端版本的 Kafka - Amazon MSK，點我看更多

Cloud Pub/Sub

Google 創立的雲端 Pub/Sub 服務，可用於串流服務、非同步微服務整合。點我看更多👀

參考資料 👐

🍀 最後，若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵!✨

系統設計基礎筆記(三) MapReduce

Wed, 18 Jan 2023 10:32:40 +0800

MapReduce

前言

MapReduce 是一個 Google 提出的軟體架構，適用於大規模資料的並列運算

Prerequistites

File System
- 資料的儲存系統
- 有許多不同型態，例如以垂直結構為主的目錄與資料夾、Object storage 等
Distributed File System
- 分散式檔案系統，透過一大群機器(cluster)互相合作，對外表現如同一個巨大的 file system，將 data 切成特定大小的 chunks (如 4 MB 或 64 MB)，會透過 central control plane 會決定應該將 chunks 存在哪一個 node，後續應該去哪一個 node 讀取 chunks
- 主要操作方式是透過網路以定義好的通訊協定進行資料存取
- 目前現有的產品有 Google File System (GFS)、Hadoop Distributed File System (HDFS)
Hadoop
- 支持 MapReduce 與資料管線的 open-source 框架，最重要的中央組件為 Hadoop Distributed File System (HDFS)

各階段簡介

Map 階段

負責 filtering 和 sorting 並且組合出一個 key value pair 結果

Reduce 階段

負責資料整合
以 wordcount 為例，從 Map 傳過來的 key 若一樣，表示同一個字，因此把一樣的 key 做加總，可以得出最後的出總筆數

冪等性(idempotency)特性

意義: 當操作多次，結果應呈現一致
透過 pub/sub messaging system 應當有冪等性，因為 pub/sub 系統本身允許相同訊息被 consumer 接收多次
舉例，增加資料庫某欄位的 integer value，就不是一個具有冪等性的操作，因為保持每次增加的操作後都不會保持跟前一個相同的數值
另一舉例，將欄位值設定為 “DONE”，多次重複此操作，還是會顯示為 “DONE”，因此設定為 “DONE” 是一個冪等性操作

範例

input
- 要做計算的原始資料，可以是一堆文字清單等
split
- 把 input 資料做分散處理
- 以 hadoop 來說，當 MapReduce 工作被輸入的時候，會被切割到各個 cluster 裡面等待做處理
🔔map
- MapReduce 的 map 階段
- 每一個節點有自己的一份資料要分析，會把對應切割出來的資料建立 key value 的結果
- key 是字本身，value 是 1 代表找到一筆
combine
- 在 map 的機器進行以下動作
- 將一樣的 key 先做一次加總，避免傳送多次出去，例如 combine 後的結果可能是 “A” 有 2 筆、“B” 有 1 筆等
shuffle & sort
- 在進入 reduce 階段之前，會先被做一個排序，因此相關的 key 會放在一起
- 比如第一批資料的 “A” 有 2 筆、第二批資料的 “A” 有 5 筆…第一批資料的 “B” 有 1 筆、第二批資料的 “B” 有 3 筆
🔔reduce
- 此階段會做實際的加總，因此每一個 key 的 value 會被加總
output
- 最後得到的結果

參考資料 👐

🍀 最後，若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵!✨

系統設計基礎筆記(二) Cache

Tue, 17 Jan 2023 11:04:46 +0800

Cache 快取

前言

快取對於系統層面上相當重要，用的好、用的巧，有助於整體系統的順暢度。
因此目標是了解👉為什麼使用、👉使用策略與👉何時使用。

Prerequistites

cache
- 意思是將一部分的資料儲存起來，需要使用的時候，不需要經過後端或者資料庫再拿一次，優勢是取得資料較快
- 通常使用的情境是將常用且不經常修改的 response 儲存，不必每次都去跟後端與資料庫請求
cache hit
- 需要的資料能在快取中找到 🉐
cache miss
- 需要的資料無法在快取中找到 🈚
content delivery network (CDN)
- 一種第三方服務，扮演的角色就像快取，為什麼呢 ? 請往下看
- 越來越多服務的據點散布全球🌏，若 server 只有在幾個國家，其他國家的使用者可能會遇到網頁轉很久等問題⌛，中間網路傳輸耗時太長導致 latency 長，此時若有散布全球的 CDN server，請求就能先傳送到 CDN server 處理，縮短 latency
- 舉例一些 CDN 廠商，如 Cloudflare 與 Google cloud CDN

3 個使用快取的目的

利用前端快取，減少請求到後端
減少對資料庫的請求，降低資料庫壓力
避免 long compute operation，增加系統速度

快取更新機制

write through cache
- 同時更新資料庫與快取的資料
write back cache
- 先更新快取，再以非同步的方式更新資料庫的資料

快取替換機制 Cache eviction policy

Least Recently Used (LRU)
- 依照最近使用時間來排序
- 思路:
  - 最近使用時間最接近，表示近期內使用到的可能性也越高
  - 優先替換掉最近使用時間距離當下最遠的那組數據
Least Frequently Used (LFU)
- 依照使用頻率來排序
- 思路:
  - 使用次數越高⬆️，表示近期內使用到的可能性也越高⬆️
  - 優先替換掉使用次數最低的那組數據
First in First out (FIFO)
- 顧名思義，先進先出
- 思路: 最先進去快取的資料，越早會被淘汰

參考資料 👐

System expert

🍀 最後，若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵!✨

系統設計基礎筆記(一) Security And HTTPS

Mon, 16 Jan 2023 12:35:00 +0800

Security And HTTPS

前言

除了了解前/後端語言與框架如何使用外，也希望能對 Http/Https 的原理與安全機制有所了解。

Prerequistites

IP Packet
- 透過 IP 傳送的最小數據的單位，通常會包含 IP Header 與 payload
- IP Header 包含來源與目的地的 IP Address
- payload 就是你要傳送的資料
Man-In-The-Middle Attack (又稱呼為 MITM)
- 意思是攔截 client 與 server 間傳送的訊息 💬
- 若 client 與 server 間傳送訊息有透過加密與 Https 可防止資料被竊取
Symmetric Encryption (對稱加密)
- 加密與解密資料都使用同一把 key 🔑
- 缺點是安全性會有所疑慮，key 通常會被分享到一個點或多個點
- 優點是速度比非對稱加密快 🐇
- 最廣泛使用的演算法是 Advanced Ecryption Standard(AES)
Asymmetric Encryption (非對稱加密)
- 加密與解密資料會利用到兩把 key 🔑🔑，分別為 public key 與 private key
- public key 負責加密資料，只能利用相對應的 private key 解密資料
- 所以 public key 分享給需要加密資料的一端，而 private key 則需要 安全地保存 ㊙️
- 速度會比對稱加密慢 🐢
Advanced Ecryption Standard(AES)
- 最廣泛使用的加密標準
- 三種對稱演算法分別為 AES-128、AES-192、AES-256
Transport Layer Security (TLS)
- 在傳輸層的一種協定，目的是為了網路通訊時的安全，確保沒有第三方能竊聽或者竊取任何資訊
- 衍生於另一種安全協定 Secure Socket Layer (SSL)
SSL certificate
- 由 certificate authority (CA) 頒發給 server 的數位憑證
- 內容包含 server 端的 public key，因為在 TLS Handshake 過程中會使用到
- 目的是確認

Http vs Https

Http

全名為 HyperText Transfer Protocol
一種常見的網路通訊協議
流程是 client 送出 http request，而 server 送出回應

Https

全名為 HyperText Transfer Protocol Secure
顧名思義是為了可於網路上🔐安全地通訊而出現的一種網路通訊協議
為了達到上述要求，因此 server 被要求須具備以下兩項
- 須獲得可信任的憑證(SSL certificates)
- 使用 Transport Layer Security (TLS) 加密 client 與 server 端的數據。TLS 如何運作，請往下看。

TLS 連接是透過 TLS Handshake 來啟動

流程
- client 送出 client hello (隨機的 bytes) 給 server
- server 回應 server hello (也是隨機的 bytes) 以及 SSL certificate
- client 驗證 CA 頒發的憑證，確認憑證正確屬於此 server 擁有
- client 接著會送出一組用 public key 加密的 premaster secret 給 server
- client 和 server 將會使用 client hello, server hello與 premaster secret 產生對稱加密的 session keys，用於後續的通訊內容的加密與解密 🔐

TCP 利用 Handshake 方式來連接與斷連

TCP 三次握手(建立連線)

流程
- 第一次握手：
  - 客戶端傳送請求 SYN 報文給服務端，傳送完畢之後，客戶端處於 SYN_Send 狀態。
- 第二次握手：
  - 服務端收到請求報文之後，如果同意連線，會回傳 SYN + ACK 應答報文，服務端為SYN_Receive狀態
- 第三次握手：
  - 客戶端接收到服務端的 SYN + ACK ，然後傳送確認報文作為應答，客戶端轉為Established狀態
為什麼一定要三次?
- 為了防止已失效的連接請求報文段突然又傳送到了服務端，因而產生錯誤

TCP 四次握手(結束連線)

流程
- 第一次分手
  - 客戶端傳送FIN=1告訴服務端，客戶端所有的資料全部發送完畢，服務端可以關閉接收了。
- 第二次分手
  - 服務端接收到客戶端的釋放請求連線之後，知道客戶端沒有資料傳送給自己了，然後服務端傳送ACK=1告訴客戶端接收到你發給我的訊息
- 第三次分手
  - 告訴客戶端，服務端的所有資料傳送完畢，客戶端你也可以關閉接收資料連線了。
- 第四次分手
  - 客戶端接收到了服務端傳送完畢的訊息之後，就傳送ACK=1，告訴服務端，客戶端已經接收到你的訊息

參考資料 👐

System expert
what-happens-in-a-tls-handshake

🍀 最後，若喜歡我的分享，可以幫我拍拍手👏，是對我最大的鼓勵!✨