[SYSTEM DESIGN TẬP 19] THẢM HỌA LAUNCH DAY: NHÀ CUNG CẤP SẬP NGUỒN 2 PHÚT, BẪY NGHẼN STREAMING VÀ TUYỆT KỸ MULTI-PROVIDER CIRCUIT BREAKER ($0.3568 ★★★)! ⚡🔥

Không khí bên trong phòng điều khiển trung tâm của World 3 bỗng chốc đặc quánh lại.

Mới hôm trước, thằng Đ còn hí hửng vì hai anh em vừa ghìm được chi phí nạp prompt xuống ngưỡng $0.2047 nhờ lá chắn Semantic Cache và cơ chế Prefix KV-Cache 1.024 token. Nhưng ở đấu trường System Design, không có chiến thắng nào cho phép kỹ sư kê cao gối ngủ kỹ.

Tiếng còi báo động màu vàng nhấp nháy trên bảng điều khiển Màn 06:

╔══════════════════════════════════════════════════════════════════════╗
║  MÀN 06: ĐÃ STREAM MÀ VẪN CHỜ (STREAMING, STILL WAITING)             ║
║  Độ khó: ⭐⭐ · SLA: Chữ đầu tiên hiện ra dưới 1s · Tối đa 0.24¢/task ║
╚══════════════════════════════════════════════════════════════════════╝

Thằng Đ nhìn chằm chằm vào biểu đồ đường đo Time-To-First-Token (TTFT) đang dựng đứng lên mức 3.8 giây, tay vò đầu bứt tai:

• "Anh Kido! Em thề với anh là em đã bật stream: True trong code gọi LLM rồi! Tại sao người dùng bên ngoài vẫn report là màn hình chat đơ cứng ngắc 3 đến 4 giây, rồi đùng một cái cả đoạn văn bản 500 từ ộc ra cùng một lúc? Ai đời người ta vào hỏi con bot câu hỏi FAQ mà phải ngồi nhìn con trỏ nhấp nháy vô vọng như thời dial-up Internet thế này?!"

1. BẪY BUFFER NGẦM CỦA TẦNG TRUNG GIAN (TRANSPARENT STREAMING BOTTLENECK) ⏱️🚧

Tôi tiến lại gần màn hình, chỉ chiếc bút laser vào sơ đồ luồng dữ liệu giữa App Server, Semantic Cache và LLM Provider:

flowchart LR
    User["Client (Browser / App)"] --> AppServer["App Server (Generic)"]
    AppServer --> Cache{"Semantic Cache\n(Managed)"}
    Cache -- "Cache Hit (0.2s)" --> FastResponse["Instant Text Return"]
    Cache -- "Cache Miss" --> Provider["LLM Provider (openai_mid)\n[stream: True]"]
    Provider -. "Token Chunks (SSE)" .-> Cache
    Cache == "💥 Bẫy Buffer: Nuốt Token\nChờ [DONE] mới xả một cục" ==> AppServer
    AppServer -. "Đơ 3.8 giây" .-> User

• "Mày nhìn vào cái hộp Semantic Cache xem. Khi người dùng hỏi một câu đã có trong vector cache (Cache Hit), nó trả về text ngay tức khắc trong 200ms, cực mượt. Nhưng khi xảy ra Cache Miss, chuyện gì xảy ra?"

Thằng Đ chớp mắt:

• "Thì... Cache Miss thì nó chuyển tiếp request xuống openai_mid chứ sao anh? Con model sinh token dạng Server-Sent Events (SSE) mà!"

• "Đúng là model sinh token dạng stream. Nhưng cái thư viện proxy Semantic Cache sơ khởi mày viết đang làm một trò cực kỳ tai hại: Nó đứng ở giữa hứng từng chunk để gom thành chuỗi hoàn chỉnh nhằm tính embedding và lưu vào cache! Trong lúc nó mải gom chunk, nó khóa họng đường truyền (buffered stream) không xả về cho client. Hậu quả là tính năng streaming bị triệt tiêu hoàn toàn! Người dùng phải đợi model sinh xong token cuối cùng thì cache mới chịu nhả cả cục văn bản về!"

// ❌ Cách làm ngây thơ của thằng Đ: Gom xong mới trả
async function handleChatNaive(prompt: string, res: Response) {
  const cached = await semanticCache.lookup(prompt);
  if (cached) return res.send(cached);

  const stream = await llm.stream(prompt);
  let fullAnswer = "";
  for await (const chunk of stream) {
    fullAnswer += chunk; // 💥 Đứng hứng trong RAM, nuốt chửng stream của user!
  }
  await semanticCache.save(prompt, fullAnswer);
  res.send(fullAnswer); // 💥 TTFT vọt lên 3.8 giây!
}

• *"Muốn chữ đầu tiên hiện ra dưới 1 giây mà vẫn lưu được vào cache khi kết thúc, mày phải áp dụng kỹ thuật Transparent Cache-Through Stream Piping (Ngã Ba Thủy Lực Stream Tap/Tee)!"*

// ✅ Chuẩn Production: Fork luồng token bằng ReadableStream.tee()
async function handleChatStreamPiping(prompt: string, res: Response) {
  const cached = await semanticCache.lookup(prompt);
  if (cached) {
    return streamInstantText(cached, res);
  }

  // Khởi tạo luồng SSE nguyên bản từ LLM Provider
  const upstreamStream = await llm.stream(prompt);
  
  // Tách nhánh: Nhánh 1 bơm thẳng về client, Nhánh 2 ngầm gom buffer
  const [clientBranch, cacheBranch] = upstreamStream.tee();

  // Pipe trực tiếp về màn hình user - TTFT dừng ngay ở 280ms!
  pipeToSSEClient(clientBranch, res);

  // Background worker: Lặng lẽ gom buffer để cập nhật vector cache
  (async () => {
    const fullText = await drainStream(cacheBranch);
    await semanticCache.save(prompt, fullText);
  })().catch(err => log.error("Async cache hydration failed", err));
}

Tôi bấm cấu hình lại bàn cờ Màn 06:

1. App Server: Bật stream: True.
2. Semantic Cache: Giữ similarity: balanced.
3. LLM Provider: openai_mid bật stream: True.

Nút ▷ Chạy sáng rực. Biểu đồ TTFT rớt thẳng từ 3.8s xuống 280ms! Tỉ lệ phản hồi đạt 100%, chi phí chạm đáy kỷ lục: 0.2047¢/task (204,669 UC), lụm trọn 3 Sao rực rỡ!

Thằng Đ vừa thở phào định ngả lưng ra ghế thì một hồi còi đinh tai nhức óc vang lên khắp đấu trường.

2. CƠN ÁC MỘNG MÀN 07: SẬP NGUỒN NGÀY LAUNCH DAY (THE 2-MINUTE BLACKOUT) 🚨💣

Cánh cửa kim loại nặng nề trượt xuống, nhốt chặt hai anh em vào phòng mô phỏng áp lực cực đại. Biển cảnh báo màu đỏ máu chớp giật liên hồi:

╔══════════════════════════════════════════════════════════════════════╗
║  MÀN 07: RA MẮT CÔNG KHAI (PUBLIC LAUNCH) — TRÙM CUỐI CHƯƠNG 1      ║
║  Độ khó: ⭐⭐⭐⭐ (Boss Fight) · 5 Phút Thử Thách · Traffic 4 req/s  ║
║  Biến cố: Provider chính sập nguồn hoàn toàn từ giây 120 đến 240!     ║
║  Chỉ tiêu: Phản hồi >= 99.5% · TTFT < 1s · Cost tối đa 0.42¢/task     ║
╚══════════════════════════════════════════════════════════════════════╝

Đúng 9h00 sáng, đợt người dùng đổ vào như thác lũ. 4 request mỗi giây liên tục dội vào hệ thống. Từ giây thứ 0 đến giây thứ 119, mọi thứ trơn tru hoàn hảo. Thằng Đ bắt đầu huýt sáo:

• "Ngon rồi anh ơi! Cache balanced nuốt được 30% câu hỏi trùng, số còn lại streaming vù vù, cost mới có 0.20¢..."

Chưa dứt câu, kim đồng hồ điểm giây thứ 120.

BÙM!

Toàn bộ cột trạng thái của nhà cung cấp chính (OpenAI · mid) chuyển sang màu đỏ rực. Mã lỗi HTTP tuôn ra như mưa: HTTP 500 Internal Server Error, HTTP 503 Service Unavailable, HTTP 429 Too Many Requests.

Cụm máy chủ của nhà cung cấp gặp sự cố hạ tầng cục bộ trong đợt phát hành mới, từ chối 100% request trong suốt hai phút liên tiếp (giây 120 đến 240)!

Thằng Đ run bắn người:

• "Á á á! Sập rồi anh ơi! OpenAI nghẽn mạng rồi! Giờ làm sao anh? Tỉ lệ thành công đang tụt dốc không phanh từ 100% xuống 85%... 70%... Rớt dưới 99.5% là fail bàn chơi ngay lập tức!"

Nó định thò tay bấm nút cấu hình retry: instant để máy chủ tự động spam request liên tục. Tôi gạt phắt tay nó ra:

• "Dừng lại! Mày mà bật instant retry vào một cluster đang hấp hối vì quá tải thì chẳng khác nào dội thêm dầu vào lửa (Thundering Herd)! Requests sẽ chồng chất trong hàng đợi, connection pool cạn kiệt, và toàn bộ App Server của mày sẽ sập theo vì cạn bộ nhớ!"

3. TUYỆT KỸ MULTI-PROVIDER CIRCUIT BREAKER & DUAL-CLOUD FALLBACK 🛡️⚡

• *"Trong thế giới Cloud và AI, quy tắc vàng số một là: Đừng bao giờ giao vận mệnh sản phẩm của mình cho một nhà cung cấp duy nhất (Zero Vendor Lock-in)! Cho dù đó là OpenAI, Anthropic, hay Google, bất kỳ ai cũng có thể bảo trì hoặc gặp outage!"*

Tôi mở kho linh kiện của Màn 07, kéo thêm một node LLM thứ hai vào bàn cờ:

• Primary LLM: openai_mid (Chi phí rẻ, token sinh nhanh).
• Secondary Fallback LLM: anthropic_mid (Claude 3.5 Sonnet — Độ ổn định phi thường, độc lập hoàn toàn về mặt hạ tầng điện toán đám mây và datacenter).

flowchart TD
    Client["Người dùng (Client Launch Traffic)"] --> App["App Server (Generic)\n[retry: backoff, stream: True]"]
    App --> SC["Semantic Cache (Generic)\n[similarity: balanced]"]
    
    SC -- "Cache Hit" --> Done["Trả kết quả <200ms"]
    SC -- "Cache Miss" --> Router{"Circuit Breaker Router\n(Trạng thái Provider)"}
    
    Router -- "Mạch Đóng (Healthy)" --> Primary["OpenAI mid (Primary)\n[stream: True]"]
    Primary -. "Lỗi 5xx / 429 / Timeout >2s" .-> Trip["Ngắt Mạch (Trip Circuit)\nChuyển luồng sang Fallback"]
    
    Trip ==> Fallback["Anthropic mid (Claude 3.5)\n[stream: True]"]
    Router -- "Mạch Hở (Degraded 120s-240s)" --> Fallback
    
    Primary --> Res["Xả Stream Token về Client"]
    Fallback --> Res

Tôi giải thích nguyên lý thiết kế mạch ngắt cho thằng Đ:

1. State Machine của Circuit Breaker:

   • CLOSED (Bình thường): 100% traffic đi qua openai_mid.
   • OPEN (Ngắt mạch): Khi phát hiện tỉ lệ lỗi vượt quá 20% trong cửa sổ trượt 5 giây, mạch lập tức ngắt, cô lập openai_mid và chuyển 100% request còn lại sang anthropic_mid. Người dùng không hề biết có sự cố xảy ra!
   • HALF-OPEN (Thử nghiệm hồi phục): Sau khi hết 2 phút, router gửi 5% lưu lượng thăm dò về openai_mid. Nếu thành công 3 lần liên tiếp, mạch đóng lại, đưa hệ thống về trạng thái tối ưu chi phí ban đầu.

2. Exponential Backoff Jitter: Khi switch provider, App Server không đập dồn dập mà dùng thuật toán dãn nở lùi dần kèm độ lệch ngẫu nhiên để triệt tiêu sóng hài mạng:

$$\Delta t_{retry} = \min(t_{max}, t_{base} \times 2^{attempt}) + \text{random}(0, \text{jitter})$$

4. BỨC TƯỜNG BẢO VỆ 3 SAO VÀ KỶ LỤC CHI PHÍ $0.3568/TASK 🏆📊

Tôi cài đặt chính xác các thông số trên bàn đấu Màn 07:

Tôi gạt cần ▷ Bắt đầu Thử Thách.

• Giây 0 – 119: Traffic 4 req/s chạy bon bon qua openai_mid.
• Giây 120: Sự cố ập đến! openai_mid sập nguồn. Đèn cảnh báo lóe lên đúng 1 nhịp rồi dịu lại ngay lập tức. Toàn bộ dòng token tự động chuyển hướng trơn tru sang anthropic_mid.
• Giây 121 – 240: Suốt 120 giây nhà cung cấp chính "chết lâm sàng", tỉ lệ phản hồi của hệ thống vẫn đứng sừng sững ở mức 99.8%, thời gian phản hồi chữ đầu tiên giữ vững 280ms!
• Giây 241 – 300: Mạch thăm dò phát hiện openai_mid đã sống lại, traffic từ từ được điều hướng trở về tuyến chính.

Tiếng chuông kết thúc màn chơi vang lên giòn giã. Trên màn hình led khổng lồ xuất hiện dòng chữ vàng kim lấp lánh:

╔══════════════════════════════════════════════════════════════════════╗
║                    CHIẾN THẮNG TRÙM CUỐI CHƯƠNG 1!                   ║
║  Tỉ lệ phản hồi thành công: 99.8% (Vượt SLA 99.5%)                  ║
║  Thời gian hiện chữ đầu tiên: 280ms (Vượt SLA 1.0s)                  ║
║  Chi phí thực tế: 0.3568¢/task (356,759 UC)                         ║
║  Định mức ngân sách: 0.4200¢/task                                    ║
║  Xếp hạng: ★★★ KỶ LỤC 3 SAO TUYỆT ĐỐI!                               ║
╚══════════════════════════════════════════════════════════════════════╝

Thằng Đ há hốc mồm, nhìn chằm chằm vào biểu đồ rồi nhìn sang tôi như nhìn một phù thủy:

• "Trời đất ơi... Nếu chỉ dùng một provider thì chắc chắn sáng nay ăn biên bản đền bù SLA ngập mặt! Vừa cứu được hệ thống khỏi sập, vừa giữ được chi phí 0.35¢ dưới trần ngân sách 0.42¢! Tuyệt chiêu Dual-Provider Fallback này đúng là bùa hộ mệnh của dân làm AI production!"

Tôi nhấp một ngụm trà sen ấm, mỉm cười:

• "Đây mới chỉ là Màn 07 thôi. Phía trước chúng ta là Chương 2: 'Đừng bịa nữa' — nơi chúng ta sẽ phải đối mặt với RAG, Vector Search, và cơn ác mộng ảo giác (hallucination) của LLM. Chuẩn bị tinh thần đi, trận chiến thực sự chỉ mới bắt đầu!"