Ứng dụng thời tiết tưởng đơn giản, hóa ra là hệ thống dữ liệu phân tán phức tạp nhất Người dùng thường tưởng rằng một ứng dụng thời tiết chỉ là màn hình hiển thị nhiệt độ và một icon mặt trời. Kéo xuống, đọc số, xong. Về phía nhà phát triển, yêu cầu ban đầu từ khách hàng cũng chỉ gói gọn trong vài dòng: "Lấy dữ liệu thời tiết, hiển thị cho đẹp. " Nhưng khi bạn thực sự vận hành một sản phẩm như vậy cho hàng trăm nghìn người dùng, mọi thứ bắt đầu vỡ ra từ những chi tiết nhỏ nhất. Năm ngoái, nhóm của tôi nhận xây dựng một ứng dụng thời tiết cho thị trường Việt Nam. Chúng tôi ngây thơ nghĩ rằng chỉ cần tích hợp một API dự báo là xong việc. Ba tháng sau, chúng tôi đã vận hành một hệ thống với Apache Kafka, TimescaleDB, PostGIS, và một quy trình trực sự cố theo ca. Ứng dụng thời tiết nhỏ nhất bạn đưa lên App Store vẫn là một hệ thống xử lý dữ liệu thời gian thực, nơi mỗi giây trễ đều có thể khiến người dùng đi vào cơn mưa mà không có ô. Bài viết này không nhằm giới thiệu một framework hay thư viện cụ thể. Nó là tập hợp những bài học kiến trúc, những lỗi sai đắt giá, và những quyết định thiết kế mà chúng tôi đã trả tiền để học sau khi đưa sản phẩm lên production. Nếu bạn sắp xây dựng một ứng dụng thời tiết - hoặc bất kỳ sản phẩm nào phụ thuộc vào dữ liệu bên ngoài - những trang dưới đây sẽ giúp bạn tránh được vài cú vấp. ## Vì sao dự báo thời tiết là bài toán hạ tầng dữ liệu khó nhất Không giống như một API bán lẻ trả về danh sách sản phẩm, dữ liệu thời tiết đến từ nhiều nguồn không đồng nhất về định dạng lẫn độ tin cậy. Mô hình toàn cầu GFS của NOAA phân giải khoảng 13 km, trong khi mô hình ICON của Đức cho nét mịn hơn ở một số khu vực. Dữ liệu radar lại là ảnh raster dạng GRIB2, còn trạm quan trắc mặt đất trả về những con số dạng JSON đơn giản. Hợp nhất tất cả chúng thành một phản hồi duy nhất cho mobile client là công việc của một data pipeline, không phải của một REST endpoint. Chúng tôi từng mất hai tuần chỉ để debug chuyện nhiệt độ hiển thị trên màn hình. Lúc 8 giờ sáng, ứng dụng báo 24°C. Lúc 8 giờ 05, cùng một tọa độ, cùng một nguồn dữ liệu, nó nhảy lên 31°C. Lý do hóa ra là hai request liên tiếp trúng hai node phân lớp khác nhau trong hệ thống của chúng tôi, và một node đã trả về giá trị dự báo giờ trong khi node kia trả về giá trị quan trắc tức thời. Độ phân giải cũng là một vấn đề mang tính triết lý. GPS trên điện thoại có thể định vị chính xác trong phạm vi 5 mét, nhưng ranh giới mưa trong bản đồ radar chỉ có phân giải 1 km. Bạn phải quyết định: khi người dùng đứng ở ranh giới đó, ứng dụng sẽ nói "trời nắng" hay "sắp mưa"? Không có câu trả lời đúng tuyệt đối, chỉ có một quyết định thiết kế nhất quán và được ghi lại trong tài liệu nội bộ. ## So sánh kiến trúc các API thời tiết phổ biến hiện nay Hệ sinh thái API thời tiết hiện có thể chia làm ba nhóm. Nhóm thứ nhất là các dịch vụ thương mại như OpenWeatherMap hay Tomorrow io. Chúng dễ tích hợp, tài liệu mạch lạc, nhưng bạn trả tiền cho mỗi request và thường bị giới hạn về tốc độ. Nhóm thứ hai là các API từ cơ quan chính phủ như [National Weather Service API](https://www weather gov/documentation/services-web-api "Trang tài liệu chính thức của National Weather Service API") của Mỹ - miễn phí, dữ liệu chất lượng cao nhưng phạm vi chỉ bó hẹp trong lãnh thổ của họ. Nhóm thứ ba, và là lựa chọn chúng tôi dùng cho dự án tại Việt Nam, là [Open-Meteo](https://open-meteo com/en/docs "Tài liệu chính thức của Open-Meteo"). Điểm mạnh của Open-Meteo không nằm ở việc nó miễn phí, mà ở chỗ nó tổng hợp sẵn nhiều mô hình như GFS, ICON, và cả dữ liệu ERA5. Quan trọng hơn, bạn có thể tự host toàn bộ hệ thống, tự kiểm soát độ trễ và không lo bị chặn khi lượng request tăng đột biến. Về mặt kiến trúc, lời khuyên của chúng tôi là đừng gọi trực tiếp từ mobile client vào nhà cung cấp. Một lớp BFF (Backend For Frontend) ở giữa cho phép bạn đổi nhà cung cấp mà không phải phát hành lại ứng dụng. Lớp này cũng là nơi duy nhất xử lý các vấn đề xác thực, cache, và chuẩn hóa dữ liệu trước khi chúng chạm tay vào client. ## Xử lý dữ liệu radar và vệ tinh theo thời gian thực Radar là nguồn dữ liệu nhạy cảm nhất về độ trễ. Một tập tin GRIB2 từ radar có thể nặng vài chục megabyte, chứa nhiều lớp phản hồi với độ cao khác nhau. Giải mã chúng bằng thư viện pygrib hoặc eccodes của ECMWF là chuyện một nhà khoa học dữ liệu có thể làm, nhưng đưa kết quả đó lên điện thoại của người dùng trong vòng vài phút lại là bài toán engineering hoàn toàn khác. Trong hệ thống của chúng tôi, dữ liệu radar được tải về từng phút một từ máy chủ của Cục Khí tượng Thủy văn Quốc gia. Sau đó, chúng tôi nén chúng thành các tile nhỏ theo chuẩn WMTS, tương tự cách Google Maps chia bản đồ thành các mảnh 256x256 pixel. Việc này cho phép CDN cache từng tile riêng lẻ, còn client chỉ tải những tile đúng khu vực người dùng đang nhìn - thay vì tải cả một bức ảnh radar khổng lồ. Thời điểm mưa lớn, lượng tile được yêu cầu lên tới hàng nghìn request mỗi giây. Apache Kafka đóng vai trò là bộ đệm trung gian giữa nơi giải mã dữ liệu và nơi phục vụ tile. Khi một consumer xử lý không kịp, dữ liệu vẫn được lưu trong Kafka, không bị mất đoạn. Đó là điều mà một kiến trúc request-response truyền thống không thể nào làm được. ## Thiết kế hệ thống cảnh báo thời tiết khẩn cấp trên mobile Cảnh báo lũ quét, gió giật mạnh, hay ngập úng đô thị là lý do tồn tại chính của một ứng dụng thời tiết. Nhưng gửi một push notification trễ năm phút còn tệ hơn không gửi. Về phía hạ tầng, bạn cần một pipeline đánh giá ngưỡng: lượng mưa trong 30 phút qua vượt 40 mm? Gió tại trạm quan trắc nào đó đạt cấp 9. and nếu đúng, gửi cảnh báoAPNs và FCM đều giới hạn payload ở mức 4 KB. Điều đó nghĩa là bạn không thể nhét cả một bản tin thời tiết dài vào trong notification. Chúng tôi chọn cách gửi một payload tối giản gồm loại cảnh báo, vị trí, và một URL sâu (deep link) trỏ về màn hình chi tiết. Người dùng bấm vào không phải tải lại toàn bộ dữ liệu, mà ứng dụng mở ngay từ cache cục bộ. Vấn đề ít ai nghĩ đến là gửi trùng cảnh báo khi một cơn bão quét qua nhiều tỉnh thành. Nếu hệ thống chỉ đơn giản lặp qua danh sách người dùng và gửi đi, người dùng di chuyển từ Hà Nội vào Vinh sẽ nhận được hai cảnh báo khác nhau về cùng một hiện tượng. Chúng tôi giải quyết bằng cách tính một fingerprint từ loại cảnh báo, thời điểm bắt đầu, và tọa độ làm tròn đến 0. 1 độ. Nếu fingerprint trùng trong vòng 24 giờ, hệ thống bỏ qua. ## Cache và phân phối nội dung cho ứng dụng thời tiết Không có gì tệ hơn một ứng dụng thời tiết vừa mở ra đã hiện vòng xoay tải dữ liệu. Người dùng mở ứng dụng này trong lúc trời mưa, ngoài đường, mạng yếu. Họ không có kiên nhẫn cho bất kỳ độ trễ nào. Chiến lược cache của chúng tôi chia theo loại dữ liệu: thời tiết hiện tại cache 10 phút, dự báo theo giờ cache 1 giờ, dự báo 7 ngày cache 6 giờ. Con số này không phải đoán mò mà dựa trên tốc độ thay đổi tối đa của từng loại dữ liệu trong thực tế. Lớp cache nằm ở ba tầng: CDN cho các file tĩnh và tile, Redis cho các response JSON được chuẩn hóa, và SQLite trên chính thiết bị của người dùng. Tầng cuối cùng ít người nhắc tới nhưng lại quan trọng nhất. Một người dùng ở tỉnh lẻ với đường truyền 3G chập chờn vẫn phải xem được dự báo hôm nay từ cache cục bộ, dù số liệu đã cũ ba giờ. Chúng tôi dùng các header ETag và If-None-Match chuẩn HTTP để tránh tải lại toàn bộ payload khi dữ liệu không đổi. Một chi tiết tưởng chừng nhỏ này đã giảm 62% băng thông đường xuống trên toàn hệ thống. Số liệu này đo được sau hai tuần theo dõi trên Grafana, không phải một con số ước lượng. ## Kiểm thử dữ liệu thời tiết với tình huống mưa bão cực đoan Tháng 2 năm 2023, ứng dụng Weather của Apple hiển thị nhiệt độ 70°C tại một số vị trí ở Mỹ. Đến tháng 2 năm 2024, nó ngừng hoạt động hoàn toàn trong nhiều giờ khiến người dùng không xem được dự báo thời tiết. Cả hai sự cố đều do phía nhà cung cấp dữ liệu, nhưng người chịu trách nhiệm cuối cùng vẫn là đội kỹ thuật của Apple. Bài học ở đây: bạn phải kiểm thử dữ liệu gửi vào, không bao giờ tin một API bên ngoài tuyệt đối. Kiểm thử của chúng tôi gồm hai tầng. Tầng thứ nhất là các phép kiểm tra vật lý: nhiệt độ phải nằm trong khoảng -80°C đến +60°C, lượng mưa không thể là số âm, tốc độ gió không vượt quá 200 km/h. Tầng thứ hai là kiểm tra sự nhất quán: nếu dự báo 6 giờ tới nói có mưa lớn mà 30 phút sau dữ liệu radar không hề hiện một đám mây nào, hệ thống của chúng tôi đánh dấu nguồn dữ liệu đó là nghi ngờ. Chúng tôi cũng xây dựng một kho dữ liệu lịch sử các cơn bão và áp thấp nhiệt đới từ 10 năm qua. Mỗi khi cập nhật code cho pipeline xử lý, chúng tôi replay lại toàn bộ dữ liệu đó để xem hệ thống mới có tạo ra kết quả tương tự hệ thống cũ hay không. Kỹ thuật replay này, vốn quen thuộc trong giới tài chính, lại cực kỳ hiếm thấy ở các đội phát triển ứng dụng thời tiết. ## Chi phí vận hành và chiến lược tối ưu hóa API thời tiết Chi phí API thời tiết là thứ dễ bị tính sai ngay từ ngày đầu. Các nhà cung cấp thương mại thường đưa ra mức giá hấp dẫn cho giai đoạn phát triển, rồi tăng vọt khi bạn chạm đến ngưỡng doanh nghiệp. Một ứng dụng có 100. 000 người dùng hoạt động hàng ngày, mỗi người mở ứng dụng ba lần, mỗi lần gọi hai endpoint - tức khoảng 600. 000 request mỗi ngày. Nhân với giá phổ biến 1-2 đô la cho mỗi 1. 000 request, bạn đang nhìn vào hàng nghìn đô la mỗi tháng. Hai chiến lược giúp chúng tôi cắt giảm đáng kể con số này. Thứ nhất, hợp nhất nhiều loại dữ liệu vào một response duy nhất - dự báo hiện tại, 24 giờ, 7 ngày - để client chỉ gọi một lần thay vì ba lần. Thứ hai, dựa vào vị trí địa lý: người dùng ở châu Á không cần dữ liệu chi tiết về vùng Bắc Mỹ, nên chúng tôi lược bỏ những trường dữ liệu không liên quan ngay trên server. Một điều khiến nhiều đội ngũ bất ngờ là sự khác biệt về độ chính xác giữa các mô hình. Với cùng một tọa độ, mô hình GFS và mô hình ICON có thể lệch nhau 3-4°C ở khu vực ven biển. Chúng tôi chọn nguồn dữ liệu chính dựa trên mùa: mùa hè ưu tiên mô hình nội địa, mùa bão ưu tiên dữ liệu từ những mô hình có độ phân giải cao hơn ở vùng biển Đông. Quyết định này được tự động hóa bằng một bảng cấu hình theo tháng chứ không phải cài cứng trong code. ## Bài học từ sự cố mất nguồn dữ liệu thời tiết toàn cầu Khi một nhà cung cấp API thời tiết lớn gặp sự cố, tác động không dừng ở một vùng mà lan ra toàn cầu, bởi hàng loạt ứng dụng đều phụ thuộc vào cùng một nguồn. Kiến trúc failover với hai nhà cung cấp là.
Need a Custom App Built?
Let's discuss your project and bring your ideas to life.
Contact Me Today →