Xây dựng nền tảng độ tin cậy cho hệ thống phân tán

Các hệ thống chúng ta xây dựng ngày nay, theo một nghĩa nào đó, khác biệt so với các chương trình chúng ta xây dựng cách đây mười năm. Microservices giao tiếp với nhau qua ranh giới mạng, việc triển khai diễn ra liên tục thay vì theo quý, và các lỗi lan truyền theo những cách không lường trước được. Tuy nhiên, hầu hết các tổ chức vẫn tiếp cận chất lượng và độ tin cậy với các công cụ và kỹ thuật phù hợp hơn với thời đại đã qua.

Tại sao Chất lượng & Độ tin cậy Cần Giải pháp Dựa trên Nền tảng

Các công cụ QA truyền thống được thiết kế cho thời đại ứng dụng nguyên khối và triển khai hàng loạt. Một đội kiểm tra độc lập có thể kiểm toán toàn bộ hệ thống trước khi phát hành. Việc giám sát chỉ là theo dõi trạng thái máy chủ và quan sát truy vết ứng dụng. Các ngoại lệ đủ hiếm để có thể xử lý thủ công.

Các hệ thống phân tán phá vỡ những giả định này thành từng mảnh. Khi sáu dịch vụ được triển khai riêng biệt, kiểm tra tập trung trở thành điểm nghẽn. Khi lỗi có thể xảy ra từ phân vùng mạng, phụ thuộc thời gian chờ, hoặc quá tải theo chuỗi, các kiểm tra sức khỏe đơn giản là quá lạc quan. Khi các sự kiện xảy ra đủ thường xuyên để được coi là hoạt động bình thường, các quy trình phản hồi tạm thời không thể mở rộng.

Các đội bắt đầu với công cụ dùng chung, giới thiệu giám sát và kiểm tra, và cuối cùng thêm các thực hành độ tin cậy cấp dịch vụ lên trên. Mỗi cái tự nó có ý nghĩa, nhưng cùng nhau chúng làm phân mảnh doanh nghiệp.

Điều này làm cho một số việc cụ thể trở nên khó khăn. Gỡ lỗi một thứ trải dài qua nhiều dịch vụ có nghĩa là phải chuyển đổi giữa các công cụ ghi nhật ký với các ngôn ngữ truy vấn có hình dạng khác nhau. Độ tin cậy cấp hệ thống có nghĩa là phải tương quan thủ công từ các bảng điều khiển bị hỏng.

Nền tảng: Các Khối Xây dựng Cốt lõi của Nền tảng

Xây dựng nền tảng chất lượng và độ tin cậy là vấn đề xác định khả năng nào mang lại giá trị nhất và cung cấp chúng với đủ tính nhất quán để cho phép tích hợp. Ba danh mục tạo thành các trụ cột: cơ sở hạ tầng quan sát, đường ống xác thực tự động, và hợp đồng độ tin cậy.

Khả năng quan sát cung cấp công cụ cho ứng dụng phân tán. Nếu không có khả năng hiển thị đầu-cuối vào hành vi hệ thống, các chiến thắng về độ tin cậy chỉ là bắn trong bóng tối. Nền tảng nên kết hợp ba trụ cột của khả năng quan sát: ghi nhật ký có cấu trúc sử dụng lược đồ trường chung, công cụ đo lường sử dụng thư viện chung, và truy vết phân tán để theo dõi yêu cầu qua ranh giới dịch vụ.

Tiêu chuẩn hóa cũng quan trọng. Nếu tất cả các dịch vụ ghi nhật ký cùng một mẫu dấu thời gian, trường ID yêu cầu và mức độ nghiêm trọng, các truy vấn hoạt động đáng tin cậy trong toàn bộ hệ thống. Khi các số liệu có quy ước đặt tên nhất quán và nhãn chung, bảng điều khiển có thể tổng hợp dữ liệu một cách có ý nghĩa. Khi dấu vết lan truyền tiêu đề ngữ cảnh một cách nhất quán, bạn có thể vẽ đồ thị toàn bộ luồng yêu cầu mà không cần quan tâm đến dịch vụ nào đang hoạt động.

Việc triển khai là về việc làm cho công cụ tự động ở những nơi có ý nghĩa. Công cụ thủ công dẫn đến sự không nhất quán và khoảng trống. Nền tảng nên đi kèm với các thư viện và phần mềm trung gian tự động đưa khả năng quan sát vào mặc định. Máy chủ, cơ sở dữ liệu và hàng đợi nên tự động ghi nhật ký, độ trễ và dấu vết. Kỹ sư có đầy đủ khả năng quan sát mà không cần mã mẫu.

Kỹ năng nền tảng thứ hai là kiểm tra tự động với xác thực kiểm tra thông qua đường ống kiểm tra. Tất cả các dịch vụ cần nhiều cấp độ kiểm tra để chạy trước khi triển khai vào sản xuất: kiểm tra đơn vị logic nghiệp vụ, kiểm tra tích hợp thành phần và kiểm tra hợp đồng tương thích API. Nền tảng làm điều này dễ dàng hơn bằng cách cung cấp các khung kiểm tra, môi trường kiểm tra máy chủ và giao diện với hệ thống CI/CD.

Cơ sở hạ tầng kiểm tra là điểm nghẽn khi được quản lý tạm thời. Các dịch vụ coi như đương nhiên rằng cơ sở dữ liệu, hàng đợi tin nhắn và các dịch vụ phụ thuộc đang hoạt động khi kiểm tra. Quản lý thủ công các phụ thuộc tạo ra các bộ kiểm tra dễ vỡ và thường xuyên thất bại, và không khuyến khích nhiều kiểm tra. Nền tảng giải quyết điều này bằng cách cung cấp môi trường kiểm tra được quản lý tự động cung cấp các phụ thuộc, quản lý dữ liệu cố định và cung cấp sự cô lập giữa các lần chạy.

Kiểm tra hợp đồng đặc biệt quan trọng trong các hệ thống phân tán. Với các dịch vụ nói chuyện với nhau qua API, các thay đổi phá vỡ trong một dịch vụ có thể bắt đầu phá vỡ người tiêu dùng. Kiểm tra hợp đồng đảm bảo nhà cung cấp tiếp tục đáp ứng kỳ vọng của người tiêu dùng, phát hiện các thay đổi phá vỡ trước khi phát hành. Nền tảng phải làm cho việc định nghĩa hợp đồng dễ dàng, tự động xác thực hợp đồng trong CI và đưa ra phản hồi rõ ràng khi hợp đồng bị phá vỡ.

Cột thứ ba là hợp đồng độ tin cậy, dưới dạng SLO và ngân sách lỗi. Những điều này đưa các mục tiêu độ tin cậy trừu tượng thành hình thức cụ thể, hữu hình. Một SLO giới hạn hành vi tốt trong dịch vụ, dưới dạng mục tiêu khả dụng hoặc yêu cầu độ trễ. Ngân sách lỗi là ngược lại: số lượng lỗi được phép có trong giới hạn của SLO.

Đi từ 0→1: Xây dựng với Ràng buộc

Chuyển đổi từ khái niệm sang nền tảng hoạt động đòi hỏi ưu tiên với thiện chí. Xây dựng tất cả ngay từ đầu đảm bảo giao hàng muộn và có thể đầu tư vào các khả năng không mang tính chiến lược. Kỹ năng là thiết lập các lĩnh vực ưu tiên có đòn bẩy cao nơi cơ sở hạ tầng tập trung có thể thúc đẩy giá trị ngắn hạn và sau đó lặp lại dựa trên việc sử dụng thực tế.

Ưu tiên phải dựa trên các điểm đau, không phải sự hoàn thiện lý thuyết. Nhận thức được nơi các đội đang gặp khó khăn ngày nay cho họ biết những lĩnh vực nào của nền tảng sẽ quan trọng nhất. Các điểm đau phổ biến bao gồm khó khăn trong việc gỡ lỗi các vấn đề sản xuất vì dữ liệu bị phân tán, không thể kiểm tra một cách ổn định hoặc phản hồi nhanh, và không thể biết liệu việc triển khai có an toàn hay không. Những điều này trực tiếp chuyển thành ưu tiên nền tảng: khả năng quan sát thống nhất, quản lý cơ sở hạ tầng kiểm tra và đảm bảo trước khi triển khai.

Kỹ năng ban đầu để tận dụng thường là thống nhất khả năng quan sát. Đặt các dịch vụ trên một backend ghi nhật ký và số liệu được chia sẻ với công cụ đồng nhất mang lại lợi ích ngay lập tức. Kỹ sư có thể khoan qua nhật ký từ tất cả các dịch vụ ở một nơi, tương quan chéo các số liệu giữa các thành phần và xem hành vi toàn hệ thống. Gỡ lỗi dễ dàng hơn nhiều khi dữ liệu ở một nơi và trong một định dạng đồng nhất.

Việc triển khai ở đây là cung cấp hướng dẫn di chuyển, thư viện công cụ và công cụ tự động để chuyển đổi các câu lệnh ghi nhật ký tại chỗ sang định dạng mới. Các dịch vụ có thể được di chuyển dần dần thay vì cắt chuyển hoàn toàn. Trong quá trình chuyển đổi, nền tảng nên cho phép cả kiểu cũ và mới cùng tồn tại trong khi ghi rõ ràng con đường di chuyển và lợi ích.

Kiểm tra cơ sở hạ tầng tự nhiên theo sau như khả năng chính thứ hai. Cơ sở hạ tầng kiểm tra được chia sẻ với việc cung cấp phụ thuộc, quản lý cố định và dọn dẹp loại bỏ gánh nặng hoạt động từ mọi đội. Nó cũng cần có khả năng chạy phát triển cục bộ và thực thi CI để mọi người đều ở trên cùng một trang, nơi kỹ sư phát triển kiểm tra và nơi xác thực tự động chạy.

Trọng tâm ban đầu nên là các trường hợp kiểm tra chung áp dụng cho phần lớn các dịch vụ: thiết lập cơ sở dữ liệu kiểm tra với dữ liệu kiểm tra, giả lập các phụ thuộc API bên ngoài, xác minh hợp đồng API và thực hiện kiểm tra tích hợp trong cô lập. Các yêu cầu kiểm tra đặc biệt và trường hợp biên có thể được giải quyết trong các lần lặp tiếp theo. Đủ tốt được thực hiện sớm hơn là tốt hơn hoàn hảo được thực hiện muộn.

Tập trung hóa và tự do phải được cân bằng. Tập trung hóa qu