Apache Kafka và RabbitMQ là hai nhà môi giới tin nhắn được sử dụng rộng rãi cho phép bạn tách riêng tin nhắn giữa các ứng dụng. Các tính năng chính của chúng là gì và chúng khác nhau như thế nào? Hãy chuyển sang các khái niệm.
thỏMQ
RabbitMQ là một ứng dụng môi giới nhắn tin mã nguồn mở để liên lạc và nhắn tin giữa các bên. Bởi vì nó được phát triển ở Erlang nên nó rất nhẹ và hiệu quả. Erlang được Ericson phát triển tập trung vào các hệ thống phân tán.
Nó được coi là một nhà môi giới tin tức truyền thống hơn. Nó dựa trên sơ đồ nhà xuất bản-người đăng ký, mặc dù nó có thể xử lý giao tiếp đồng bộ hoặc không đồng bộ, tùy thuộc vào những gì được đặt trong cấu hình. Nó cũng cung cấp việc phân phối và đặt hàng các thông điệp giữa nhà sản xuất và người tiêu dùng.
Hỗ trợ ổ cắm AMQP, STOMP, MQTT, HTTP và web. Ba mô hình nhắn tin: theo chủ đề, fanout và trực tiếp:
- Trao đổi trực tiếp và cá nhân theo chủ đề hoặc chủ đề [topic]
- Tất cả người tiêu dùng kết nối với hàng đợi đều nhận được [fanout] tin nhắn
- Mỗi người tiêu dùng nhận được một tin nhắn đã gửi [direct]
Dưới đây là các thành phần của RabbitMQ:
Nhà sản xuất
Nhà sản xuất là các ứng dụng soạn và gửi tin nhắn tới RabbitMQ. Nó có thể là bất kỳ ứng dụng nào có thể kết nối với RabbitMQ và đăng tin nhắn.
người tiêu dùng
Người tiêu dùng là những ứng dụng nhận và xử lý tin nhắn từ RabbitMQ. Nó có thể là bất kỳ ứng dụng nào có thể kết nối với RabbitMQ và đăng ký nhận tin tức.
trao đổi
Các sàn giao dịch chịu trách nhiệm nhận tin nhắn từ nhà sản xuất và định tuyến chúng đến hàng đợi thích hợp. Có một số loại trao đổi, bao gồm trao đổi trực tiếp, trao đổi fanout, trao đổi chủ đề và tiêu đề, mỗi loại có quy tắc định tuyến riêng.
Hàng đợi
Hàng đợi là nơi lưu trữ tin nhắn cho đến khi được người tiêu dùng sử dụng. Chúng được tạo bởi các ứng dụng hoặc tự động bởi RabbitMQ khi một tin nhắn được xuất bản trên sàn giao dịch.
Ràng buộc
Các ràng buộc xác định mối quan hệ giữa trao đổi và hàng đợi. Chúng chỉ định các quy tắc định tuyến tin nhắn mà các sàn giao dịch sử dụng để định tuyến tin nhắn đến hàng đợi thích hợp.
Kiến trúc RabbitMQ
RabbitMQ sử dụng mô hình kéo để gửi tin nhắn. Trong mô hình này, người tiêu dùng chủ động yêu cầu tin nhắn từ nhà môi giới. Tin nhắn được xuất bản trên các sàn giao dịch chịu trách nhiệm định tuyến tin nhắn đến hàng đợi thích hợp dựa trên khóa định tuyến.
Kiến trúc của RabbitMQ dựa trên kiến trúc máy khách-máy chủ và bao gồm một số thành phần hoạt động cùng nhau để cung cấp nền tảng nhắn tin đáng tin cậy và có thể mở rộng. Khái niệm AMQP bao gồm Trao đổi, Hàng đợi, Ràng buộc, Nhà xuất bản và Người đăng ký. Nhà xuất bản đăng tin tức trên các sàn giao dịch.
Các sàn giao dịch nhận những tin nhắn này và phân phối chúng tới các hàng đợi từ 0 đến n dựa trên các quy tắc cụ thể (ràng buộc). Sau đó, người tiêu dùng có thể truy xuất các tin nhắn được lưu trữ trong hàng đợi. Ở dạng đơn giản hóa, việc quản lý tin nhắn được thực hiện trong RabbitMQ như sau:
Nguồn ảnh: VMware
- Nhà xuất bản gửi tin nhắn trao đổi;
- Exchange gửi tin nhắn đến hàng đợi và các sàn giao dịch khác;
- Khi nhận được tin nhắn, RabbitMQ sẽ gửi xác nhận đến người gửi;
- Người tiêu dùng duy trì các kết nối TCP liên tục tới RabbitMQ và khai báo hàng đợi nào họ nhận được;
- RabbitMQ định tuyến tin nhắn đến người tiêu dùng;
- Người tiêu dùng gửi xác nhận đã nhận được thông báo thành công hoặc lỗi;
- Khi nhận thành công, tin nhắn sẽ bị xóa khỏi hàng đợi.
Apache Kafka
Apache Kafka là một giải pháp nhắn tin phân tán mã nguồn mở được phát triển bởi LinkedIn ở Scala. Nó có thể xử lý tin nhắn và lưu trữ chúng theo mô hình nhà xuất bản-người đăng ký với khả năng mở rộng và hiệu suất cao.
Để lưu trữ các sự kiện hoặc tin nhắn đã nhận, hãy phân vùng chủ đề giữa các nút. Nó kết hợp mô hình nhà xuất bản-người đăng ký và hàng đợi tin nhắn, đồng thời chịu trách nhiệm đảm bảo trình tự tin nhắn cho từng người tiêu dùng.
Kafka chuyên về thông lượng dữ liệu cao và xử lý các luồng dữ liệu thời gian thực có độ trễ thấp. Điều này đạt được bằng cách tránh quá nhiều logic phía máy chủ (nhà môi giới) cũng như một số chi tiết triển khai đặc biệt.
Ví dụ: Kafka hoàn toàn không sử dụng RAM và ghi dữ liệu vào hệ thống tệp của máy chủ ngay lập tức. Vì tất cả dữ liệu được ghi tuần tự nên đạt được hiệu suất đọc và ghi tương đương với bộ nhớ RAM.
Dưới đây là các khái niệm chính của Kafka giúp nó có thể mở rộng, hiệu quả và có khả năng chịu lỗi:
Đề tài
Chủ đề là một cách gắn thẻ hoặc phân loại tin nhắn; hãy tưởng tượng một tủ quần áo có 10 ngăn kéo; bất kỳ ngăn kéo nào cũng có thể là một chủ đề và tủ quần áo là Apache Kafka, do đó, ngoài việc phân loại nhóm thư, một sự tương tự chủ đề khác tốt hơn sẽ được đưa vào cơ sở dữ liệu quan hệ.
Nhà sản xuất
Nhà sản xuất hoặc nhà sản xuất là người kết nối với nền tảng nhắn tin và gửi một hoặc nhiều tin nhắn về một chủ đề cụ thể.
Người tiêu dùng
Người tiêu dùng là người kết nối với nền tảng nhắn tin và nhận được một hoặc nhiều tin nhắn về một chủ đề cụ thể.
Nhà môi giới
Khái niệm nhà môi giới trong nền tảng Kafka thực tế không khác gì chính Kafka và chính anh ta là người quản lý các chủ đề và xác định cách lưu trữ tin nhắn, nhật ký, v.v.
Nhóm
Một cụm là một tập hợp các nhà môi giới giao tiếp hoặc không giao tiếp với nhau để có khả năng mở rộng và khả năng chịu lỗi tốt hơn.
tập tin nhật ký
Mỗi chủ đề lưu giữ các bản ghi của nó ở định dạng nhật ký, nghĩa là theo cách có trật tự và tuần tự; do đó, tệp nhật ký là tệp chứa thông tin về một chủ đề nhất định.
Phân vùng
Phân vùng là lớp phân vùng tin nhắn của một chủ đề; việc phân vùng này mang lại cho Apache Kafka tính linh hoạt, khả năng chịu lỗi và khả năng mở rộng, cho phép mỗi chủ đề có nhiều phân vùng ở các vị trí khác nhau.
Kiến trúc Apache Kafka
Kafka dựa trên mô hình gửi tin nhắn đẩy. Sử dụng mô hình này, các thông điệp trong Kafka được truyền tải tích cực đến người tiêu dùng. Tin nhắn được xuất bản trong các chủ đề được phân vùng và phân phối đến các nhà môi giới khác nhau trong cụm.
Sau đó, người tiêu dùng có thể đăng ký một hoặc nhiều chủ đề và nhận tin tức khi chúng được tạo về các chủ đề đó.
Trong Kafka, mỗi chủ đề được chia thành một hoặc nhiều phân vùng. Đó là trên phân vùng mà các sự kiện kết thúc.
Nếu có nhiều hơn một nhà môi giới trong cụm thì các phân vùng sẽ được phân bổ đồng đều trên tất cả các nhà môi giới (nếu có thể), cho phép tải đọc/ghi trên một chủ đề được chia tỷ lệ cho một số nhà môi giới cùng một lúc. Vì là một cụm nên nó hoạt động bằng cách sử dụng ZooKeeper để đồng bộ hóa.
Nó chấp nhận các cửa hàng và phân phối đĩa CD. Bản ghi là dữ liệu được tạo bởi một số nút hệ thống, có thể là một sự kiện hoặc thông tin. Nó được gửi đến cụm và cụm lưu trữ nó trong phân vùng chủ đề.
Mỗi bản ghi có một độ lệch trình tự và người tiêu dùng có thể kiểm soát phần bù mà nó sử dụng. Vì vậy, nếu có nhu cầu xử lý lại đề tài thì có thể thực hiện dựa trên offset.
Nguồn hình ảnh: Wikipedia
Logic như quản lý ID tin nhắn đọc lần cuối của người tiêu dùng hoặc quyết định phân vùng nào để ghi dữ liệu mới đến được ủy quyền hoàn toàn cho khách hàng (nhà sản xuất hoặc người tiêu dùng).
Ngoài các khái niệm nhà sản xuất và người tiêu dùng, còn có các khái niệm về chủ đề, phân vùng và nhân rộng.
Chủ đề mô tả danh mục của tin nhắn. Kafka đạt được khả năng chịu lỗi bằng cách sao chép dữ liệu trong một chủ đề và mở rộng quy mô bằng cách chia chủ đề trên nhiều máy chủ.
RabbitMQ so với Kafka
Sự khác biệt chính giữa Apache Kafka và RabbitMQ xuất phát từ các mô hình nhắn tin khác nhau cơ bản được triển khai trong các hệ thống này.
Đặc biệt, Apache Kafka hoạt động theo nguyên tắc kéo (pull), khi chính người tiêu dùng nhận được thông điệp họ cần từ chủ đề.
Mặt khác, RabbitMQ triển khai mô hình đẩy, gửi các tin nhắn cần thiết đến người nhận. Như vậy, Kafka khác với RabbitMQ ở những điểm sau:
# 1. Ngành kiến trúc
Một trong những khác biệt lớn nhất giữa RabbitMQ và Kafka là sự khác biệt về kiến trúc. RabbitMQ sử dụng kiến trúc hàng đợi tin nhắn dựa trên nhà môi giới truyền thống, trong khi Kafka sử dụng kiến trúc nền tảng phát trực tuyến phân tán.
Hơn nữa, RabbitMQ sử dụng mô hình gửi tin nhắn dựa trên kéo trong khi Kafka sử dụng mô hình dựa trên đẩy.
#2. Lưu tin nhắn
RabbitMQ đặt tin nhắn vào hàng đợi FIFO (Đầu vào đầu tiên – Đầu ra đầu tiên) và theo dõi trạng thái của tin nhắn này trong hàng đợi, và Kafka thêm tin nhắn vào nhật ký (ghi nó vào đĩa), để người nhận lo việc lấy thông tin cần thiết từ đề tài.
RabbitMQ xóa tin nhắn sau khi nó được gửi đến người nhận, trong khi Kafka lưu trữ tin nhắn cho đến khi lên lịch xóa nhật ký.
Bằng cách này, Kafka lưu lại trạng thái hiện tại và tất cả các trạng thái trước đó của hệ thống và có thể được sử dụng như một nguồn dữ liệu lịch sử đáng tin cậy, không giống như RabbitMQ.
#3. Cân bằng tải
Mô hình gửi tin nhắn kéo của RabbitMQ giúp giảm độ trễ. Tuy nhiên, người nhận có thể bị quá tải nếu thư đến hàng đợi nhanh hơn mức họ có thể xử lý.
Vì trong RabbitMQ, mỗi người nhận yêu cầu/truyền một số lượng tin nhắn khác nhau nên việc phân công lao động có thể trở nên không đồng đều, dẫn đến sự chậm trễ và mất thứ tự tin nhắn trong quá trình xử lý.
Để ngăn chặn điều này, mỗi bộ thu RabbitMQ sẽ định cấu hình giới hạn tìm nạp trước, giới hạn về số lượng tin nhắn tích lũy chưa được xác nhận. Trong Kafka, việc cân bằng tải được thực hiện tự động bằng cách phân phối lại đối tượng theo các phần (phân vùng) của chủ đề.
#4. Lộ trình
RabbitMQ bao gồm bốn cách để nhắm mục tiêu các trao đổi khác nhau để xếp hàng, cho phép tạo ra một tập hợp các mẫu tin nhắn mạnh mẽ và linh hoạt. Kafka chỉ thực hiện một cách duy nhất để ghi tin nhắn vào đĩa mà không cần định tuyến.
#5. Tin nhắn đặt hàng
RabbitMQ cho phép bạn giữ trật tự tương đối trong các nhóm (nhóm) sự kiện tùy ý và Apache Kafka cung cấp một cách dễ dàng để giữ trật tự với khả năng mở rộng bằng cách viết tuần tự các tin nhắn vào nhật ký (chủ đề) được sao chép.
Tính năngRabbitMQKafka ArchitectureLưu tin nhắn vào đĩa gắn với nhà môi giớiKiến trúc nền tảng phát trực tuyến phân tánMô hình phân phốiDựa trên kéoDựa trên đẩyLưu tin nhắnKhông thể lưu tin nhắnGiữ đơn đặt hàng bằng cách ghi vào chủ đề Cân bằng tảiĐịnh cấu hình giới hạn tìm nạp trướcĐịnh tuyến được thực hiện tự độngBao gồm 4 cách định tuyến chỉ có 1 cách định tuyến tin nhắn Sắp xếp tin nhắnGiữ các nhóm được sắp xếpGiữ đơn hàng bằng cách viết cho một chủ đềCác quy trình bên ngoài Không bắt buộcYêu cầu một phiên bản đang chạy của Plugin ZookeeperMột số plugin Có hỗ trợ plug-in hạn chế
RabbitMQ và Kafka là các hệ thống nhắn tin được sử dụng rộng rãi, mỗi hệ thống đều có điểm mạnh và trường hợp sử dụng riêng. RabbitMQ là một hệ thống nhắn tin linh hoạt, đáng tin cậy và có thể mở rộng, vượt trội trong việc xếp hàng tin nhắn, khiến nó trở thành lựa chọn lý tưởng cho các ứng dụng yêu cầu gửi tin nhắn linh hoạt và đáng tin cậy.
Mặt khác, Kafka là một nền tảng phát trực tuyến phân tán được thiết kế để xử lý thông lượng cao đối với lượng lớn dữ liệu thời gian thực, khiến nó trở thành lựa chọn tuyệt vời cho các ứng dụng yêu cầu phân tích và xử lý dữ liệu theo thời gian thực.
Các trường hợp sử dụng chính của RabbitMQ:
thương mại điện tử
RabbitMQ được sử dụng trong các ứng dụng thương mại điện tử để quản lý luồng dữ liệu giữa các hệ thống khác nhau, chẳng hạn như quản lý hàng tồn kho, xử lý đơn hàng và xử lý thanh toán. Nó có thể xử lý khối lượng lớn tin nhắn và đảm bảo chúng được gửi đi một cách đáng tin cậy và đúng thứ tự.
Chăm sóc sức khỏe
Trong ngành chăm sóc sức khỏe, RabbitMQ được sử dụng để trao đổi dữ liệu giữa các hệ thống khác nhau như hồ sơ sức khỏe điện tử (EHR), thiết bị y tế và hệ thống hỗ trợ quyết định lâm sàng. Nó có thể giúp cải thiện việc chăm sóc bệnh nhân và giảm thiểu sai sót bằng cách đảm bảo rằng thông tin phù hợp được cung cấp vào đúng thời điểm.
Các dịch vụ tài chính
RabbitMQ cho phép nhắn tin theo thời gian thực giữa các hệ thống như nền tảng giao dịch, hệ thống quản lý rủi ro và cổng thanh toán. Nó có thể giúp đảm bảo xử lý giao dịch nhanh chóng và an toàn.
hệ thống IoT
RabbitMQ được sử dụng trong các hệ thống IoT để quản lý luồng dữ liệu giữa các thiết bị và cảm biến khác nhau. Nó có thể giúp đảm bảo phân phối dữ liệu an toàn và hiệu quả, ngay cả trong môi trường có băng thông hạn chế và kết nối không liên tục.
Kafka là một nền tảng phát trực tuyến phân tán được thiết kế để xử lý lượng lớn dữ liệu thời gian thực.
Các trường hợp sử dụng Kafka chính
Phân tích thời gian thực
Kafka được sử dụng trong các ứng dụng phân tích thời gian thực để xử lý và phân tích dữ liệu khi dữ liệu được tạo, cho phép các công ty đưa ra quyết định dựa trên thông tin cập nhật. Nó có thể xử lý lượng lớn dữ liệu và mở rộng quy mô để đáp ứng nhu cầu của ngay cả những ứng dụng đòi hỏi khắt khe nhất.
Tổng hợp nhật ký
Kafka có thể tổng hợp nhật ký từ các hệ thống và ứng dụng khác nhau, cho phép doanh nghiệp giám sát và khắc phục sự cố trong thời gian thực. Nó cũng có thể được sử dụng để lưu trữ nhật ký để phân tích và báo cáo dài hạn.
học máy
Kafka được sử dụng trong các ứng dụng học máy để truyền dữ liệu đến các mô hình trong thời gian thực, cho phép các công ty đưa ra dự đoán và thực hiện hành động dựa trên thông tin hiện tại. Nó có thể giúp cải thiện độ chính xác và hiệu quả của các mô hình học máy.
Ý kiến của tôi về RabbitMQ và Kafka
Nhược điểm của khả năng rộng rãi và đa dạng của RabbitMQ về mặt quản lý linh hoạt hàng đợi tin nhắn là tăng mức tiêu thụ tài nguyên và do đó giảm hiệu suất khi tải tăng. Vì đây là phương thức hoạt động cho các hệ thống phức tạp nên Apache Kafka là công cụ nhắn tin tốt nhất trong hầu hết các trường hợp.
Ví dụ: trong trường hợp thu thập và tổng hợp nhiều sự kiện từ hàng chục hệ thống và dịch vụ, có tính đến khả năng đặt trước địa lý, số liệu khách hàng, tệp nhật ký và phân tích của chúng, với triển vọng mở rộng nguồn thông tin, tôi sẽ thích sử dụng Kafka hơn, nhưng nếu bạn đang ở trong tình huống chỉ cần nhắn tin nhanh, RabbitMQ sẽ thực hiện tốt công việc đó!
Bạn cũng có thể đọc cách cài đặt Apache Kafka trên hệ thống Windows và Linux.
