Microsoft đã chuyển đổi các dịch vụ Azure của mình thành các giải pháp đám mây cấp doanh nghiệp với các khả năng tiên tiến nhất như quản lý và phân tích dữ liệu.
Microsoft đã ra mắt Azure SQL Data Warehouse khi quyết định sử dụng đám mây. Microsoft đang phát triển mạnh mẽ Kho dữ liệu Azure SQL. Nó là một dịch vụ quản lý cơ sở dữ liệu linh hoạt kết hợp các chức năng kho dữ liệu linh hoạt với nó.
Kho dữ liệu Azure SQL là gì?
Kho dữ liệu Azure SQL (hiện được gọi là Nhóm SQL chuyên dụng Azure Synapse, kho dữ liệu dựa trên đám mây, cho phép bạn xây dựng và cung cấp kho dữ liệu trên Microsoft Azure. Kho dữ liệu Azure có thể xử lý lượng lớn dữ liệu quan hệ và không quan hệ. Dữ liệu SQL Khả năng kho hàng và nền tảng xử lý dữ liệu trên đám mây.
Nó vốn hỗ trợ các máy chủ SQL và cho phép bạn di chuyển các máy chủ SQL hiện có của mình sang Kho dữ liệu SQL. Bạn cũng có thể sử dụng các truy vấn và cấu trúc tương tự. Ngoài ra, người đăng ký có quyền truy cập ngay lập tức để mở rộng, tạm dừng và thu hẹp tài nguyên kho dữ liệu.
Nó được sử dụng để cung cấp giải pháp kho dữ liệu doanh nghiệp hoàn chỉnh dựa trên SQL. Nó cũng có thể được sử dụng như sau:
- Di chuyển kho dữ liệu hiện có (tại chỗ) lên đám mây
- Cung cấp giải pháp kho dữ liệu cho các ứng dụng và dịch vụ yêu cầu lưu trữ và truy xuất dữ liệu khi chạy, chẳng hạn như các ứng dụng web.
- Giải pháp kho dữ liệu kết hợp kết nối với kho dữ liệu được lưu trữ trên Azure và SQL Server tại chỗ.
Điều tốt nhất về Azure SQL Data Warehouse là tính linh hoạt của nó. Nó cho phép khả năng mở rộng và khả năng quản lý riêng biệt cả tài nguyên lưu trữ và máy tính. Nó tạo ra một nền tảng đôi bên cùng có lợi, nơi người dùng chỉ trả tiền cho những gì họ sử dụng và thời điểm họ sử dụng nó.
Phía điện toán của Azure SQL Data Warehouse dựa trên một đơn vị kho dữ liệu (DWU) theo dõi các tài nguyên điện toán như I/O lưu trữ và bộ nhớ trên tất cả các nút điện toán tham gia.
Azure SQL Data Warehouse cung cấp tính năng bảo mật kết nối. Điều này cho phép bạn hạn chế quyền truy cập vào các địa chỉ IP hoặc dải địa chỉ IP cụ thể bằng các quy tắc tường lửa. Tích hợp với xác thực Azure Active Directory (AAD) sẽ cho phép bạn kết nối với Azure SQL Data Warehouse bằng cách sử dụng danh tính Azure AD của bạn.
Mã hóa nhiều lớp cung cấp khả năng bảo vệ khi nghỉ ngơi, chuyển động và sử dụng để bảo vệ dữ liệu của bạn khỏi bị lạm dụng. Các công cụ bổ sung có sẵn để kiểm tra và giám sát dữ liệu cũng như xác định các vi phạm bảo mật.
Được kết hợp với các công cụ khác của Microsoft, Azure SQL Data Warehouse mang lại hiệu suất vô song, đây là một lợi thế lớn so với các dịch vụ tương đương khác trên thị trường.
Nhóm SQL chuyên dụng Azure Synapse
Nhóm SQL chuyên dụng Azure Synapse SQL Pool (trước đây là Azure SQL Data Warehouse) là một ngân hàng dữ liệu xử lý song song quy mô lớn tương tự như các công nghệ cơ sở dữ liệu có thể mở rộng dạng cột như Snowflake và Amazon dịch chuyển đỏ. Đối với người dùng cuối, nó trông giống như SQL Server truyền thống, nhưng nó không lưu trữ và xử lý dữ liệu trong một nút duy nhất.
Điều này có thể cải thiện đáng kể hiệu suất của kho dữ liệu lớn hơn vài terabyte, nhưng có thể có các giải pháp tốt hơn cho các triển khai nhỏ hơn.
Kiến trúc cơ bản rất khác so với các máy chủ SQL truyền thống. Điều này có nghĩa là cú pháp và phương pháp lập trình cũng khác nhau.
Các bản phân phối được ánh xạ để tính toán các nút trong nhóm SQL chuyên dụng. Nhóm ánh xạ lại các bản phân phối để tính toán các nút khi bạn mua thêm tài nguyên tính toán.
Bạn có thể nhập dữ liệu lớn bằng các truy vấn SQL PolyBase đơn giản, sau đó sử dụng công cụ truy vấn phân tán để phân tích hiệu suất cao.
Nhóm SQL chuyên dụng, trước đây là SQL DW, sẽ cung cấp cho công ty của bạn một nguồn thông tin duy nhất cho phép bạn tích hợp và phân tích dữ liệu nhanh hơn cũng như cung cấp thông tin chi tiết hơn.
Sự khác biệt giữa nhóm SQL chuyên dụng Azure Synapse và nhóm SQL chuyên dụng trong không gian làm việc Azure Synapse Analytics là gì?
PowerShell là một trong những khu vực khó hiểu nhất trong tài liệu giữa “nhóm SQL chuyên dụng (trước đây là SQLDW) và nhóm SQL chuyên dụng” Synapse Analytics”.
Việc triển khai SQL DW ban đầu sử dụng một máy chủ logic tương tự như Azure SQL DB. Mô-đun PowerShell có tên Az.Sql được cung cấp.
Mô-đun này tạo một nhóm SQL mới (trước đây là SQLDW) bằng lệnh ghép ngắn New.AzSqlDatabase. Nó có tham số “Chỉnh sửa” cho phép bạn chỉ định rằng bạn muốn có DataWarehouse.
Synapse Analytics được cung cấp cùng với mô-đun PowerShell mới từ Az.Synapse khi nó được phát hành lần đầu tiên. Để tạo nhóm SQL chuyên dụng trong không gian làm việc Synapse Analytics, hãy sử dụng New-AzSynapseSqlPool.
Mô-đun PowerShell này không yêu cầu đưa vào tham số “Chỉnh sửa” vì nó chỉ được sử dụng cho các tạo phẩm Synapse.
Nhóm SQL chuyên dụng cung cấp khả năng xử lý và lưu trữ dựa trên T-SQL. Dữ liệu có thể được tải, lập mô hình và xử lý trong Synapse để có thông tin chi tiết nhanh hơn.
Azure Synapse cung cấp các nhóm SQL và Apache Spark không có máy chủ bên cạnh các nhóm SQL chuyên dụng. Bạn có thể chọn một trong những quyền dựa trên yêu cầu của bạn.
Nhóm SQL serverless cho phép bạn truy vấn dữ liệu được lưu trữ trong kho dữ liệu.
Nhóm SQL chuyên dụng Azure Synapse làm gì?
Nhóm SQL dành riêng cho Azure Synapse sử dụng kiến trúc mở rộng quy mô để phân phối tính toán dữ liệu trên nhiều nút. Tính toán có thể thay đổi quy mô độc lập với lưu trữ vì tính toán khác với lưu trữ.
Nhóm SQL không có máy chủ là không có máy chủ và tự động thay đổi quy mô để đáp ứng các yêu cầu về tài nguyên truy vấn. Thích nghi với việc thay đổi cấu trúc liên kết bằng cách thêm, xóa hoặc không thành công trên các nút. Điều này đảm bảo rằng truy vấn của bạn có đủ tài nguyên và có thể hoàn tất thành công.
Synapse SQL dựa trên kiến trúc dựa trên nút. Synapse SQL sử dụng kiến trúc dựa trên nút. Các ứng dụng có thể kết nối với nút điều khiển và đưa ra các lệnh T-SQL. Đây là điểm duy nhất cho Synapse SQL.
Các nút điều khiển Azure Synapse SQL sử dụng một công cụ truy vấn phân tán giúp tối ưu hóa các truy vấn để xử lý song song, sau đó ủy quyền các hoạt động cho các nút điện toán để chúng có thể thực hiện công việc của mình song song.
Nút kiểm soát nhóm SQL serverless sử dụng công cụ xử lý truy vấn phân tán (DQP) để tối ưu hóa và sắp xếp việc thực thi phân tán.
Điều này được thực hiện bằng cách chia truy vấn của người dùng thành các truy vấn nhỏ hơn có thể được thực hiện trên các nút điện toán. Mỗi tác vụ là một đơn vị thực thi phân tán. Nó lấy dữ liệu từ các công việc khác, nhóm các tệp và đọc chúng từ bộ nhớ.
Các nút tính toán lưu trữ tất cả dữ liệu người dùng và chạy các truy vấn song song. Dịch vụ di chuyển dữ liệu (DMS), một dịch vụ cấp hệ thống nội bộ, di chuyển dữ liệu giữa các nút để cho phép truy vấn song song và trả về kết quả chính xác.
Synapse SQL sử dụng Azure Storage để bảo mật dữ liệu người dùng. Azure Storage lưu trữ và quản lý dữ liệu của bạn. Có một khoản phí riêng cho việc sử dụng bộ nhớ.
Các tính năng của nhóm SQL chuyên dụng Azure Synapse
Dưới đây là các tính năng chính của Azure Synapse SQL Pool:
- Bạn có thể truy vấn dữ liệu ở nhiều định dạng khác nhau như Parquet, JSON và CSV trong Data Lake.
- Người dùng có thể xem dữ liệu mới nhất bằng cách sử dụng trừu tượng hóa quan hệ.
- T-SQL cho phép bạn chuyển đổi dữ liệu trong hồ theo cách đơn giản, có thể mở rộng
- Các nhà khoa học dữ liệu có thể nhanh chóng khám phá cấu trúc và nội dung dữ liệu của hồ bằng cách sử dụng OPENROWSET hoặc suy luận lược đồ tự động.
- Các kỹ sư dữ liệu có thể sử dụng hồ bơi để khám phá hồ và chuyển đổi, xây dựng hoặc đơn giản hóa các quy trình chuyển đổi dữ liệu.
- Các nhà khoa học dữ liệu có thể truy cập dữ liệu và chạy các bảng bên ngoài thông qua T-SQL và các công cụ quen thuộc khác. Các công cụ này cũng có thể được kết nối với nhóm SQL không có máy chủ.
- Tạo báo cáo BI ngay lập tức bởi các chuyên gia BI bằng cách sử dụng Spark Tables hoặc Data Lake.
Nhóm SQL chuyên dụng so với Nhóm SQL không có máy chủ
Nhóm SQL không có máy chủ
Không gian làm việc Azure Synapse có nhóm SQL không có máy chủ chạy dưới dạng dịch vụ truy vấn trong kho dữ liệu. Truy cập dữ liệu không yêu cầu cấu hình bổ sung. Nó hoàn toàn không có máy chủ và không yêu cầu cơ sở hạ tầng để thiết lập hoặc bảo trì.
Việc mở rộng quy mô có thể được thực hiện tự động để đáp ứng các yêu cầu về tài nguyên. Người dùng chỉ trả tiền cho dữ liệu được xử lý, không phải cho tài nguyên dành riêng. Nhóm SQL không có máy chủ cũng tạo số liệu thống kê để tối ưu hóa việc thực thi truy vấn.
Ví dụ: khi chúng tôi chạy truy vấn hai lần hoặc chạy hai truy vấn có kế hoạch thực hiện tương tự nhau, các thống kê này có thể được sử dụng lại.
Các tính năng này cho phép chúng tôi nhanh chóng phân tích lượng lớn dữ liệu mà không cần sao chép hoặc tải chúng vào một cửa hàng cụ thể.
Nhóm SQL chuyên dụng
Nhóm SQL chuyên dụng Synapse là sự kế thừa của Azure SQL Data Warehouse và cung cấp tất cả các tính năng của kho dữ liệu doanh nghiệp. Tuy nhiên, không có nhóm SQL không có máy chủ. Thay vào đó, người dùng phải tạo và xóa nhóm SQL chuyên dụng Synapse. Chúng tôi cũng có thể chọn các tài nguyên mà nó sẽ sử dụng.
Các tài nguyên này được đo lường bằng cách sử dụng nhóm Synapse SQL chuyên dụng. Chúng được gọi là đơn vị kho dữ liệu (DWU). DWU đề cập đến sự kết hợp của CPU, bộ nhớ và tài nguyên I/O.
Số lượng DWU xác định công suất và chi phí của nhóm. Thay vì bị tính phí theo yêu cầu, chúng tôi sẽ được lập hóa đơn cho mỗi lần nhóm hoạt động, bất kể công việc đã hoàn thành.
Các nhóm chuyên dụng có thể được dừng và khởi động lại để tránh phát sinh thêm chi phí. Đối với thử nghiệm của chúng tôi, chúng tôi đã tạo một nhóm SQL chuyên dụng 100 DWU.
Khi một nhóm được tạo, dữ liệu có thể được tải vào nhóm đó bằng cách sử dụng COPY, PolyBase với các truy vấn T-SQL hoặc một đường dẫn. Dữ liệu này sẽ được lưu trữ trong lưu trữ cột trong các bảng quan hệ.
Nhóm SQLServerless SQL chuyên dụng Truy vấn và nhập Data Lake. Người dùng có thể truy vấn các tệp Data Lake. Cần có cơ sở hạ tầng. Không cần xây dựng cơ sở hạ tầng hoặc bảo trì cụm. Cần có máy chủ chuyên dụng trước bất kỳ hoạt động nào. Để chuyển đổi hoặc khám phá Không cần cơ sở hạ tầng để lưu trữ dữ liệu. Các bảng quan hệ được sử dụng để lưu trữ dữ liệu. Data Lake lưu trữ dữ liệu. Bạn có thể quản lý chi phí bằng cách tạm dừng nhóm SQL và giảm dung lượng lưu trữ. Chi phí được tự động duy trì và lập hóa đơn trên cơ sở thanh toán theo yêu cầu. Tài nguyên dự trữ phải chịu chi phí. Chi phí xử lý dữ liệu được tính cho mỗi truy vấn. Trả tiền cho DWU được chia sẻ. Trả tiền cho xử lý TB.
Đăng kí
Đó là tất cả đối với Kho dữ liệu Azure SQL (hiện được gọi là Nhóm SQL chuyên dụng Azure Synapse). Mặc dù nhóm SQL chuyên dụng có thể trông giống với máy chủ SQL truyền thống ở nhiều khía cạnh, nhưng kiến trúc cơ bản (xử lý song song hàng loạt) lại hoàn toàn khác. Điều này có nghĩa là một số khái niệm và kỹ thuật chỉ áp dụng cho nhóm SQL chuyên dụng.
Bạn cũng có thể khám phá sự khác biệt giữa Data Lake và Data Warehouse.
