Dữ liệu là một phần không thể thiếu của các công ty, tổ chức và chỉ có giá trị khi được cấu trúc hợp lý và quản lý hiệu quả.
Theo thống kê, hiện nay có 95% doanh nghiệp gặp vấn đề về quản lý và cấu trúc dữ liệu phi cấu trúc.
Đây là nơi khai thác dữ liệu xuất hiện. Đó là quá trình khám phá, phân tích và trích xuất các mẫu có ý nghĩa và những hiểu biết có giá trị từ các tập hợp lớn dữ liệu phi cấu trúc.
Các công ty sử dụng phần mềm để xác định các mẫu trong lượng lớn dữ liệu nhằm tìm hiểu thêm về khách hàng và đối tượng mục tiêu của họ, đồng thời phát triển các chiến lược kinh doanh và tiếp thị để cải thiện doanh số bán hàng và giảm chi phí.
Ngoài lợi ích này, các ứng dụng quan trọng nhất của khai thác dữ liệu là phát hiện gian lận và bất thường.
Bài viết này giải thích tính năng phát hiện sự bất thường và khám phá thêm cách tính năng này có thể giúp ngăn chặn hành vi vi phạm dữ liệu và xâm nhập mạng để giữ an toàn cho dữ liệu của bạn.
Phát hiện bất thường là gì và loại của nó là gì?
Mặc dù việc khai thác dữ liệu liên quan đến việc tìm kiếm các mẫu, mối tương quan và xu hướng kết nối với nhau nhưng đó là cách tuyệt vời để tìm ra những điểm bất thường hoặc ngoại lệ trong các điểm dữ liệu trong mạng của bạn.
Sự bất thường trong khai thác dữ liệu là các điểm dữ liệu khác với các điểm dữ liệu khác trong tập dữ liệu và đi chệch khỏi mẫu hành vi thông thường của tập dữ liệu.
Sự bất thường có thể được chia thành nhiều loại và loại khác nhau, bao gồm:
- Những thay đổi trong các sự kiện: đề cập đến những thay đổi đột ngột hoặc có hệ thống so với hành vi bình thường trước đó.
- Ngoại lệ: Các mẫu bất thường nhỏ xảy ra một cách không có hệ thống trong quá trình thu thập dữ liệu. Chúng có thể được chia nhỏ hơn nữa thành các ngoại lệ toàn cầu, theo ngữ cảnh và tập thể.
- Trôi: Thay đổi dần dần, một chiều và lâu dài trong tập dữ liệu.
Do đó, phát hiện bất thường là một kỹ thuật xử lý dữ liệu rất hữu ích để phát hiện các giao dịch gian lận, xử lý các nghiên cứu điển hình về sự mất cân bằng cao cấp và phát hiện bệnh tật để xây dựng các mô hình khoa học dữ liệu mạnh mẽ.
Ví dụ: một công ty có thể muốn phân tích dòng tiền của mình để tìm các giao dịch bất thường hoặc lặp đi lặp lại trong một tài khoản ngân hàng không xác định nhằm phát hiện gian lận và điều tra thêm.
Lợi ích của việc phát hiện sự bất thường
Việc phát hiện những điểm bất thường trong hành vi của người dùng giúp tăng cường hệ thống bảo mật và làm cho chúng chính xác và chính xác hơn.
Phân tích và hiểu được nhiều loại thông tin được cung cấp bởi hệ thống bảo mật để xác định các mối đe dọa và mối đe dọa tiềm ẩn trong mạng.
Dưới đây là những lợi ích của việc phát hiện sự bất thường đối với doanh nghiệp:
- Phát hiện theo thời gian thực các mối đe dọa an ninh mạng và vi phạm dữ liệu khi thuật toán trí tuệ nhân tạo (AI) liên tục quét dữ liệu của bạn để phát hiện hành vi bất thường.
- Nó giúp việc theo dõi các hoạt động và mẫu bất thường nhanh hơn và dễ dàng hơn so với phát hiện bất thường thủ công, giảm nỗ lực và thời gian cần thiết để giải quyết các mối đe dọa.
- Giảm thiểu rủi ro vận hành bằng cách xác định các lỗi vận hành, chẳng hạn như hiệu suất giảm đột ngột trước khi chúng xảy ra.
- Nó giúp loại bỏ thiệt hại nghiêm trọng trong kinh doanh bằng cách phát hiện các điểm bất thường một cách nhanh chóng, vì nếu không có hệ thống phát hiện điểm bất thường, các công ty có thể mất hàng tuần hoặc thậm chí hàng tháng để xác định các mối đe dọa tiềm ẩn.
Do đó, phát hiện bất thường là một tài sản to lớn đối với các công ty lưu trữ khối lượng lớn dữ liệu khách hàng và doanh nghiệp để tìm cơ hội tăng trưởng và loại bỏ các mối đe dọa bảo mật cũng như tắc nghẽn hoạt động.
Kỹ thuật phát hiện bất thường
Tính năng phát hiện bất thường sử dụng một số quy trình và thuật toán học máy (ML) để giám sát dữ liệu và phát hiện các mối đe dọa.
Dưới đây là các kỹ thuật phát hiện sự bất thường chính:
# 1. Kỹ thuật học máy
Kỹ thuật học máy sử dụng thuật toán học máy để phân tích dữ liệu và phát hiện các điểm bất thường. Các loại thuật toán học máy khác nhau để phát hiện sự bất thường bao gồm:
- Thuật toán phân cụm
- Thuật toán phân loại
- Thuật toán học sâu
Các kỹ thuật học máy thường được sử dụng để phát hiện sự bất thường và mối đe dọa bao gồm máy vectơ hỗ trợ (SVM), phân cụm k-mean và bộ mã hóa tự động.
#2. Kỹ thuật thống kê
Kỹ thuật thống kê sử dụng các mô hình thống kê để phát hiện các mẫu bất thường (chẳng hạn như những biến động bất thường về hiệu suất của một máy cụ thể) trong dữ liệu nhằm phát hiện các giá trị nằm ngoài phạm vi giá trị mong đợi.
Các kỹ thuật phát hiện bất thường thống kê điển hình bao gồm kiểm tra giả thuyết, IQR, điểm Z, điểm Z được sửa đổi, ước tính mật độ, boxplot, phân tích giá trị cực trị và biểu đồ.
#3. Kỹ thuật khai thác dữ liệu
Kỹ thuật khai thác dữ liệu sử dụng kỹ thuật phân loại và phân cụm dữ liệu để tìm ra những điểm bất thường trong tập dữ liệu. Một số kỹ thuật khai thác dữ liệu phổ biến bao gồm phân cụm phổ, phân cụm dựa trên mật độ và phân tích thành phần chính.
Các thuật toán phân cụm khai thác dữ liệu được sử dụng để nhóm các điểm dữ liệu khác nhau thành các cụm dựa trên mức độ giống nhau của chúng để tìm các điểm dữ liệu và các điểm bất thường nằm ngoài các cụm đó.
Mặt khác, các thuật toán phân loại phân bổ các điểm dữ liệu cho các lớp được xác định trước nhất định và phát hiện các điểm dữ liệu không thuộc về các lớp đó.
#4. Kỹ thuật dựa trên quy tắc
Như tên cho thấy, các kỹ thuật phát hiện sự bất thường dựa trên quy tắc sử dụng một bộ quy tắc được xác định trước để tìm ra những điểm bất thường trong dữ liệu.
Những kỹ thuật này tương đối dễ dàng và đơn giản hơn để thiết lập, nhưng có thể không linh hoạt và có thể không hiệu quả trong việc thích ứng với những thay đổi về hành vi và mẫu dữ liệu.
Ví dụ: một hệ thống dựa trên quy tắc có thể được lập trình dễ dàng để đánh dấu các giao dịch trên một số tiền nhất định là gian lận.
#5. Kỹ thuật dành riêng cho miền
Bạn có thể sử dụng các kỹ thuật dành riêng cho từng miền để phát hiện sự bất thường trong các hệ thống dữ liệu cụ thể. Tuy nhiên, mặc dù chúng có thể rất hiệu quả trong việc phát hiện những điểm bất thường trong các lĩnh vực cụ thể, nhưng chúng có thể kém hiệu quả hơn ở các lĩnh vực khác ngoài một lĩnh vực cụ thể.
Ví dụ: bằng cách sử dụng các kỹ thuật dành riêng cho miền, bạn có thể thiết kế các kỹ thuật cụ thể để tìm ra những điểm bất thường trong các giao dịch tài chính. Tuy nhiên, chúng có thể không hoạt động khi phát hiện sự bất thường hoặc giảm hiệu suất trong máy.
Sự cần thiết của học máy để phát hiện sự bất thường
Học máy rất quan trọng và rất hữu ích trong việc phát hiện sự bất thường.
Ngày nay, hầu hết các doanh nghiệp và tổ chức yêu cầu phát hiện ngoại lệ đều phải xử lý lượng dữ liệu khổng lồ, từ văn bản, thông tin khách hàng và giao dịch đến các tệp đa phương tiện như hình ảnh và nội dung video.
Việc xem xét thủ công tất cả các giao dịch ngân hàng và dữ liệu được tạo ra mỗi giây để có được thông tin chi tiết có ý nghĩa là gần như không thể. Ngoài ra, hầu hết các công ty đều phải đối mặt với những thách thức và khó khăn nghiêm trọng trong việc cấu trúc dữ liệu phi cấu trúc và tổ chức dữ liệu theo cách có ý nghĩa để phân tích dữ liệu.
Đây là nơi các công cụ và kỹ thuật như học máy (ML) đóng vai trò rất lớn trong việc thu thập, làm sạch, cấu trúc, tổ chức, phân tích và lưu trữ lượng lớn dữ liệu phi cấu trúc.
Các kỹ thuật và thuật toán học máy xử lý các tập dữ liệu lớn và cho phép bạn linh hoạt áp dụng cũng như kết hợp các kỹ thuật và thuật toán khác nhau để có được kết quả tốt nhất.
Bên cạnh đó, học máy còn giúp cải thiện quy trình phát hiện bất thường trong các ứng dụng thực tế và tiết kiệm tài nguyên quý giá.
Dưới đây là một số lợi ích và tầm quan trọng bổ sung của học máy trong việc phát hiện sự bất thường:
- Giúp bạn mở rộng quy mô phát hiện bất thường bằng cách tự động hóa việc xác định các mẫu và điểm bất thường mà không cần lập trình rõ ràng.
- Các thuật toán học máy có khả năng thích ứng cao với các mẫu dữ liệu thay đổi, khiến chúng có hiệu quả cao và đáng tin cậy theo thời gian.
- Nó xử lý các tập dữ liệu lớn và phức tạp một cách dễ dàng, giúp phát hiện sự bất thường một cách hiệu quả bất chấp sự phức tạp của tập dữ liệu.
- Cung cấp khả năng nhận dạng và phát hiện sớm các bất thường, xác định các điểm bất thường theo thời gian thực, tiết kiệm thời gian và tài nguyên.
- Hệ thống phát hiện bất thường dựa trên máy học giúp đạt được mức độ chính xác cao hơn trong việc phát hiện bất thường so với các phương pháp truyền thống.
Bằng cách này, việc phát hiện điểm bất thường kết hợp với học máy giúp phát hiện điểm bất thường nhanh hơn và sớm hơn nhằm ngăn chặn các mối đe dọa bảo mật và các vi phạm nguy hiểm.
Thuật toán học máy để phát hiện sự bất thường
Bạn có thể phát hiện các điểm bất thường và ngoại lệ trong dữ liệu của mình bằng các thuật toán khai thác dữ liệu khác nhau để phân loại, nhóm hoặc học quy tắc kết hợp.
Thông thường, các thuật toán khai thác dữ liệu này thuộc hai loại khác nhau – thuật toán học có giám sát và không giám sát.
Học tập có giám sát
Học có giám sát là một loại thuật toán học phổ biến bao gồm các thuật toán như máy vectơ hỗ trợ, hồi quy logistic và tuyến tính cũng như phân loại nhiều lớp. Loại thuật toán này được huấn luyện trên dữ liệu được gắn nhãn, nghĩa là tập dữ liệu huấn luyện của nó chứa cả đầu vào thông thường và đầu ra hợp lệ phù hợp hoặc các ví dụ bất thường để xây dựng mô hình dự đoán.
Do đó, mục đích của nó là đưa ra dự đoán đầu ra cho dữ liệu mới và chưa nhìn thấy dựa trên các mẫu của tập dữ liệu huấn luyện. Các ứng dụng của thuật toán học có giám sát bao gồm nhận dạng hình ảnh và giọng nói, mô hình dự đoán và xử lý ngôn ngữ tự nhiên (NLP).
Học tập không giám sát
Học tập không giám sát không được đào tạo trên bất kỳ dữ liệu được dán nhãn nào. Thay vào đó, nó khám phá các quy trình phức tạp và cấu trúc dữ liệu cơ bản mà không cung cấp hướng dẫn về thuật toán huấn luyện và thay vào đó đưa ra các dự đoán cụ thể.
Các ứng dụng của thuật toán học không giám sát bao gồm phát hiện bất thường, ước tính mật độ và nén dữ liệu.
Bây giờ chúng ta hãy xem xét một số thuật toán phát hiện sự bất thường phổ biến dựa trên học máy.
Yếu tố ngoại lệ cục bộ (LOF)
Ngoại lệ cục bộ hoặc LOF là một thuật toán phát hiện bất thường có tính đến mật độ dữ liệu cục bộ để xác định xem điểm dữ liệu có phải là điểm bất thường hay không.
Nguồn: scikit-learn.org
Nó so sánh mật độ cục bộ của một phần tử với mật độ cục bộ của các phần tử lân cận để phân tích các khu vực có mật độ tương tự và các đối tượng có mật độ tương đối thấp hơn so với các phần tử lân cận – không gì khác hơn là các dị thường hoặc ngoại lệ.
Vì vậy, nói một cách đơn giản, mật độ xung quanh một phần tử ngoại lệ hoặc dị thường khác với mật độ xung quanh các phần tử lân cận của nó. Do đó, thuật toán này còn được gọi là thuật toán phát hiện ngoại lệ dựa trên mật độ.
K-hàng xóm gần nhất (K-NN)
K-NN là thuật toán phát hiện bất thường có giám sát và phân loại đơn giản nhất, dễ triển khai, lưu trữ tất cả các mẫu và dữ liệu có sẵn, đồng thời phân loại các mẫu mới dựa trên sự tương đồng về số liệu khoảng cách.
Nguồn: hướng tớidatascience.com
Thuật toán phân loại này còn được gọi là người học lười vì nó chỉ lưu trữ dữ liệu huấn luyện được gắn thẻ – không làm gì khác trong quá trình học.
Khi có điểm dữ liệu huấn luyện mới chưa được gắn nhãn xuất hiện, thuật toán sẽ kiểm tra K điểm dữ liệu huấn luyện gần nhất hoặc gần nhất để sử dụng chúng nhằm phân loại và xác định lớp của điểm dữ liệu chưa được gắn nhãn mới.
Thuật toán K-NN sử dụng các phương pháp phát hiện sau để xác định các điểm dữ liệu gần nhất:
- Khoảng cách Euclide để đo khoảng cách cho dữ liệu liên tục.
- Khoảng cách Hamming để đo khoảng cách hoặc “sự gần gũi” của hai chuỗi văn bản đối với dữ liệu rời rạc.
Ví dụ: giả sử tập dữ liệu huấn luyện của bạn bao gồm hai nhãn lớp A và B. Nếu một điểm dữ liệu mới xuất hiện, thuật toán sẽ tính khoảng cách giữa điểm dữ liệu mới và từng điểm dữ liệu trong tập dữ liệu và chọn các điểm có số gần nhất đến một điểm dữ liệu mới.
Vì vậy, giả sử rằng K =3Một 2 Với 3 điểm dữ liệu được gắn nhãn A, sau đó điểm dữ liệu mới được gắn nhãn lớp A.
Do đó, thuật toán K-NN hoạt động tốt nhất trong môi trường động với yêu cầu cập nhật dữ liệu thường xuyên.
Đây là thuật toán khai thác văn bản và phát hiện bất thường phổ biến với các ứng dụng trong tài chính và kinh doanh để phát hiện các giao dịch gian lận và tăng tỷ lệ phát hiện gian lận.
Máy vectơ hỗ trợ (SVM)
Máy Vector Hỗ trợ là một thuật toán phát hiện bất thường có giám sát dựa trên học máy, chủ yếu được sử dụng trong các bài toán hồi quy và phân loại.
Nó sử dụng siêu phẳng đa chiều để phân tách dữ liệu thành hai nhóm (mới và bình thường). Do đó, siêu phẳng hoạt động như một ranh giới quyết định tách biệt các quan sát dữ liệu thông thường khỏi dữ liệu mới.
Nguồn: www.analyticsvidhya.com
Khoảng cách giữa hai điểm dữ liệu này được gọi là lề.
Vì mục tiêu là tăng khoảng cách giữa hai điểm nên SVM xác định siêu phẳng tốt nhất hoặc tối ưu với lề tối đa để làm cho khoảng cách giữa hai lớp càng lớn càng tốt.
Về phát hiện bất thường, SVM tính toán biên độ quan sát của điểm dữ liệu mới từ siêu phẳng để phân loại nó.
Nếu biên vượt quá ngưỡng, trường hợp mới được phân loại là bất thường. Đồng thời, nếu mức ký quỹ nhỏ hơn ngưỡng thì trường hợp đó được phân loại là bình thường.
Điều này làm cho thuật toán SVM rất hiệu quả trong việc xử lý các tập dữ liệu đa chiều và phức tạp.
Khu rừng cô lập
Rừng cách ly là một thuật toán phát hiện bất thường trong học máy không giám sát dựa trên khái niệm phân loại rừng ngẫu nhiên.
Nguồn: Betterprogramming.pub
Thuật toán này xử lý dữ liệu được lấy mẫu con ngẫu nhiên trong tập dữ liệu theo cấu trúc cây dựa trên các thuộc tính ngẫu nhiên. Xây dựng một số cây quyết định để tách biệt các quan sát. Và nó coi một quan sát cụ thể là bất thường nếu nó được phân lập trên ít cây hơn dựa trên mức độ ô nhiễm.
Vì vậy, nói một cách đơn giản, thuật toán rừng cách ly chia các điểm dữ liệu thành các cây quyết định khác nhau – đảm bảo rằng mỗi quan sát được tách biệt với quan sát khác.
Các điểm bất thường thường nằm ngoài cụm điểm dữ liệu, giúp việc xác định điểm bất thường dễ dàng hơn so với các điểm dữ liệu thông thường.
Các thuật toán rừng cô lập có thể dễ dàng xử lý dữ liệu phân loại và số. Kết quả là, họ có thể được huấn luyện nhanh hơn và rất hiệu quả trong việc phát hiện các dị thường lớn và đa chiều trong các tập dữ liệu.
Phạm vi liên tứ phân vị
Phạm vi liên vùng hoặc IQR được sử dụng để đo lường sự thay đổi thống kê hoặc độ phân tán thống kê nhằm tìm ra các điểm bất thường trong tập dữ liệu bằng cách chia chúng thành các phần tư.
nguồn: morioh.com
Thuật toán sắp xếp dữ liệu theo thứ tự tăng dần và chia tập hợp thành bốn phần bằng nhau. Các giá trị phân tách các phần này là Q1, Q2 và Q3 – tứ phân vị thứ nhất, thứ hai và thứ ba.
Đây là sự phân bố phần trăm của các phần tư này:
- Q1 đại diện cho phân vị thứ 25 của dữ liệu.
- Q2 là phân vị thứ 50 của dữ liệu.
- Q3 là phân vị thứ 75 của dữ liệu.
IQR là sự khác biệt giữa phần trăm thứ ba (thứ 75) và phần trăm đầu tiên (thứ 25) của tập dữ liệu chiếm 50% dữ liệu.
Việc sử dụng IQR để phát hiện điểm bất thường đòi hỏi phải tính toán IQR của tập dữ liệu và xác định giới hạn dưới và giới hạn trên của dữ liệu để tìm ra điểm bất thường.
- Giới hạn dưới: Q1 – 1,5 * IQR
- Giới hạn trên: Q3+ 1,5 * IQR
Thông thường, những trường hợp nhìn thấy bên ngoài những giới hạn này được coi là bất thường.
Thuật toán IQR có hiệu quả đối với các tập dữ liệu có dữ liệu phân bố không đồng đều và phân bố của chúng chưa được hiểu rõ.
những từ cuối
Rủi ro an ninh mạng và vi phạm dữ liệu dường như không giảm đi trong những năm tới – và ngành rủi ro này dự kiến sẽ tiếp tục phát triển vào năm 2023, chỉ riêng các cuộc tấn công mạng IoT dự kiến sẽ tăng gấp đôi vào năm 2025.
Hơn nữa, đến năm 2025, tội phạm mạng sẽ khiến các công ty và tổ chức toàn cầu thiệt hại khoảng 103 hàng nghìn tỷ đô la hàng năm.
Đây là lý do tại sao ngày nay nhu cầu về các kỹ thuật phát hiện bất thường ngày càng trở nên phổ biến và cần thiết để phát hiện gian lận và ngăn chặn sự xâm nhập của mạng.
Bài viết này sẽ giúp bạn hiểu các điểm bất thường trong khai thác dữ liệu là gì, các loại điểm bất thường khác nhau và cách ngăn chặn sự xâm nhập mạng bằng cách sử dụng các kỹ thuật phát hiện điểm bất thường dựa trên máy học.
Sau đó, bạn có thể nghiên cứu tất cả về ma trận nhầm lẫn trong học máy.
