Hãy tưởng tượng rằng bạn có một cơ sở hạ tầng rộng lớn gồm nhiều loại thiết bị khác nhau mà bạn phải thường xuyên bảo trì hoặc chăm sóc để chúng không gây nguy hiểm cho môi trường xung quanh.
Một cách để đạt được điều này là thường xuyên cử người đi khắp nơi để kiểm tra xem mọi thứ có ổn không. Bằng cách nào đó nó có thể thực hiện được nhưng cũng khá tốn thời gian và chi phí. Và nếu cơ sở hạ tầng đủ lớn, bạn có thể không trang trải được hết trong một năm.
Một cách khác là tự động hóa quy trình này và kích hoạt xác minh công việc trên đám mây. Để điều này xảy ra, bạn cần làm như sau:
👉 Quá trình lấy hình ảnh thiết bị nhanh chóng. Mọi người vẫn có thể thực hiện việc này vì việc chụp ảnh cách thực hiện tất cả quy trình xác minh thiết bị vẫn nhanh hơn nhiều. Điều này cũng có thể được thực hiện với những bức ảnh được chụp từ ô tô hoặc thậm chí là máy bay không người lái, trong trường hợp đó, quá trình thu thập ảnh sẽ nhanh hơn và tự động hơn nhiều.
👉Sau đó, bạn phải tải tất cả ảnh thu được lên một nơi dành riêng trên đám mây.
👉 Trên đám mây, bạn cần một tác vụ tự động sẽ tải ảnh xuống và xử lý chúng bằng các mô hình máy học đã được đào tạo để nhận ra hư hỏng hoặc điểm bất thường của thiết bị.
👉 Cuối cùng, kết quả phải hiển thị cho người dùng được yêu cầu để có thể lên lịch sửa chữa các thiết bị gặp sự cố.
Hãy cùng xem cách chúng tôi có thể phát hiện điểm bất thường dựa trên hình ảnh trên đám mây AWS. Amazon nó có một số mô hình học máy làm sẵn mà chúng ta có thể sử dụng cho mục đích này.
Cách tạo mô hình phát hiện sự bất thường về hình ảnh
Để tạo mô hình phát hiện sự bất thường về hình ảnh, bạn cần làm theo một số bước:
Bước chân 1: Xác định rõ ràng vấn đề bạn muốn giải quyết và các loại bất thường bạn muốn phát hiện. Điều này sẽ giúp bạn xác định tập dữ liệu thử nghiệm thích hợp mà bạn sẽ cần để huấn luyện mô hình của mình.
Bước chân 2: Thu thập một tập dữ liệu hình ảnh lớn về các điều kiện bình thường và bất thường. Dán nhãn cho hình ảnh để cho biết hình ảnh nào là bình thường và hình ảnh nào có dấu hiệu bất thường.
Bước chân 3: Chọn kiến trúc mô hình phù hợp với nhiệm vụ. Điều này có thể bao gồm việc chọn một mô hình được đào tạo trước và điều chỉnh nó cho phù hợp với trường hợp sử dụng cụ thể hoặc tạo một mô hình tùy chỉnh từ đầu.
Bước chân 4: Huấn luyện mô hình bằng cách sử dụng tập dữ liệu đã chuẩn bị và thuật toán đã chọn. Điều này có nghĩa là sử dụng phương pháp học chuyển giao để tận dụng các mô hình được đào tạo trước hoặc đào tạo mô hình từ đầu bằng cách sử dụng các kỹ thuật như mạng thần kinh tích chập (CNN).
Cách đào tạo mô hình học máy
Nguồn: aws.amazon.com
Quá trình huấn luyện các mô hình machine learning của AWS để phát hiện các điểm bất thường về hình ảnh thường bao gồm một số bước quan trọng.
# 1. Thu thập dữ liệu
Trước tiên, bạn cần thu thập và gắn thẻ với một tập dữ liệu lớn gồm các hình ảnh đại diện cho cả điều kiện bình thường và bất thường. Tập dữ liệu càng lớn thì mô hình có thể được đào tạo càng tốt và chính xác hơn. Nhưng nó cũng đòi hỏi nhiều thời gian hơn để đào tạo mô hình.
Thông thường, bạn cần có khoảng 1000 bức ảnh trong bộ thử nghiệm của mình để có một khởi đầu tốt đẹp.
#2. Chuẩn bị dữ liệu
Dữ liệu hình ảnh trước tiên phải được xử lý trước để các mô hình học máy truy xuất dữ liệu đó. Tiền xử lý có thể có nhiều ý nghĩa khác nhau, chẳng hạn như:
- Dọn dẹp hình ảnh đầu vào thành các thư mục con riêng biệt, sửa siêu dữ liệu, v.v.
- Thay đổi kích thước ảnh để đáp ứng yêu cầu về độ phân giải của mô hình.
- Phân phối chúng thành các mảnh hình ảnh nhỏ hơn để xử lý song song và hiệu quả hơn.
#3. Chọn một mô hình
Bây giờ hãy chọn đúng mẫu để thực hiện đúng công việc. Chọn một mô hình được đào tạo trước hoặc bạn có thể tạo một mô hình tùy chỉnh phù hợp để phát hiện các điểm bất thường về hình ảnh trong mô hình.
#4. Đánh giá kết quả
Sau khi mô hình xử lý tập dữ liệu của bạn, bạn sẽ xác minh hiệu suất của nó. Bạn cũng muốn xem liệu kết quả có đáp ứng được nhu cầu của bạn hay không. Ví dụ: điều này có thể có nghĩa là kết quả chính xác trên hơn 99% dữ liệu đầu vào.
#5. Triển khai mô hình
Nếu bạn hài lòng với kết quả và hiệu suất, hãy triển khai mô hình được phiên bản vào môi trường tài khoản AWS của bạn để các quy trình và dịch vụ có thể bắt đầu sử dụng mô hình đó.
#6. Theo dõi và cải thiện
Hãy để nó chạy qua các tác vụ kiểm tra và tập dữ liệu hình ảnh khác nhau, đồng thời liên tục đánh giá xem các tham số cần thiết để phát hiện chính xác có còn tồn tại hay không.
Nếu không, hãy huấn luyện mô hình cho các tập dữ liệu mới trong đó mô hình cung cấp kết quả không hợp lệ.
Mô hình học máy của AWS
Bây giờ hãy xem một số mô hình cụ thể mà bạn có thể sử dụng trên đám mây Amazon.
Nhận dạng AWS
Nguồn: aws.amazon.com
Rekognition là dịch vụ phân tích hình ảnh và video có mục đích chung có thể được sử dụng trong nhiều trường hợp khác nhau, chẳng hạn như nhận dạng khuôn mặt, phát hiện đối tượng và nhận dạng văn bản. Trong hầu hết các trường hợp, mô hình nhận dạng sẽ được sử dụng để tạo trước các kết quả phát hiện thô nhằm tạo ra hồ dữ liệu về các điểm bất thường đã được xác định.
Nó cung cấp một loạt các mô hình làm sẵn có thể được sử dụng mà không cần đào tạo. Rekognition cũng cung cấp khả năng phân tích hình ảnh và video theo thời gian thực với độ chính xác cao và độ trễ thấp.
Dưới đây là một số trường hợp sử dụng phổ biến trong đó Rekognition là lựa chọn tốt để phát hiện sự bất thường:
- Có trường hợp sử dụng cho mục đích chung là phát hiện điểm bất thường, chẳng hạn như phát hiện điểm bất thường trong hình ảnh hoặc video.
- Thực hiện phát hiện bất thường theo thời gian thực.
- Tích hợp mô hình phát hiện bất thường của bạn với các dịch vụ AWS như Amazon S3, Amazon Kinesis hoặc AWS Lambda.
Dưới đây là một số ví dụ cụ thể về những điểm bất thường mà bạn có thể phát hiện bằng Rekognition:
- Những bất thường trên khuôn mặt, chẳng hạn như phát hiện nét mặt hoặc cảm xúc ngoài phạm vi bình thường.
- Đồ vật bị thiếu hoặc đặt sai vị trí trong hiện trường.
- Từ sai chính tả hoặc bố cục văn bản bất thường.
- Điều kiện ánh sáng bất thường hoặc các vật thể bất ngờ trong cảnh.
- Nội dung không phù hợp hoặc gây khó chịu trong hình ảnh hoặc video.
- Thay đổi đột ngột trong chuyển động hoặc kiểu chuyển động bất ngờ.
AWS Lookout cho tầm nhìn
Nguồn: aws.amazon.com
Lookout for Vision là mô hình được thiết kế đặc biệt để phát hiện những điểm bất thường trong các quy trình công nghiệp như sản xuất, dây chuyền sản xuất. Điều này thường yêu cầu xử lý trước và xử lý hậu kỳ mã tùy chỉnh hoặc cắt hình ảnh cụ thể, thường được thực hiện bằng ngôn ngữ lập trình Python. Hầu hết thời gian, anh ấy chuyên về một số vấn đề rất cụ thể trong bức tranh.
Yêu cầu đào tạo tùy chỉnh về tập dữ liệu gồm các hình ảnh bình thường và không điển hình để tạo mô hình phát hiện bất thường tùy chỉnh. Nó không tập trung vào thời gian thực; đúng hơn, nó được thiết kế để xử lý hàng loạt hình ảnh, tập trung vào độ chính xác và độ chính xác.
Dưới đây là một số trường hợp sử dụng phổ biến trong đó Lookout for Vision là lựa chọn phù hợp nếu bạn muốn phát hiện:
- Khiếm khuyết trong sản phẩm được sản xuất hoặc xác định lỗi thiết bị trên dây chuyền sản xuất.
- Một bộ sưu tập lớn các hình ảnh hoặc dữ liệu khác.
- Sự bất thường theo thời gian thực trong một quy trình công nghiệp.
- Sự bất thường được tích hợp với các dịch vụ AWS khác như Amazon S3 hoặc AWS IoT.
Dưới đây là một số ví dụ cụ thể về những điểm bất thường mà Lookout for Vision có thể phát hiện:
- Các khuyết tật của sản phẩm được sản xuất như vết trầy xước, vết lõm hoặc các khuyết điểm khác có thể ảnh hưởng đến chất lượng sản phẩm.
- Lỗi thiết bị trong dây chuyền sản xuất, chẳng hạn như phát hiện máy móc bị hư hỏng hoặc trục trặc có thể gây ra sự chậm trễ hoặc rủi ro về an toàn.
- Các vấn đề về kiểm soát chất lượng trên dây chuyền sản xuất bao gồm việc phát hiện các sản phẩm không đáp ứng các thông số kỹ thuật hoặc dung sai yêu cầu.
- Mối nguy hiểm về an toàn trong dây chuyền sản xuất liên quan đến việc phát hiện các đồ vật hoặc vật liệu có thể gây rủi ro cho công nhân hoặc thiết bị.
- Những bất thường trong quá trình sản xuất, chẳng hạn như phát hiện những thay đổi ngoài dự kiến trong dòng nguyên liệu, sản phẩm qua dây chuyền sản xuất.
Nhà sản xuất hiền nhân AWS
Nguồn: aws.amazon.com
Sagemaker là một nền tảng được quản lý hoàn toàn để xây dựng, đào tạo và triển khai các mô hình học máy tùy chỉnh.
Đây là một giải pháp mạnh mẽ hơn nhiều. Trên thực tế, nó cung cấp một cách để kết hợp và thực thi một số quy trình nhiều bước thành một chuỗi nhiệm vụ tuần tự duy nhất, tương tự như cách các hàm bước của AWS có thể thực hiện.
Nhưng vì Sagemaker sử dụng các phiên bản EC2 đặc biệt để xử lý nên không có giới hạn thời gian là 15 phút để xử lý một tác vụ đơn lẻ như với hàm lambda AWS trong AWS Step Functions.
Bạn cũng có thể thực hiện tự động điều chỉnh mô hình bằng Sagemaker, đây chắc chắn là một tính năng khiến nó trở thành một lựa chọn độc đáo. Cuối cùng, Sagemaker có thể dễ dàng triển khai mô hình trong môi trường sản xuất.
Dưới đây là một số trường hợp sử dụng phổ biến trong đó SageMaker là lựa chọn phù hợp để phát hiện điểm bất thường:
- Một trường hợp sử dụng cụ thể không có trong các mô hình hoặc API sẵn có hoặc nếu bạn cần xây dựng một mô hình tùy chỉnh để phù hợp với nhu cầu cụ thể của mình.
- Nếu bạn có một tập dữ liệu lớn về hình ảnh hoặc dữ liệu khác. Các mô hình đã hoàn thiện cần phải xử lý trước trong những trường hợp này, nhưng Sagemaker có thể làm điều đó mà không cần xử lý trước.
- Nếu bạn cần thực hiện phát hiện bất thường theo thời gian thực.
- Nếu bạn cần tích hợp mô hình của mình với các dịch vụ AWS khác như Amazon S3, Amazon Kinesis hoặc AWS Lambda.
Dưới đây là một số phát hiện bất thường điển hình mà Sagemaker có thể thực hiện:
- Phát hiện gian lận trong các giao dịch tài chính, chẳng hạn như các kiểu chi tiêu bất thường hoặc các giao dịch nằm ngoài phạm vi bình thường.
- An ninh mạng trong lưu lượng mạng, chẳng hạn như kiểu truyền dữ liệu bất thường hoặc kết nối không mong muốn với máy chủ bên ngoài.
- Chẩn đoán y tế bằng hình ảnh y tế, ví dụ: phát hiện khối u.
- Những bất thường trong hoạt động của thiết bị, chẳng hạn như cảm nhận những thay đổi về độ rung hoặc nhiệt độ.
- Kiểm soát chất lượng trong quy trình sản xuất, chẳng hạn như phát hiện lỗi sản phẩm hoặc xác định những sai lệch so với tiêu chuẩn chất lượng mong đợi.
- Mô hình tiêu thụ năng lượng bất thường.
Cách kết hợp các mô hình vào kiến trúc serverless
Mô hình học máy được đào tạo là một dịch vụ đám mây không sử dụng bất kỳ máy chủ cụm nào ở chế độ nền; do đó, nó có thể dễ dàng được tích hợp vào kiến trúc không có máy chủ hiện có.
Quá trình tự động hóa được thực hiện bằng cách sử dụng các hàm lambda AWS, được kết hợp thành một nhiệm vụ gồm nhiều bước trong AWS Step Functions.
Thông thường, cần phát hiện ban đầu ngay khi hình ảnh được thu thập và xử lý trước trong bộ chứa S3. Đây là nơi bạn sẽ tạo ra tính năng phát hiện sự bất thường nguyên tử trên hình ảnh đầu vào và lưu trữ kết quả vào hồ dữ liệu, ví dụ như được biểu thị bằng cơ sở dữ liệu Athena.
Trong một số trường hợp, việc phát hiện ban đầu này không đủ cho một trường hợp sử dụng cụ thể. Bạn có thể cần một phát hiện khác, cụ thể hơn. Ví dụ: mô hình ban đầu (ví dụ: Nhận dạng) có thể phát hiện một số sự cố trong thiết bị nhưng không thể xác định một cách đáng tin cậy đó là loại sự cố nào.
Đối với điều này, bạn có thể cần một mô hình khác với các khả năng khác nhau. Trong trường hợp này, bạn có thể chạy một mô hình khác (ví dụ: Lookout for Vision) trên một tập hợp con các hình ảnh mà mô hình ban đầu đã xác định được vấn đề.
Đây cũng là một cách hay để tiết kiệm một phần chi phí vì bạn không phải chạy mẫu thứ hai trên toàn bộ bộ ảnh. Thay vào đó, bạn chỉ chạy nó trên một tập hợp con đáng kể.
Các hàm AWS Lambda sẽ bao gồm tất cả quá trình xử lý như vậy bằng mã Python hoặc JavaScript bên trong. Nó chỉ phụ thuộc vào bản chất của các quy trình và số lượng hàm lambda AWS mà bạn sẽ cần đưa vào quy trình của mình. Giới hạn 15 phút trong thời lượng tối đa của lệnh gọi lambda AWS sẽ xác định số bước mà một quy trình như vậy phải có.
những từ cuối
Làm việc với các mô hình machine learning trên đám mây là một công việc rất thú vị. Nếu bạn nhìn nó từ góc độ kỹ năng và công nghệ, bạn sẽ thấy rằng bạn cần một nhóm có nhiều kỹ năng khác nhau.
Nhóm cần hiểu cách đào tạo mô hình, cho dù đó là mô hình đã hoàn thiện hay được xây dựng từ đầu. Điều này có nghĩa là rất nhiều môn toán hoặc đại số liên quan đến việc cân bằng tính hợp lý và hiệu quả của kết quả.
Bạn cũng cần có kỹ năng mã hóa Python hoặc Javascript nâng cao, kỹ năng cơ sở dữ liệu và kỹ năng SQL. Và sau khi tất cả công việc nội dung được hoàn thành, cần có các kỹ năng DevOps để đưa nó vào một quy trình giúp nó trở thành một nhiệm vụ tự động sẵn sàng được triển khai và thực thi.
Xác định sự bất thường và huấn luyện mô hình là một chuyện. Tuy nhiên, thách thức là việc tích hợp tất cả những điều này vào một đơn vị chức năng có thể xử lý kết quả mô hình và lưu dữ liệu một cách hiệu quả và tự động để cung cấp chúng cho người dùng cuối.
Sau đó, hãy xem tất cả về nhận dạng khuôn mặt dành cho doanh nghiệp.
