Biết khi nào nên tin tưởng vào dự đoán của mô hình không phải lúc nào cũng là một thách thức dễ dàng đối với những chuyên gia sử dụng mô hình học máy để hỗ trợ việc ra quyết định, đặc biệt vì những mô hình này thường phức tạp đến mức hoạt động bên trong của chúng vẫn còn là một bí ẩn.
Hồi quy chọn lọc là phương pháp trong đó mô hình tính toán mức độ tin cậy của nó cho từng dự đoán và loại bỏ dự đoán nếu độ tin cậy của nó quá thấp. Sau đó, một người có thể xem xét các tình huống đó, thu thập thêm dữ liệu và quyết định từng tình huống theo cách thủ công.
Trong khi các nhà nghiên cứu đang nghiên cứu các mô hình mới, các cơ quan quản lý đang cố gắng thiết lập một tiêu chuẩn trong việc sử dụng trí tuệ nhân tạo. Hai tháng trước, chúng tôi đã thảo luận về Đạo luật AI của EU và bây giờ Vương quốc Anh đang chuẩn bị bộ quy tắc AI.
Với hồi quy có chọn lọc, khả năng AI đưa ra dự đoán chính xác sẽ tăng lên
Mặc dù hồi quy chọn lọc đã được chứng minh là giúp nâng cao hiệu suất tổng thể của mô hình, nhưng các nhà nghiên cứu của MIT và Phòng thí nghiệm AI Watson của MIT-IBM đã phát hiện ra rằng phương pháp này có thể có tác động ngược đối với các nhóm chủng tộc và dân tộc ít được đại diện trong một tập dữ liệu. Với hồi quy chọn lọc, khả năng mô hình đưa ra dự đoán chính xác sẽ tăng lên cùng với độ tin cậy của mô hình, mặc dù điều này không nhất thiết đúng với tất cả các nhóm con.
Ví dụ: trung bình, một mô hình dự đoán việc phê duyệt khoản vay có thể mắc ít sai sót hơn nhưng nó có thể tạo ra những dự đoán không chính xác hơn đối với những người nộp đơn là người da đen hoặc phụ nữ. Điều này có thể xảy ra vì một số lý do, bao gồm cả thước đo độ tin cậy của mô hình không chính xác đối với các nhóm có ít đại diện này vì nó được phát triển bằng cách sử dụng các nhóm có đại diện quá mức.
Các nhà nghiên cứu của MIT đã tạo ra hai thuật toán để giải quyết vấn đề sau khi họ phát hiện ra nó. Họ chứng minh rằng các thuật toán làm giảm sự khác biệt về hiệu suất đã ảnh hưởng đến các nhóm thiểu số ít được đại diện bằng cách sử dụng các bộ dữ liệu trong thế giới thực.
“Cuối cùng, vấn đề là phải thông minh hơn về những mẫu mà bạn giao cho con người xử lý. Thay vì chỉ giảm thiểu một số tỷ lệ lỗi chung cho mô hình, chúng tôi muốn đảm bảo tỷ lệ lỗi giữa các nhóm được tính đến một cách thông minh,” tác giả cấp cao của MIT, Greg Wornell, Giáo sư Kỹ thuật Sumitomo thuộc Khoa Kỹ thuật Điện, giải thích. và Khoa học Máy tính (EECS), người đứng đầu Phòng thí nghiệm Tín hiệu, Thông tin và Thuật toán trong Phòng thí nghiệm Nghiên cứu Điện tử (RLE) và là thành viên của Phòng thí nghiệm AI Watson của MIT-IBM.
Sinh viên tốt nghiệp EECS Abhin Shah và postdoc Yuheng Bu, cũng như Joshua Ka-Wing Lee SM ’17, ScD ’21 và Subhro Das, Rameswar Panda, và Prasanna Sattigeri, nhân viên nghiên cứu của Phòng thí nghiệm AI Watson của MIT-IBM, đều cùng tham gia. -các tác giả chính của nghiên cứu với Wornell. Tại Hội nghị quốc tế về học máy tháng này (ICML), nghiên cứu Sẽ được trình bày.
Phương pháp ước tính mối liên hệ giữa các biến phụ thuộc và biến độc lập được gọi là hồi quy chọn lọc. Phân tích hồi quy có chọn lọc thường được sử dụng trong học máy cho các vấn đề dự đoán, chẳng hạn như ước tính giá một ngôi nhà dựa trên các thuộc tính của nó (số phòng ngủ, diện tích mét vuông, v.v.). Với hồi quy chọn lọc, mô hình học máy có thể đưa ra một trong hai lựa chọn đối với mỗi đầu vào – nó có thể đưa ra dự đoán hoặc bỏ qua dự đoán nếu không đủ tự tin vào phán đoán của mình.
Khi mô hình bỏ qua, nó sẽ giảm phần dữ liệu mà nó đưa ra dự đoán, được gọi là phạm vi bao phủ. Hiệu suất tổng thể của mô hình sẽ tăng lên nếu nó chỉ đưa ra những dự đoán về những đầu vào mà nó cực kỳ chắc chắn. Tuy nhiên, điều này có thể làm nổi bật những sai lệch trong tập dữ liệu xảy ra khi mô hình thiếu đủ dữ liệu từ các nhóm con cụ thể. Điều này có thể dẫn đến những dự đoán không chính xác hoặc không chính xác đối với những người ít hiểu biết.
“Thật khó để đưa ra quan niệm đúng đắn về sự công bằng cho vấn đề cụ thể này. Nhưng bằng cách thực thi tiêu chí này, rủi ro chọn lọc đơn điệu, chúng tôi có thể đảm bảo hiệu suất của mô hình thực sự trở nên tốt hơn trên tất cả các nhóm con khi bạn giảm mức độ phù hợp,” Shah giải thích.
Để vượt qua thử thách, nhóm đã tạo ra hai thuật toán mạng nơ-ron áp đặt tiêu chí công bằng này.
Một kỹ thuật đảm bảo rằng các tính năng được mô hình sử dụng để đưa ra dự đoán kết hợp tất cả thông tin về các đặc điểm nhạy cảm trong tập dữ liệu quan trọng đối với biến mục tiêu được quan tâm, chẳng hạn như chủng tộc và giới tính. Phẩm chất nhạy cảm là những đặc điểm không thể sử dụng để đưa ra phán đoán, thường là do luật pháp hoặc chính sách của công ty. Chiến lược thứ hai sử dụng kỹ thuật hiệu chuẩn để xác minh rằng mô hình dự đoán điều tương tự cho bất kỳ đầu vào nào, bất kể có thuộc tính nhạy cảm nào được thêm vào đầu vào đó hay không.
Các thuật toán được các nhà nghiên cứu đánh giá trên các bộ dữ liệu trong thế giới thực có thể được sử dụng trong việc ra quyết định có tính rủi ro cao. Một tập dữ liệu, tập dữ liệu bảo hiểm, được sử dụng để ước tính tổng chi phí y tế hàng năm phải trả cho bệnh nhân dựa trên dữ liệu nhân khẩu học; một bộ dữ liệu tội phạm khác được sử dụng để dự đoán số lượng tội phạm bạo lực ở các khu vực dựa trên dữ liệu kinh tế xã hội. Các tính năng nhạy cảm riêng lẻ có mặt trong cả hai bộ dữ liệu.
Họ có thể giảm thiểu sự chênh lệch bằng cách giảm tỷ lệ lỗi cho các nhóm nhỏ thiểu số trong mỗi tập dữ liệu khi họ đặt các phương pháp của mình lên trên phương pháp học máy điển hình để hồi quy có chọn lọc. Hơn nữa, điều này đã được thực hiện với tác động tối thiểu đến tỷ lệ lỗi chung.
“Chúng tôi thấy rằng nếu chúng tôi không áp đặt một số ràng buộc nhất định, trong trường hợp mô hình thực sự tự tin, nó thực sự có thể mắc nhiều lỗi hơn, điều này có thể rất tốn kém trong một số ứng dụng, như chăm sóc sức khỏe. Vì vậy, nếu chúng ta đảo ngược xu hướng và làm cho nó trực quan hơn, chúng ta sẽ mắc phải rất nhiều lỗi này. Mục tiêu chính của công việc này là tránh các lỗi diễn ra âm thầm mà không bị phát hiện,” Sattigeri nói.
Theo Shah, các nhà nghiên cứu dự định áp dụng câu trả lời của họ cho các công việc khác như dự đoán giá bất động sản, điểm trung bình của sinh viên hoặc lãi suất cho vay để xem liệu các thuật toán có cần được điều chỉnh cho các hoạt động đó hay không. Để ngăn chặn những lo ngại về quyền riêng tư, họ cũng nhằm mục đích điều tra các cách sử dụng thông tin ít nhạy cảm hơn trong quá trình đào tạo mô hình.
Họ cũng tìm cách nâng cao ước tính độ tin cậy trong hồi quy chọn lọc để tránh các tình huống trong đó độ tin cậy của mô hình thấp nhưng dự đoán của nó là đúng. Theo Sattigeri, điều này có thể giảm bớt khối lượng công việc cho con người và hợp lý hóa hơn nữa quá trình ra quyết định. Bạn có biết dữ liệu giả đã cải thiện hiệu suất của robot lên 40%?
