Mức độ đóng góp của các tính năng cụ thể được sử dụng trong mô hình vào dự đoán của nó thường được mô tả trong các kỹ thuật giải thích giúp người tiêu dùng hiểu và tin tưởng vào các mô hình học máy. Ví dụ: một bác sĩ có thể quan tâm đến việc tìm hiểu xem dữ liệu nhịp tim của bệnh nhân ảnh hưởng đến mô hình dự báo nguy cơ mắc bệnh tim của bệnh nhân như thế nào.
Tuy nhiên, kỹ thuật giải thích có hữu ích không nếu những đặc điểm đó quá khó hiểu đối với người dùng cuối? Nếu bạn tò mò về sự phát triển của ML, hãy xem lịch sử của machine learning, nó có từ thế kỷ 17.
Một hệ thống phân loại được tạo ra để cải thiện khả năng diễn giải của các tính năng ML
Để giúp những người ra quyết định sử dụng kết quả của thuật toán học máy dễ dàng hơn, các nhà nghiên cứu của MIT đang nỗ lực tạo ra nhiều tính năng dễ hiểu hơn. Họ đã tạo ra một hệ thống phân loại dựa trên nhiều năm nghiên cứu thực địa để hỗ trợ các nhà phát triển tạo ra các tính năng đơn giản hơn để khán giả mục tiêu của họ hiểu được.
“Chúng tôi phát hiện ra rằng trong thế giới thực, mặc dù chúng tôi đang sử dụng những cách tiên tiến nhất để giải thích các mô hình học máy, nhưng vẫn có rất nhiều nhầm lẫn xuất phát từ các tính năng chứ không phải từ chính mô hình đó,” cho biết Alexandra Zytek, nghiên cứu sinh tiến sĩ khoa học máy tính và kỹ thuật điện và là tác giả chính của cuốn sách một bài viết giới thiệu về phân loại học.
Các nhà nghiên cứu đã xác định các thuộc tính cho phép năm loại người dùng khác nhau hiểu được các tính năng—từ chuyên gia trí tuệ nhân tạo đến những người có thể bị tác động bởi dự đoán của mô hình học máy—để tạo ra phân loại. Họ cũng cung cấp hướng dẫn về cách người tạo mô hình có thể chuyển đổi các tính năng thành các định dạng đơn giản hơn để người dân có thể hiểu được.
Họ tin rằng nghiên cứu của họ sẽ khuyến khích các nhà phát triển mô hình sớm nghĩ đến việc kết hợp các yếu tố có thể giải thích được thay vì cố gắng lùi lại và tập trung vào khả năng giải thích sau này.
Laure Berti-Équille, giáo sư thỉnh giảng tại MIT và giám đốc nghiên cứu tại IRD, Dongyu Liu, một postdoc, và Kalyan Veeramachaneni, nhà khoa học nghiên cứu chính tại Phòng thí nghiệm Hệ thống Thông tin và Quyết định (LIDS) và người đứng đầu Bộ phận Dữ liệu tới AI nhóm, là đồng tác giả của nghiên cứu MIT. Ignacio Arnaldo, một nhà khoa học dữ liệu chủ chốt tại Corelight, đã tham gia cùng họ. Nghiên cứu này nằm trong Bản tin Khám phá được bình duyệt, ấn bản tháng 6 của Hiệp hội Nhóm quan tâm đặc biệt về máy tính về khám phá kiến thức và khai thác dữ liệu.
Cơ sở của nghiên cứu
Các mô hình học máy sử dụng các tính năng làm biến đầu vào, thường được lấy từ các cột của tập dữ liệu. Theo Veeramachaneni, các nhà khoa học dữ liệu thường chọn lọc và tạo ra các đặc điểm của mô hình để đảm bảo rằng các đặc điểm đó được tạo ra nhằm tăng độ chính xác của mô hình hơn là liệu người ra quyết định có thể hiểu được chúng hay không.
Anh ấy và nhóm của mình đã làm việc với những người ra quyết định để giải quyết các vấn đề về khả năng sử dụng máy học trong vài năm. Do thiếu hiểu biết về các đặc điểm ảnh hưởng đến dự báo, các chuyên gia trong lĩnh vực này, hầu hết đều thiếu chuyên môn về học máy, thường thiếu niềm tin vào các mô hình.
Họ đã hợp tác trong một nghiên cứu với các bác sĩ từ ICU tại một bệnh viện sử dụng máy học để dự đoán khả năng bệnh nhân có thể gặp khó khăn sau phẫu thuật tim. Xu hướng nhịp tim của bệnh nhân theo thời gian là một ví dụ về tính năng được hiển thị dưới dạng giá trị tổng hợp. Mặc dù các đặc điểm được xác định theo cách này là “mô hình sẵn sàng” (mô hình có thể diễn giải dữ liệu), nhưng các bác sĩ vẫn không biết cách tính toán chúng. Theo Liu, họ muốn quan sát cách các thuộc tính tổng hợp này kết nối với các phép đo ban đầu để phát hiện những điểm bất thường trong nhịp tim của bệnh nhân.
Mặt khác, một nhóm các nhà khoa học có học thức lại đánh giá cao những phẩm chất được tổng hợp lại. Họ muốn các tính năng có liên quan được nhóm lại và gắn nhãn bằng cách sử dụng những từ mà họ nhận ra, chẳng hạn như “sự tham gia” hơn là có một tính năng như “số bài đăng mà học sinh đã thực hiện trên các diễn đàn thảo luận”.
“Với khả năng diễn giải, một kích thước không phù hợp với tất cả. Khi bạn đi từ vùng này sang vùng khác, sẽ có những nhu cầu khác nhau. Và bản thân khả năng diễn giải có nhiều cấp độ,” Veeramachaneni giải thích.
Nền tảng trong phân loại của các nhà nghiên cứu là quan điểm cho rằng một kích thước không phù hợp với tất cả. Chúng nêu chi tiết những đặc điểm nào có lẽ là quan trọng nhất đối với những người dùng cụ thể và chỉ định các đặc điểm có thể làm cho các đặc điểm trở nên dễ hiểu hơn hoặc ít hơn đối với những người ra quyết định khác nhau.
Ví dụ: các nhà phát triển học máy có thể ưu tiên các biến dự đoán và biến tương thích, vì những tính năng này được kỳ vọng sẽ nâng cao hiệu suất của mô hình.
Tuy nhiên, nhu cầu của những người ra quyết định không có kinh nghiệm trước đó về học máy có thể được phục vụ tốt hơn nhờ các tính năng do con người diễn đạt, tức là chúng được mô tả theo cách tự nhiên đối với người dùng.
“Hệ thống phân loại cho biết, nếu bạn đang tạo ra những đặc điểm có thể hiểu được thì chúng có thể hiểu được ở mức độ nào? Bạn có thể không cần tất cả các cấp độ, tùy thuộc vào loại chuyên gia miền mà bạn đang làm việc cùng”, Zytek cho biết.
Khả năng giải thích các tính năng ML dành cho chuyên gia
Để giúp một đối tượng cụ thể dễ hiểu hơn, các nhà nghiên cứu cũng cung cấp các chiến lược kỹ thuật tính năng mà các nhà phát triển có thể sử dụng.
Các nhà khoa học dữ liệu sử dụng các phương pháp như tổng hợp dữ liệu hoặc chuẩn hóa các giá trị để thay đổi dữ liệu trong suốt quá trình kỹ thuật tính năng để các mô hình học máy có thể xử lý dữ liệu đó. Ngoài ra, hầu hết các mô hình không thể xử lý đầu vào phân loại nếu không chuyển đổi nó thành mã số. Thông thường, người thường gần như không thể làm sáng tỏ những biến đổi này.
Theo Zytek, việc hoàn tác một số mã hóa đó có thể cần thiết để tạo ra các đặc điểm có thể giải thích được. Để minh họa, một phương pháp kỹ thuật tính năng điển hình sắp xếp các khoảng dữ liệu sao cho tất cả chúng đều có cùng số năm. Để làm cho những phẩm chất này dễ hiểu hơn, người ta có thể phân loại các độ tuổi bằng cách sử dụng các thuật ngữ của con người, chẳng hạn như trẻ sơ sinh, trẻ mới biết đi, trẻ nhỏ và thiếu niên. Hoặc, Liu nói, một đặc điểm có thể hiểu được có thể là dữ liệu nhịp tim thô chứ không phải là một đặc điểm đã được xử lý như nhịp tim trung bình.
“Trong nhiều lĩnh vực, sự cân bằng giữa các tính năng có thể hiểu được và độ chính xác của mô hình thực sự rất nhỏ. Ví dụ: khi chúng tôi làm việc với những người sàng lọc phúc lợi trẻ em, chúng tôi đã đào tạo lại mô hình chỉ sử dụng các tính năng đáp ứng các định nghĩa của chúng tôi về khả năng diễn giải và mức giảm hiệu suất gần như không đáng kể”, Zytek giải thích.
Dựa trên nghiên cứu này, các nhà nghiên cứu đang tạo ra một hệ thống cho phép nhà phát triển mô hình quản lý các chuyển đổi tính năng phức tạp hiệu quả hơn và đưa ra lời giải thích cho các mô hình học máy hướng tới con người.
Ngoài ra, hệ thống mới này sẽ dịch các thuật toán được tạo để giải thích các bộ dữ liệu sẵn sàng cho mô hình thành các định dạng mà người ra quyết định có thể hiểu được. Do đó, có thể cải thiện khả năng diễn giải các tính năng ML cho mọi người. Ngành công nghiệp tập trung vào các mô hình học máy này. Chẳng hạn, một phương pháp ML mới sẽ là động lực hướng tới việc cải thiện các thuật toán.
