Thật khó để giải thích, phân tích và hiểu cách thức hoạt động của tâm trí con người. Trong khi thực hiện tương tự đối với hành vi của máy lại là một vấn đề rất khác.
Con người vẫn thiếu hiểu biết toàn diện về khả năng và hành vi của mình khi các mô hình trí tuệ nhân tạo (AI) được sử dụng thường xuyên hơn trong các tình huống phức tạp, chẳng hạn như phê duyệt hoặc từ chối các khoản vay, hỗ trợ bác sĩ chẩn đoán y tế, hỗ trợ lái xe trên đường hoặc thậm chí kiểm soát hoàn toàn. .
Bayes-TrEx có thể được sử dụng để hiểu cách các mô hình AI hoạt động trong các trường hợp không quen thuộc
Hầu hết các nghiên cứu hiện nay đều tập trung vào các nguyên tắc cơ bản: Mô hình này chính xác đến mức nào? Việc tập trung vào ý tưởng về độ chính xác đơn giản thường có thể dẫn đến những lỗi nguy hiểm. Điều gì sẽ xảy ra nếu mô hình có độ tin cậy rất cao về lỗi của nó? Mô hình sẽ làm gì nếu gặp phải thứ gì đó mà nó chưa từng thấy trước đây, chẳng hạn như một chiếc ô tô tự lái phát hiện một loại biển báo giao thông khác?
Một nhóm các nhà nghiên cứu từ Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo (CSAIL) tại MIT đã phát triển một công cụ mới gọi là Bayes-TrEx cho phép người dùng và nhà phát triển hiểu rõ hơn về mô hình AI của họ nhằm theo đuổi sự tương tác giữa con người và AI tốt hơn. Nó thực hiện điều này một cách cụ thể bằng cách xác định các trường hợp trong thế giới thực thúc đẩy một hành vi cụ thể. Cách tiếp cận này sử dụng “Suy luận hậu nghiệm Bayes”, một phương pháp toán học phổ biến để suy ra tính không chắc chắn của một mô hình.
Bằng cách sử dụng Bayes-TrEx cho nhiều bộ dữ liệu dựa trên hình ảnh trong các thử nghiệm, các nhà nghiên cứu đã phát hiện ra những hiểu biết quan trọng mà trước đây đã bị bỏ qua bởi các đánh giá thông thường vốn chỉ xem xét độ chính xác của dự đoán.
“Những phân tích như vậy rất quan trọng để xác minh rằng mô hình thực sự hoạt động chính xác trong mọi trường hợp. Một tình huống đặc biệt đáng báo động là khi mô hình mắc lỗi nhưng có độ tin cậy rất cao. Do người dùng tin tưởng cao hơn mức độ tin cậy được báo cáo cao, những lỗi này có thể không được phát hiện trong một thời gian dài và chỉ được phát hiện sau khi gây ra thiệt hại lớn,” đồng trưởng nhóm nghiên cứu về Bayes-TrEx, nghiên cứu sinh tiến sĩ MIT CSAIL, Yilun Chu, giải thích. .
Để đảm bảo hệ thống chẩn đoán y tế không bỏ sót bất kỳ biến thể cụ thể nào của bệnh, bác sĩ có thể sử dụng Bayes-TrEx để phát hiện những bức ảnh mà mô hình phân loại sai với độ tin cậy rất cao sau khi học xong trên bộ sưu tập X- hình ảnh tia. Nhân tiện, bạn có biết AI có thể cho biết những gì bác sĩ không thể, giờ đây nó có thể xác định chủng tộc bằng cách nhìn vào hình ảnh X-quang?
Bayes-TrEx cũng có thể được sử dụng để hiểu rõ hơn cách các mô hình hoạt động trong những trường hợp không quen thuộc. Hãy xem xét các hệ thống lái xe tự động, thường dựa vào hình ảnh camera để nhận biết các chướng ngại vật như đèn giao thông và làn đường dành cho xe đạp. Máy ảnh có thể xác định nhanh chóng và chính xác những trường hợp thường xuyên xảy ra này, nhưng những trường hợp khó khăn hơn có thể là những trở ngại thực tế và tượng hình.
Một chiếc Segway chạy nhanh có thể bị nhầm lẫn với một vật gì đó lớn như một chiếc ô tô hoặc nhỏ như một chướng ngại vật trên đường, điều này có thể dẫn đến một khúc cua khó khăn hoặc một vụ va chạm thảm khốc. Với sự hỗ trợ của Bayes-TrEx, những tình huống bất ngờ này có thể được dự đoán trước và các nhà phát triển có thể tránh được khả năng xảy ra thảm kịch.
Ngoài hình ảnh, các nhà nghiên cứu đang nghiên cứu một lĩnh vực ít tĩnh hơn: robot. Công nghệ “RoCUS” của họ, lấy cảm hứng từ Bayes-TrEx, thực hiện những sửa đổi đáng kể để đánh giá các hành vi đặc trưng của robot. Nghiên cứu mới nhất cũng chỉ ra cách AI có thể khiến robot trở nên phân biệt chủng tộc và phân biệt giới tính.
Tuy nhiên, các thử nghiệm với RoCUS vẫn đang trong giai đoạn thử nghiệm, cho thấy những phát hiện mang tính đổi mới có thể dễ dàng bị bỏ qua nếu người đánh giá chỉ quan tâm đến việc hoàn thành công việc. Ví dụ: do cách thu thập dữ liệu huấn luyện, rô-bốt điều hướng 2D dựa trên học sâu đã chọn di chuyển sát các chướng ngại vật. Tuy nhiên, nếu cảm biến chướng ngại vật của robot không hoàn toàn chính xác thì việc ưu tiên như vậy có thể nguy hiểm. Sự bất đối xứng trong cấu trúc động học của robot đối với việc cánh tay robot tiếp cận mục tiêu trên bàn cho thấy khả năng tiếp cận các vật thể ở bên trái so với bên phải sẽ có sự phân nhánh lớn hơn.
“Chúng tôi muốn làm cho sự tương tác giữa con người và AI trở nên an toàn hơn bằng cách cung cấp cho con người cái nhìn sâu sắc hơn về những người cộng tác AI của họ. Con người phải có khả năng hiểu cách các tác nhân này đưa ra quyết định, dự đoán cách chúng sẽ hành động trên thế giới và – quan trọng nhất – dự đoán và tránh những thất bại,” đồng tác giả, nghiên cứu sinh Tiến sĩ MIT CSAIL, Serena Booth, cho biết.
Cùng với Giáo sư Julie Shah của MIT và nghiên cứu sinh Tiến sĩ Ankit Shah của CSAIL, Booth và Chu là đồng tác giả của bài báo Bayes-TrEx. Họ hầu như đã gửi bài báo tại Hội nghị Trí tuệ nhân tạo AAAI. Nadia Figueroa Fernandez, một postdoc của MIT CSAIL, đã làm việc trên công cụ RoCUS cùng với Booth, Chu và Shah. Mã của Bayes-TrEx là mã nguồn mở và có sẵn trên GitHub.
