Sự thiên vị trí tuệ nhân tạo có thể thúc đẩy phân biệt chủng tộc và giới tính

Joy Buolamwini-Thuật toán Liên minh Công lý

Tuy nhiên, các hệ thống trí tuệ nhân tạo đang được phát triển để tối ưu hóa cuộc sống của mọi người học Chúng cho thấy rằng nhiều hệ thống nhận dạng giọng nói và khuôn mặt dựa trên máy có khiếm khuyết, điều này cho thấy những định kiến ​​lớn về chủng tộc và giới tính.

Joy Buolamwini, tốt nghiệp MIT, phát hiện rất bất tiệnBởi vì phần mềm nhận dạng khuôn mặt có thành kiến ​​giống lớn, họ không thể nhận dạng khuôn mặt của anh ấy. Buolamwini, một phụ nữ tóc đen lưu ý rằng sistema phân tích khuôn mặt mà ông đã kiểm tra không thể phát hiện khuôn mặt của mình vì các nhà phát triển về nguyên tắc “Họ không học thuật toán để xác định một loạt các tông màu da” và cấu trúc khuôn mặt.

Tôi đã trải nghiệm nó lần đầu tiên khi tôi là một sinh viên tiến sĩ tại MIT 2015 và phát hiện ra rằng một số chương trình phân tích khuôn mặt không thể phát hiện ra khuôn mặt hâm mộ đen tối của tôi cho đến khi tôi ngồi trên mặt nạ trắng.

Sự thiên vị trí tuệ nhân tạo có thể thúc đẩy phân biệt chủng tộc và giới tính 1 Tín dụng: ViewApart-iStock

Bảo vệ chủng tộc trong trí tuệ nhân tạo

Joy quyết định sử dụng kiến ​​thức của mình để hiểu tại sao trí tuệ nhân tạo thường áp dụng những rủi ro chủng tộc này một cách quyết liệt, để xác nhận điều đó, tất cả những gì cô cần làm là thay khuôn mặt bằng mặt nạ trắng “để phù hợp với chuẩn mực”.

Phần mềm được sử dụng cho thấy rằng nó không tính đến sự đa dạng của con người và quyết định cái mà nó gọi là “Ảnh hưởng của quá tải loại trừ”.

Joy và tổ chức của cô làm việc với ACLU và các chuyên gia về thị giác máy để chống lại định kiến ​​chủng tộc trong các công cụ trí tuệ nhân tạo. Điều tra của ông cho thấy các hệ thống nhận diện khuôn mặt như Amazon Công nhận và những người khác từ IBM, Microsoft đưa ra sự chậm trễ lớn về phân biệt chủng tộc và giới tính.

Nghiên cứu của tôi đã phát hiện ra những định kiến ​​về chủng tộc và giới tính trong các hệ thống trí tuệ nhân tạo được bán bởi những người khổng lồ công nghệ như IBM, Microsoft và Amazon.

Sự thiên vị trí tuệ nhân tạo có thể thúc đẩy phân biệt chủng tộc và giới tính 2 Bằng chứng cho thấy một số hệ thống AI không phân loại đúng khuôn mặt của Oprah Winfrey. Tín dụng: Joy Buolamwini, Liên minh công lý thuật toán

Được giao nhiệm vụ đoán giới tính của khuôn mặt, tất cả các công ty thực hiện tốt hơn đáng kể trên nam so với khuôn mặt nữ. Các công ty tôi đánh giá có mức độ lỗi cao nhất 1% cho nam giới có làn da sáng hơn.

Sự thiên vị trí tuệ nhân tạo có thể thúc đẩy phân biệt chủng tộc và giới tính 3 Hệ thống trí tuệ nhân tạo của các công ty hàng đầu đã thất bại trong việc phân loại khuôn mặt của những người phụ nữ mang tính biểu tượng như Michelle Obama. Tín dụng: Joy Buolamwini, Liên minh công lý thuật toán

Độ sâu được phát hiện trong Amazon Nhận thức lại

Một ví dụ đáng chú ý về sai lệch lỗi này đã được hiển thị nhiều lần trong Amazon Nhận thức lại. Các sistema nhận dạng khuôn mặt được phát triển bởi Amazon Đã có một vài thách thức thể hiện khả năng của công nghệ.

Năm 2018, Liên minh Tự do Dân sự Hoa Kỳ (ACLU) đã thử nghiệm công nghệ này và tại thời điểm đó đã nhầm lẫn 28 nghị sĩ Hoa Kỳ. với tội phạm. Các Bằng chứng đã được công bố trên trang web của họ. ACLU đã tải xuống 25.000 bức ảnh từ cơ sở dữ liệu công cộng và Công nhận được yêu cầu so sánh nó với hình ảnh từ 535 thành viên của Quốc hội Hoa Kỳ.

Kết quả là có sistema tìm thấy 28 sự trùng hợp, đó là 28 nghị sĩ theo sistema trí tuệ nhân tạo, đã bị bắt vì phạm tội.

Sự thiên vị trí tuệ nhân tạo có thể thúc đẩy phân biệt chủng tộc và giới tính 4

Nhưng đó không phải là tất cả

Năm 2019, ứng dụng đã được thử nghiệm một lần nữa Amazon Công nhận, và nhiều người ngạc nhiên, kết quả cũng không đáng khích lệ. Trong một các xét nghiệm được thực hiện bởi ACLU, Công nghệ nhận dạng không chính xác xác định năm nhà lập pháp là tội phạm trong khi so sánh chúng với cơ sở dữ liệu của hồ sơ cảnh sát.

Cuộc biểu tình được tổ chức theo yêu cầu của Ủy viên hội đồng San Francisco Phil Ting, người đang thúc đẩy một dự luật cấm các cơ quan thực thi pháp luật sử dụng công nghệ nhận dạng khuôn mặt.

“Chúng tôi muốn chạy nó như một minh chứng về cách phần mềm này không hoàn toàn rõ ràng,” Những điều nói. Mà cũng làm rõ mục tiêu của dự luật của mình. Bởi vì mặc dù có vẻ buồn cười là tôi đã xác định nhầm chúng “Sẽ không vui chút nào nếu bạn là một người cố gắng kiếm việc làm, mua nhà và bạn không thể làm điều đó vì bạn đã bị buộc tội sai bởi một tên tội phạm.”.

Cuộc đua giọng nói trong hệ thống nhận dạng giọng nói

Một vài tháng trước, một nghiên cứu đã xác định sự chậm trễ cuộc đua hiện tại trong các hệ thống nhận dạng giọng nói. Nghiên cứu là đúng “Sự khác biệt về chủng tộc trong nhận dạng giọng nói tự động”, Được thực hiện bởi Đại học Stanford, nó chỉ ra rằng các hệ thống nhận dạng giọng nói này có khả năng chủng tộc đáng kể, với sự khác biệt giữa giọng nói của người da trắng và người Mỹ gốc Phi.

Ở đây chúng tôi kiểm tra năng lực của năm hệ thống ASR thế hệ tiếp theo – được phát triển bởi Amazon, Apple, Google, IBM và Microsoft – để phiên âm các cuộc phỏng vấn có cấu trúc được thực hiện với 42 loa trắng và 73 loa đen.

Chúng tôi thấy rằng tất cả năm hệ thống ASR cho thấy sự khác biệt đáng kể về chủng tộc, với lỗi từ trung bình (WER) là 0, 35 cho loa màu đen so với 0, 19 cho loa màu trắng.

Sự thiên vị trí tuệ nhân tạo có thể thúc đẩy phân biệt chủng tộc và giới tính 5 Kết quả cho thấy sự khác biệt đáng chú ý từ 19% lỗi trong việc công nhận phiếu bầu của người da trắng, đến lỗi 35% trong việc công nhận tiếng nói của người Mỹ gốc Phi. Nguồn: pnas.org

Những nghiên cứu này chắc chắn đáng lo ngại, vì sự phá hủy giống được tìm thấy trong tất cả các kỹ thuật nhận dạng được thiết kế để làm việc với thông tin của con người. Sau nghiên cứu nhận dạng giọng nói, các nhà nghiên cứu bày tỏ mối quan tâm Các hệ thống nhận dạng giọng nói bị ảnh hưởng bởi định kiến ​​chủng tộc, đã xuất hiện trong các ứng dụng học máy khác.

IA và các nguyên tắc đạo đức của nó: những sự chậm trễ về chủng tộc, giới tính, quốc tịch là gì?

Vào tháng 4 năm 2020, một nhóm các nhà nghiên cứu đã giới thiệu một chương trình phần thưởng cho các nhà phát triển khám phá sự thiên vị chủng tộc trong AI. Và trong khi đây là một sáng kiến ​​tuyệt vời, nó thực sự cho thấy vấn đề này nghiêm trọng đến mức nào khi một người nên được thúc đẩy để điều tra và báo cáo những định kiến ​​chủng tộc này.

“Định kiến ​​và phần thưởng bảo mật sẽ mở rộng khái niệm về phần thưởng lỗi cho AI và có thể bổ sung cho những nỗ lực hiện có để tạo ra các bộ dữ liệu và mô hình tài liệu tốt hơn cho các hạn chế về hiệu suất và các đặc điểm khác của chúng.”

Điều này đi đôi với các nguyên tắc đạo đức của trí tuệ nhân tạo, cần được áp dụng bởi những người phát triển công nghệ này. Cựu Giám đốc DARPA Regina Dugan cũng yêu cầu các bài tập làm việc nhóm đỏ để giải quyết các thách thức đạo đức trong các hệ thống AI.

“Dân chủ hóa trí tuệ nhân tạo và thiên vị thuật toán tấn công”

Trong MWC 2019, nhà phân tích trưởng của Forrester Research, Jennifer Belissent đã tổ chức hội thảo “Dân chủ hóa trí tuệ nhân tạo và tấn công thuật toán thiên vị” một lần nữa chứng minh rằng dữ liệu “không thể trung lập” vì chúng được sinh ra trong bối cảnh xã hội, để chống lại nguyên tắc này, nhà phân tích đã quyết định rằng cần phải sắp xếp theo thứ tự chữ cái hoặc dân chủ hóa trí tuệ nhân tạo và thêm “các giải pháp dữ liệu lớn để làm cho các công nghệ này dễ tiếp cận hơn với người tiêu dùng”.

Tương tự như vậy, Roger Taylor, chủ tịch của Chính quyền Anh người giám sát dữ liệu và đạo đức đổi mới giải thích rằng: “Đạo đức là vấn đề chính của thời điểm này” và nói thêm: “Và trí tuệ nhân tạo đạo đức là một vấn đề trung tâm đang phát triển.”

Sự thiên vị trí tuệ nhân tạo có thể thúc đẩy phân biệt chủng tộc và giới tính 6 Ảnh: AP

Một yếu tố quan trọng trong xã hội ngày nay

“Không có cách nào để giải thích hợp lý rằng người da đen có nhiều khả năng phạm tội.”

Roger Taylor nói trong khi nói về việc sử dụng trí tuệ nhân tạo trong sistema hệ thống pháp luật, vì những lỗi này, có thể truy tố những người vô tội. Theo báo cáo từ MIT nhà công nghệ, chuyên gia pháp lý và nhà hoạt động cộng đồng Dữ liệu cuộc sống đen đã quyết định rằng:

Cảnh sát sử dụng các thuật toán dự đoán để chiến lược nơi gửi thứ hạng của họ. Cơ quan thực thi pháp luật sử dụng hệ thống nhận dạng khuôn mặt để xác định nghi phạm.

Chịu trách nhiệm quyết định về tương lai của một người, thông qua các thuật toán đã được chứng minh là có thành kiến ​​chủng tộc lớn.

Công nghệ là một phần trong cuộc sống của chúng tôi, hệ thống nhận dạng giọng nói và nhận diện khuôn mặt sẽ được cài đặt sẵn trên thiết bị di động của chúng tôi và thậm chí một số công cụ mạnh hơn đang được sử dụng bởi các tổ chức chính thức, như chúng tôi đã đề cập, đã bị chỉ trích nghiêm trọng bởi các nghiên cứu về quyền dân sự cho số lượng lớn các nghiên cứu xác nhận những thiếu sót. trong công nghệ mới này.

Nhận diện khuôn mặt tại các sân vận động

Trí tuệ nhân tạo, học máy, hệ thống nhận diện khuôn mặt không chỉ là thách thức đối với các nhà phát triển, mà chúng còn thể hiện mình là một công nghệ áp đảo cho các đại diện dân quyền.

Bởi vì công nghệ này phơi bày sự toàn vẹn về thể chất của người gốc Phi, người di cư và phụ nữ, vì các hệ thống nhận dạng này “không được chuẩn bị” cho những trường hợp này, do dữ liệu của họ không chứa dữ liệu khác nhau.

Với trí tuệ nhân tạo, thuật toán học máy xử lý thông tin do nhà phát triển của họ cung cấp, rất rõ ràng rằng quá trình phân loại, nhận dạng, lựa chọn này là chủ quan, sistema học máy học từ các thông tin được cung cấp và bởi vì nó không cung cấp vô số thông tin làm rõ định kiến ​​chủng tộc hiện có.