- Các nhà nghiên cứu của Đại học MIT, Cornell và McGill đã phát triển một hệ thống AI có thể học độc lập các quy tắc và mô hình ngôn ngữ của con người.
- Mô hình này cũng có thể học các mẫu ngôn ngữ cấp cao hơn có thể áp dụng cho một số ngôn ngữ, cho phép nó đạt được kết quả cao hơn.
- Mô hình được huấn luyện và đánh giá bằng cách sử dụng các vấn đề trong sách giáo khoa ngôn ngữ học gồm 58 ngôn ngữ khác nhau.
- Các nhà nghiên cứu muốn áp dụng phương pháp này trong tương lai để khám phá những câu trả lời đáng ngạc nhiên cho những thách thức trong các ngành khác.
Ngôn ngữ của con người cực kỳ phức tạp và các nhà ngôn ngữ học từ lâu đã tin rằng việc dạy một cỗ máy kiểm tra âm thanh lời nói và mẫu từ như các nhà điều tra con người vẫn làm là không thể.
AI tự học có thể hiểu các mẫu ngôn ngữ
Mặt khác, các nhà nghiên cứu tại MIT, Đại học Cornell và Đại học McGill đã thực hiện một bước theo hướng này. Họ đã phát triển một hệ thống trí tuệ nhân tạo để tự học các chuẩn mực và kiểu mẫu ngôn ngữ của con người.
Khi đưa ra các từ và ví dụ về cách các từ đó thay đổi trong một ngôn ngữ để biểu thị các chức năng ngữ pháp khác như thì, cách viết hoa hoặc giới tính, mô hình học máy này sẽ tạo ra các quy tắc giải thích lý do tại sao hình thức của các từ đó lại khác nhau. Ví dụ, nó có thể phát hiện ra rằng chữ cái “a” cần được thêm vào cuối một từ trong tiếng Serbo-Croatia để biến dạng nam tính thành nữ tính.
Mô hình này cũng có thể học các mẫu ngôn ngữ cấp cao hơn có thể áp dụng cho một số ngôn ngữ, cho phép nó đạt được kết quả cao hơn.
Mô hình được huấn luyện và đánh giá bằng cách sử dụng các vấn đề trong sách giáo khoa ngôn ngữ học gồm 58 ngôn ngữ khác nhau. Mỗi thử thách bao gồm một tập hợp các từ và thay đổi dạng từ khác nhau. Trong 60% tình huống, mô hình đã cung cấp một bộ quy tắc hợp lệ để giải thích các sửa đổi về dạng từ.
Hệ thống này có thể kiểm tra các giả thuyết ngôn ngữ và khám phá những điểm tương đồng nhỏ trong cách các ngôn ngữ khác nhau thay đổi từ. Điều đặc biệt đáng chú ý là hệ thống này phát triển các mô hình mà mọi người dễ hiểu và thực hiện bằng cách sử dụng lượng dữ liệu tối thiểu, chẳng hạn như vài trăm từ.
Hơn nữa, thay vì sử dụng một tập dữ liệu lớn cho một nhiệm vụ, hệ thống này sử dụng nhiều tập dữ liệu nhỏ. Nó giống với cách các nhà khoa học đề xuất các giả thuyết hơn – họ kiểm tra nhiều bộ dữ liệu liên quan và phát triển các mô hình để giải thích các sự kiện xảy ra trên các bộ dữ liệu đó.
Kevin Ellis, trợ lý giáo sư khoa học máy tính tại Đại học Cornell và là tác giả chính của bài báo, cho biết: “Một trong những động lực của công việc này là mong muốn của chúng tôi nghiên cứu các hệ thống tìm hiểu các mô hình tập dữ liệu được trình bày theo cách mà con người có thể hiểu được. Thay vì học trọng số, mô hình có thể học các biểu thức hoặc quy tắc không? Và chúng tôi muốn xem liệu chúng tôi có thể xây dựng hệ thống này để nó có thể học trên toàn bộ tập dữ liệu có liên quan với nhau hay không, để giúp hệ thống tìm hiểu một chút về cách mô hình hóa từng bộ dữ liệu tốt hơn.”
giảng viên MIT Adam Albright, giáo sư ngôn ngữ học; Armando Solar-Lezama, giáo sư và phó giám đốc Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo (CSAIL); và Joshua B. Tenenbaum, Giáo sư Phát triển Nghề nghiệp Paul E. Newton về Khoa học Nhận thức và Tính toán tại Khoa Khoa học Trí não và Nhận thức và là thành viên của CSAIL; cũng như tác giả cấp cao Timothy J. O’Donnell, trợ lý giáo sư tại Khoa Khoa học nhận thức và não bộ, cũng đóng góp cho bài báo. Những phát hiện này đã được xuất bản trên tạp chí Nature Communications.
Giảng dạy trí tuệ nhân tạo ngôn ngữ của con người
Các nhà nghiên cứu đã chọn điều tra mối quan hệ giữa âm vị học (nghiên cứu các mẫu âm thanh) và hình thái học (nghiên cứu cấu trúc từ) để xây dựng một hệ thống AI có thể tự động tạo mô hình từ nhiều bộ dữ liệu liên quan.
Bởi vì nhiều ngôn ngữ có chung những đặc điểm cơ bản và các vấn đề trong sách giáo khoa nêu bật các sự kiện ngôn ngữ cụ thể nên dữ liệu từ sách giáo khoa ngôn ngữ học đã cung cấp một nền tảng thử nghiệm thích hợp. Sinh viên đại học cũng có thể xử lý các vấn đề trong sách giáo khoa một cách khá cơ bản. Tuy nhiên, họ thường có sẵn kiến thức về âm vị học từ những buổi học trước mà họ sử dụng để giải quyết những khó khăn mới.
Data Natives, hội nghị Khoa học dữ liệu và AI lớn nhất Châu Âu, sẽ trở lại hoành tráng tại chỗ ở Berlin
Ellis, người đã nhận bằng Tiến sĩ. từ MIT và được Tenenbaum và Solar-Lezama cùng hướng dẫn, lần đầu tiên được nghe về hình thái học và âm vị học trong một khóa học tại MIT do O’Donnell, một postdoc vào thời điểm đó, và Albright đồng giảng dạy.
Albright nói, “Các nhà ngôn ngữ học đã nghĩ rằng để hiểu các quy tắc ngôn ngữ của con người, để đồng cảm với những gì khiến hệ thống hoạt động, bạn phải là con người. Chúng tôi muốn xem liệu chúng tôi có thể mô phỏng các loại kiến thức và lý luận mà con người (các nhà ngôn ngữ học) mang lại cho nhiệm vụ hay không,”
Các nhà nghiên cứu đã sử dụng phương pháp học máy được gọi là Học chương trình Bayesian để tạo ra một mô hình có thể học một bộ quy tắc xây dựng từ, được gọi là ngữ pháp. Mô hình giải quyết vấn đề bằng cách xây dựng một chương trình máy tính bằng phương pháp này.
Chương trình trong ví dụ này là ngữ pháp mà mô hình tin rằng là lời giải thích hợp lý nhất cho các từ và ý nghĩa trong một vấn đề ngôn ngữ học. Họ đã tạo ra mô hình bằng Sketch, một phần mềm tổng hợp phổ biến do Solar-Lezama tại MIT tạo ra.
Tuy nhiên, Sketch có thể mất nhiều thời gian để chọn chương trình phù hợp nhất. Để tránh điều này, các nhà nghiên cứu đã cho mô hình hoạt động theo từng phần, tạo ra một chương trình nhỏ để giải thích một số dữ liệu, sau đó là một chương trình lớn hơn cập nhật chương trình gốc để bao gồm dữ liệu bổ sung, v.v.
Họ cũng xây dựng mô hình sao cho nó có thể tìm hiểu xem các chương trình “tốt” trông như thế nào. Bởi vì các ngôn ngữ có liên quan với nhau nên nó có thể học được một số nguyên tắc cơ bản về các vấn đề tiếng Nga dễ dàng để áp dụng cho các vấn đề khó hơn bằng tiếng Ba Lan. Điều này đơn giản hóa giải pháp của mô hình cho vấn đề Ba Lan.
Giải quyết các vấn đề trong sách giáo khoa bằng AI mới
Khi họ thử nghiệm mô hình trên 70 bài toán trong sách giáo khoa, họ đã tìm thấy một ngữ pháp khớp chính xác với toàn bộ tập hợp từ trong bài toán trong 60% trường hợp và hầu hết các thay đổi về dạng từ trong 79% trường hợp.
Các nhà nghiên cứu cũng đã cố gắng lập trình trước mô hình với kiến thức mà nó “đáng ra” phải học nếu tham gia một khóa học ngôn ngữ học và nó giải quyết mọi thách thức tốt hơn. Albright nói rằng “Một thách thức của công việc này là tìm hiểu xem liệu mô hình đang làm có hợp lý hay không. Đây không phải là tình huống chỉ có một con số duy nhất là câu trả lời đúng. Có một loạt các giải pháp khả thi mà bạn có thể chấp nhận là đúng, gần đúng, v.v.”
Trí tuệ nhân tạo là nền tảng của các công nghệ mới nổi
Mô hình này thường tạo ra những giải pháp đáng ngạc nhiên. Trong một trường hợp, nó không chỉ phát hiện ra câu trả lời được dự đoán cho một bài toán tiếng Ba Lan mà còn phát hiện ra một lựa chọn hợp lệ khác sử dụng lỗi sách giáo khoa. Theo Ellis, điều này chứng tỏ rằng mô hình có thể “gỡ lỗi” các nghiên cứu ngôn ngữ học.
Các nhà nghiên cứu cũng tiến hành thử nghiệm để chứng minh rằng mô hình có thể học các mẫu chung nhất định về nguyên tắc âm vị học có thể áp dụng cho bất kỳ tình huống nào.
Theo Ellis, “Một trong những điều đáng ngạc nhiên nhất là chúng ta có thể học nhiều ngôn ngữ, nhưng dường như điều đó không tạo ra sự khác biệt lớn. Điều đó gợi ý hai điều. Có lẽ chúng ta cần những phương pháp tốt hơn để học qua các vấn đề. Và có lẽ, nếu chúng ta không thể nghĩ ra những phương pháp đó, công việc này có thể giúp chúng ta thăm dò những ý tưởng khác nhau mà chúng ta có về những kiến thức cần chia sẻ trong các vấn đề.”
Các nhà nghiên cứu muốn áp dụng phương pháp này trong tương lai để khám phá những câu trả lời đáng ngạc nhiên cho những thách thức trong các ngành khác. Họ có khả năng có thể sử dụng phương pháp này trong các trường hợp khác khi kiến thức cấp cao hơn có thể được áp dụng trên các cơ sở dữ liệu được kết nối với nhau. Ví dụ, Ellis gợi ý rằng họ có thể tạo ra một hệ thống để suy ra các phương trình vi phân từ thông tin về chuyển động của nhiều vật thể khác nhau.
Ông nói thêm: “Công việc này cho thấy rằng chúng tôi có một số phương pháp có thể, ở một mức độ nào đó, tìm hiểu các thành kiến quy nạp. Nhưng tôi không nghĩ chúng ta đã hoàn toàn tìm ra, ngay cả đối với những vấn đề trong sách giáo khoa này, thành kiến quy nạp cho phép một nhà ngôn ngữ học chấp nhận những ngữ pháp hợp lý và bác bỏ những ngữ pháp lố bịch.”
T. Florian Jaeger, giáo sư về khoa học não bộ, nhận thức và khoa học máy tính của Đại học Rochester, người không tham gia vào nghiên cứu, cho biết: “Công trình này mở ra nhiều địa điểm thú vị cho nghiên cứu trong tương lai. Tôi đặc biệt bị thu hút bởi khả năng phương pháp tiếp cận do Ellis và các đồng nghiệp khám phá (Chương trình Bayesian Learning, BPL) có thể nói lên cách trẻ sơ sinh tiếp thu ngôn ngữ.”
AI giữa hành trình: Các nhà thơ đang trở thành họa sĩ bằng trí tuệ nhân tạo
“Ví dụ, công việc trong tương lai có thể yêu cầu dựa trên những thành kiến cảm ứng bổ sung nào (giả định về ngữ pháp phổ quát), phương pháp BPL có thể đạt được thành công hành vi học tập giống con người đối với loại dữ liệu mà trẻ sơ sinh quan sát được trong quá trình tiếp thu ngôn ngữ. Tôi nghĩ sẽ rất thú vị khi xem liệu những thành kiến quy nạp thậm chí còn trừu tượng hơn những thành kiến mà Ellis và nhóm của ông đã xem xét hay không – chẳng hạn như những thành kiến bắt nguồn từ giới hạn xử lý thông tin của con người (ví dụ: hạn chế về bộ nhớ đối với độ dài phụ thuộc hoặc giới hạn dung lượng về số lượng). thông tin có thể được xử lý mỗi lần) – sẽ đủ để tạo ra một số mô hình được quan sát thấy trong ngôn ngữ của con người,” ông nói thêm.
Văn phòng Nghiên cứu Khoa học của Không quân, Trung tâm Trí tuệ, Trí tuệ và Máy móc, Phòng thí nghiệm AI Watson của MIT-IBM, Hội đồng Nghiên cứu Khoa học và Kỹ thuật Tự nhiên Canada, Fonds de Recherche du Québec – Société et Culture, CIFAR Canada Chương trình Chủ tịch AI, Quỹ Khoa học Quốc gia (NSF) và học bổng sau đại học của NSF đã đóng góp tài trợ cho công việc này.
