Meta đã phát triển mô hình ngôn ngữ của riêng mình. Bài phát biểu đa ngôn ngữ đại chúng (MMS) không phải là bản sao của ChatGPT của OpenAI một lần.
MMS có thể làm được nhiều hơn thế 4Nhận dạng .000 ngôn ngữ nói và hỗ trợ chuyển văn bản thành giọng nói cho 1.100 ngôn ngữ. Theo truyền thống, Meta đang biến các dự án của mình thành nguồn mở và giờ đây MMS cũng là nguồn mở, “để bảo tồn sự đa dạng ngôn ngữ và khuyến khích các nhà nghiên cứu xây dựng trên nền tảng đó”, nền tảng truyền thông xã hội cho biết. biết.
Việc phát triển các mô hình nhận dạng giọng nói và chuyển văn bản thành giọng nói thường đòi hỏi hàng nghìn giờ đào tạo âm thanh với các thẻ phiên âm liên quan. Điều thứ hai là cần thiết để các thuật toán phân loại và hiểu dữ liệu một cách chính xác. Trong trường hợp các ngôn ngữ không được sử dụng (nhiều) trong xã hội hiện đại, mô hình ngôn ngữ có thể là một phương tiện để ngăn chặn sự giàu có đó biến mất.
MMS sử dụng văn bản tôn giáo
Điều đáng chú ý là Meta đã áp dụng một cách tiếp cận khác thường để thu thập dữ liệu âm thanh. Ví dụ, nó dựa trên các bản ghi âm các văn bản tôn giáo đã được dịch. Zuckerberg và cộng sự cho biết: “Chúng tôi đã sử dụng các văn bản tôn giáo, chẳng hạn như những văn bản trong Kinh thánh, đã được dịch sang nhiều ngôn ngữ trong nhiều năm và bản dịch của chúng đã được nghiên cứu rộng rãi để nghiên cứu dịch thuật dựa trên văn bản”. Bằng cách này, các nhà nghiên cứu sẽ thành công trong việc tăng số lượng ngôn ngữ có sẵn cho mô hình lên hơn 40,000.
Meta viết: “Mặc dù nội dung của các bản ghi âm mang tính chất tôn giáo, nhưng nghiên cứu của chúng tôi cho thấy rằng điều này không làm thiên vị việc sản xuất ngôn ngữ tôn giáo hơn nữa”. “Đó là bởi vì cách tiếp cận của chúng tôi dựa trên ‘phân loại thời gian theo chủ nghĩa kết nối’ (CTC), nhỏ gọn và tập trung hơn nhiều so với các mô hình ngôn ngữ lớn (LLM) khác. Ngoài ra, cả nam và nữ đều đã ghi âm văn bản”, có vẻ như vậy.
Meta sau đó bắt đầu làm việc với wav2vec của mình 2.0, một mô hình tự học có thể đào tạo trên cơ sở dữ liệu chưa được gắn nhãn. “Kết quả rất tốt. Họ cho thấy mô hình Lời nói đa ngôn ngữ đại chúng hoạt động rất tốt so với các mô hình hiện có. Các nhà nghiên cứu kết luận: “Nó hỗ trợ số lượng ngôn ngữ nhiều gấp 11 lần so với Whisper của OpenAI”.
