Meta đã tiến lên phía trước trong không gian AI một cách nhanh chóng. Gã khổng lồ truyền thông xã hội thuộc sở hữu của Mark Zuckerberg đã thể hiện sự hiện diện của mình bằng việc ra mắt “Mô hình ngôn ngữ lớn nguồn mở” của riêng mình có tên là LlaMa 2 để cạnh tranh với OpenAI, Google và Microsoft, và bây giờ, để đưa mọi thứ lên một tầm cao mới, Meta đã tiết lộ mô hình AI tổng hợp dựa trên chuyển văn bản thành giọng nói của riêng mình có tên là AudioCraft. Tiếp tục đọc để biết thêm về AudioCraft
Mô hình AI tổng hợp AudioCraft của Meta có thể giúp bạn tạo ra âm nhạc và âm thanh chất lượng cao bằng cách sử dụng các lời nhắc đơn giản dựa trên văn bản. USP lớn nhất của AudioCraft là nó xử lý tín hiệu âm thanh RAW để mang lại trải nghiệm chân thực và chân thực. Điều này tương tự như công cụ AI âm thanh của Google, MusicLM.
AudioCraft phần lớn dựa trên ba mô hình AI riêng biệt: MusicGen, AudioGen và EnCodec. Mục đích của MusicGen là tạo ra “âm nhạc từ đầu vào dựa trên văn bản,” sử dụng các mẫu nhạc được sở hữu và cấp phép của Meta. Mặt khác, AudioGen tạo ra “âm thanh từ đầu vào dựa trên văn bản,” bằng cách sử dụng các hiệu ứng âm thanh có sẵn công khai. Bộ giải mã EnCodec chịu trách nhiệm tạo ra các đầu ra âm thanh chân thực và như Meta nói, “với ít hiện vật hơn.“
Điều này có nghĩa là bạn có thể dễ dàng tạo ra các cảnh khác nhau với các yếu tố được tập trung riêng lẻ sẽ xuất hiện đồng bộ ở đầu ra cuối cùng. Ví dụ: nếu bạn sử dụng lời nhắc “Nhạc jazz từ những năm 80 với tiếng chó sủa làm nền,” AudioCraft sẽ sử dụng MusicGen của mình để phân phối phần Jazz của bạn trong khi AudioGen sẽ chèn và hòa trộn tiếng chó sủa trong nền một cách liền mạch. Và tất cả những điều này sẽ được trình bày cho bạn thông qua khả năng giải mã nâng cao của EnCodec.
Mặc dù bạn có thể nghĩ rằng phần hay nhất của AudioCraft là khả năng AI tổng hợp của nó, nhưng thực tế không phải vậy. AudioCraft là cũng là nguồn mở. Điều này có nghĩa là các nhà nghiên cứu có thể xem mã nguồn của mô hình AudioCraft để hiểu sâu hơn về công nghệ này và tạo bộ dữ liệu của riêng họ để giúp tinh chỉnh nó. Bạn có thể xem mã nguồn của AudioCraft thông qua GitHub.
Với AudioCraft, bạn có thể dễ dàng tạo nhạc và âm thanh cũng như nén và tạo. Điều này làm cho AudioCraft trở nên linh hoạt vì người dùng có thể xây dựng trên cơ sở mã hiện có và tạo ra các thuật toán nén và tạo âm thanh tốt hơn. Tóm lại, bạn không cần phải bắt đầu lại từ đầu. Nền tảng của bạn sẽ dựa trên mức trần hiện có của tập dữ liệu.
Bạn có thể trải nghiệm AudioCraft lần đầu tiên dưới dạng khả năng chuyển văn bản thành nhạc của MusicGen thông qua Ôm mặt. Hãy bình luận kinh nghiệm của bạn xuống bên dưới!
