Mô hình ngôn ngữ lộ trình của Google AI có thể xử lý nhiều tác vụ cùng một lúc. Thế giới đã để mắt đến những gì các mô hình ngôn ngữ lớn (LLM) có thể làm với rất ít dữ liệu trong gần hai năm, trả lời các câu hỏi, dịch văn bản một cách có trách nhiệm và thậm chí tạo ra các đoạn văn bản sáng tạo của riêng họ sau GPT- 175 tỷ thông số của OpenAI3 mô hình ngôn ngữ cho thấy tiềm năng của các hệ thống như vậy.
Mô hình ngôn ngữ Pathways là kiến trúc AI thế hệ tiếp theo
Sự thành công của GPT-3 đã thúc đẩy các mô hình tiếp theo, chẳng hạn như LaMDA của Google (137 tỷ tham số) và Megatron-Turing NLG (530 tỷ tham số), tất cả đều thành công trong việc học mẫu nhỏ. Giờ đây, Google đã giới thiệu một mô hình ngôn ngữ lớn mới có tên là Mô hình ngôn ngữ Pathways (PaLM), mô hình Transformer gồm 540 tỷ tham số được đào tạo trên hệ thống Pathways mới của Google.
Jeff Dean, phó chủ tịch cấp cao của Google Research, được giới thiệu Mô hình ngôn ngữ Pathways dưới dạng “kiến trúc AI thế hệ tiếp theo” vào tháng 10 sẽ cho phép các nhà phát triển “đào tạo một mô hình duy nhất để thực hiện hàng nghìn hoặc hàng triệu việc” thay vì chỉ một mô hình.
“[We]d]muốn đào tạo một mô hình không chỉ có thể xử lý nhiều nhiệm vụ riêng biệt mà còn dựa trên và kết hợp các kỹ năng hiện có của nó để học các nhiệm vụ mới nhanh hơn và hiệu quả hơn. Bằng cách đó, những gì một mô hình học được bằng cách huấn luyện một nhiệm vụ—chẳng hạn như học cách các hình ảnh trên không có thể dự đoán độ cao của cảnh quan—có thể giúp mô hình học một nhiệm vụ khác—chẳng hạn như dự đoán cách nước lũ sẽ chảy qua địa hình đó,” ông Dean nói .
Vì Mô hình ngôn ngữ Pathways có được cải thiện rất nhiều và PaLM dường như là sản phẩm đầu tiên của sự làm việc chăm chỉ. “PaLM trình diễn ứng dụng quy mô lớn đầu tiên của hệ thống Pathways để mở rộng quy mô đào tạo thành…cấu hình hệ thống dựa trên TPU lớn nhất được sử dụng cho đào tạo cho đến nay,” Google cho biết. Quá trình đào tạo đó được thực hiện trên sáu Pod Cloud TPU v4 và bao gồm 6,144 chip.
“Đây là mức tăng quy mô đáng kể so với hầu hết các LLM trước đây đã được đào tạo trên một Pod TPU v3 duy nhất (ví dụ: GLaM, LaMDA), sử dụng tính năng song song đường dẫn để mở rộng quy mô lên 2240 GPU A100 trên các cụm GPU (Megatron-Turing NLG) hoặc đã sử dụng nhiều Pod TPU v3 (Gopher) với quy mô tối đa 4096 chip TPU v3”, Google cho biết. PaLM đã đạt được mức sử dụng phần cứng thất bại là 57.8 phần trăm, mà Google tuyên bố là lớn nhất đối với LLM ở quy mô này.
Theo Google, PaLM—được đào tạo dựa trên sự kết hợp giữa dữ liệu tiếng Anh và đa ngôn ngữ—đã thể hiện tiềm năng đột phá trong một số hoạt động khó khăn, vượt trội so với GPT-3LaMDA và Megatron-Turning NLG trong 28 trong số 29 nhiệm vụ từ trả lời câu hỏi đến hoàn thành câu.
Google AI: PaLM có thể giải thích một trò đùa nguyên bản
Google cho biết: “PaLM có thể phân biệt nguyên nhân và kết quả, hiểu sự kết hợp khái niệm trong bối cảnh thích hợp và thậm chí đoán phim từ biểu tượng cảm xúc”.
Google cũng đưa ra một ví dụ tuyệt vời về Mô hình ngôn ngữ Pathways kể một câu chuyện cười độc đáo.
Với khả năng của PaLM, Google đưa ra một lưu ý về các cân nhắc về mặt đạo đức đối với các mô hình ngôn ngữ lớn, vốn là chủ đề được các nhà nghiên cứu đạo đức AI rất quan tâm và quan tâm.
“Mặc dù phân tích giúp phác thảo một số rủi ro tiềm ẩn của mô hình, nhưng phân tích theo miền và nhiệm vụ cụ thể là điều cần thiết để thực sự hiệu chỉnh, bối cảnh hóa và giảm thiểu tác hại có thể xảy ra. Các nhà nghiên cứu lưu ý rằng hiểu biết sâu hơn về rủi ro và lợi ích của các mô hình này là một chủ đề nghiên cứu đang diễn ra, cùng với việc phát triển các giải pháp có thể mở rộng có thể đặt ra các biện pháp bảo vệ chống lại việc sử dụng các mô hình ngôn ngữ một cách độc hại”.
Kết thúc phiên họp, Google nhấn mạnh rằng tiến trình của PaLM giúp nó tiến gần hơn đến mục tiêu kiến trúc Pathways là cho phép một hệ thống trí tuệ nhân tạo duy nhất khái quát hóa qua hàng nghìn hoặc hàng triệu nhiệm vụ, hiểu được nhiều loại dữ liệu khác nhau và thực hiện điều đó với hiệu quả vượt trội.
