Trong thế giới trí tuệ nhân tạo không ngừng phát triển và nhanh chóng, phòng thí nghiệm Stability AI và CarperAI đã có một bước tiến đáng kể với việc ra mắt Beluga ổn định 1 Và Beluga ổn định 2. Hai quyền truy cập mở mới này Mô hình ngôn ngữ lớn (LLM) được ra mắt vào tháng trước, vào tháng 7 năm 2023 và kể từ đó đã tạo nên làn sóng trong cộng đồng AI.
Beluga ổn định 1, sản phẩm đầu tiên trong bộ đôi này, được xây dựng dựa trên mô hình nền tảng LLaMA 65B vững chắc. Nó sử dụng tập dữ liệu được tạo tổng hợp để tinh chỉnh, một cách tiếp cận mới khiến nó trở nên khác biệt so với các đồng nghiệp. Mặt khác, Beluga ổn định 2mô hình thứ hai, dựa trên LLaMA 2 Mô hình nền tảng 70B và có hiệu suất dẫn đầu ngành.
Tập luyện Beluga ổn định
Quá trình đào tạo được sử dụng để định hình các mô hình Stable Beluga không phải được sinh ra trong chân không mà đứng trên vai những người khổng lồ – chính xác hơn là dựa trên phương pháp đột phá do Microsoft đề xuất. Bài viết thay đổi cuộc chơi của gã khổng lồ công nghệ, “Orca: Học tập tiến bộ từ dấu vết giải thích phức tạp của GPT-4,” đóng vai trò như ngọn hải đăng soi sáng con đường mà cuối cùng dẫn đến việc tạo ra các mẫu Stable Beluga. Những đóng góp tiên phong của Microsoft đã cung cấp nguồn nhiên liệu mạnh mẽ cho động cơ đổi mới của chúng tôi.
Quá trình tạo dữ liệu đi theo một con đường rất giống với phương thức hoạt động của Microsoft, mặc dù có một số khác biệt về sắc thái. Một sự khác biệt như vậy nằm ở việc chúng tôi lựa chọn các nguồn dữ liệu, được chọn lọc cẩn thận để đáp ứng các tiêu chuẩn chất lượng nghiêm ngặt của chúng tôi và đáp ứng các yêu cầu riêng trong quá trình phát triển của chúng tôi.
Đối với tập dữ liệu đào tạo thực tế, nó bao gồm 600.000 điểm dữ liệu khổng lồ, một khối lượng ấn tượng bằng khoảng 10% kích thước tập dữ liệu được sử dụng trong dự án nghiên cứu Orca ban đầu. Mỗi điểm dữ liệu này đều được tạo ra một cách tổng hợp, khiến chúng trở thành sản phẩm của những công nghệ tiên tiến, khả năng sáng tạo không giới hạn và sự chú ý tỉ mỉ đến từng chi tiết.
Nguồn gốc của các hướng dẫn chất lượng cao này có thể bắt nguồn từ một bộ dữ liệu, sản phẩm trí tuệ của Enrico Shippole. Những bộ dữ liệu này được mọi người đánh giá cao nhờ chất lượng, độ bền và độ tin cậy vượt trội, khiến chúng trở thành nền tảng hoàn hảo cho bộ đào tạo mở rộng của chúng tôi.
Chính sự kết hợp độc đáo giữa nguồn cảm hứng, tập dữ liệu và phương pháp này đã trang bị cho các mô hình Stable Beluga những công cụ và kiến thức mà chúng cần để vượt trội—một minh chứng thử nghiệm cho thấy tầm quan trọng của việc cộng tác và học hỏi chung trong công nghệ tiên tiến.
Mặc dù cỡ mẫu được sử dụng để đào tạo nhỏ hơn nhưng các mẫu Stable Beluga đã cho thấy hiệu suất vượt trội trên nhiều tiêu chuẩn khác nhau. Họ được đánh giá bằng cách sử dụng lm-eval-harness của EleutherAI, có bổ sung AGIEval, và đã thể hiện sự thành thạo trong lập luận phức tạp, hiểu được sự tinh tế của ngôn ngữ và trả lời các câu hỏi phức tạp.
Kết quả của những đánh giá này không chỉ được xác nhận bởi các nhà nghiên cứu Stability AI mà còn được Hugging Face sao chép độc lập. Tính đến ngày 27 tháng 7 năm 2023, Stable Beluga 2 được xếp hạng #1 và Beluga ổn định 1 được xếp hạng #4 trên của họ ban lãnh đạovà minh chứng cho hiệu suất vượt trội của họ.
Các bài viết khác bạn có thể thấy thú vị về Stability AI
Đổi tên từ FreeWilly
Các mô hình Stable Beluga dự kiến sẽ thúc đẩy đáng kể hoạt động nghiên cứu, nâng cao khả năng hiểu ngôn ngữ tự nhiên và thực hiện các tác vụ phức tạp. Ban đầu có tên mã là FreeWilly, các mẫu này được đổi tên thành Stable Beluga để phản ánh tốt hơn mức độ “vô hại” được tối ưu hóa của chúng.
Trọng lượng cho Stable Beluga 2 được phát hành nguyên trạng, trong khi những bản dành cho Stable Beluga 1 được phát hành dưới dạng delta so với mô hình ban đầu. Cả hai mẫu đều được phát hành theo Giấy phép Nghiên cứu Beluga ổn định, nhấn mạnh hơn nữa vai trò của chúng trong việc thúc đẩy nghiên cứu AI.
Ra mắt Stable Beluga 1 và Beluga ổn định 2 đánh dấu một cột mốc quan trọng trong lĩnh vực AI, hứa hẹn cách mạng hóa việc hiểu ngôn ngữ tự nhiên và thực hiện các tác vụ phức tạp. Để biết thêm thông tin, hãy chuyển tới AI ổn định Trang web chính thức.
Tuyên bố từ chối trách nhiệm: Một số bài viết của chúng tôi bao gồm các liên kết liên kết. Nếu bạn mua thứ gì đó thông qua một trong những liên kết này, APS Blog có thể kiếm được hoa hồng liên kết. Tìm hiểu về Chính sách tiết lộ của chúng tôi.
