Trong một động thái mang tính đột phá, Stability AI đã công bố StableLM, một giải pháp mô hình ngôn ngữ nguồn mở được thiết lập để cách mạng hóa bối cảnh AI. Mẫu cải tiến này hiện có phiên bản Alpha với 3 tỷ và 7 tỷ thông số, chỉ là khởi đầu. Stability AI có kế hoạch tung ra các mô hình với số lượng thông số đáng kinh ngạc từ 15 tỷ đến 65 tỷ trong tương lai gần.
StableLM không chỉ là một mô hình ngôn ngữ khác. Đó là minh chứng cho cam kết của Stability AI trong việc tạo ra công nghệ AI nền tảng cho tất cả mọi người. Mô hình này có thể được sử dụng và điều chỉnh tự do cho mục đích thương mại hoặc nghiên cứu theo CC BY-SA-4.0 giấy phép, làm cho nó trở thành một công cụ có giá trị cho nhiều ứng dụng.
Lần ra mắt này diễn ra sau bản phát hành Stable Diffusion vào năm 2022, một mô hình hình ảnh mở và có thể mở rộng, đồng thời là sự tiếp nối sứ mệnh của Stability AI nhằm dân chủ hóa công nghệ AI. StableLM được thiết kế để tạo văn bản và mã, hỗ trợ nhiều ứng dụng hạ nguồn khác nhau và chứng minh rằng các mô hình nhỏ, được đào tạo hiệu quả thực sự có thể mang lại hiệu suất cao.
Tính ổn định AI StableLM
Kinh nghiệm của Stability AI trong các mô hình ngôn ngữ nguồn mở với EleutherAI, bao gồm GPT-J, GPT-NeoX và bộ Pythia, là công cụ giúp phát triển StableLM. Mô hình này được đào tạo trên tập dữ liệu thử nghiệm mới, lớn hơn ba lần so với tập dữ liệu nguồn mở The Pile, với 1.5 nghìn tỷ mã thông báo nội dung. Thông tin chi tiết hơn về tập dữ liệu này sẽ được phát hành vào thời điểm thích hợp.
Mặc dù có kích thước tương đối nhỏ nhưng StableLM lại có sức mạnh vượt trội, mang lại hiệu suất cao trong các tác vụ đàm thoại và mã hóa. Ngoài StableLM, Stability AI cũng đang phát hành các mô hình nghiên cứu có hướng dẫn được tinh chỉnh, sử dụng kết hợp năm bộ dữ liệu nguồn mở gần đây cho các tác nhân đàm thoại. Tuy nhiên, những mô hình này chỉ dành cho mục đích nghiên cứu và được phát hành theo CC BY-NC-SA phi thương mại. 4.0 giấy phép.
Nguồn mở các mô hình của chúng tôi
Với tư cách là nhà tiên phong về tính minh bạch, Stability AI vẫn kiên định với cam kết của mình về nguồn mở cho các mô hình của chúng tôi. tại sao như vậy? Bởi vì họ tin rằng sự hiểu biết sẽ đến mà không có rào cản và niềm tin cần được nuôi dưỡng thông qua sự rõ ràng trong quy trình làm việc của chúng tôi. Bằng cách cung cấp nguồn mở cho các mô hình của mình, chúng tôi đang vén bức màn một cách hiệu quả và cho phép các nhà nghiên cứu cũng như những người đam mê AI khám phá điều tra.
minh bạch
Một trong những lợi ích chính của sự minh bạch này là cơ hội cho các nhà nghiên cứu “xem xét kỹ lưỡng” các mô hình của nó. Điều này đơn giản có nghĩa là làm sáng tỏ sự phức tạp, xem xét kỹ lưỡng hiệu suất và hiểu biết sâu sắc về các mô hình StableLM. Điều này không chỉ cho phép họ xác minh những tuyên bố mà chúng tôi đưa ra về hiệu suất của họ mà còn đẩy nhanh quá trình phát triển các kỹ thuật diễn giải vốn rất quan trọng trong việc hiểu cách các mô hình này đi đến kết luận.
Ngoài ra, quy trình này hoạt động như một loại hệ thống cảnh báo sớm, giúp xác định các rủi ro tiềm ẩn nội tại đối với các mô hình AI. Nó thúc đẩy sự phát triển chủ động của các biện pháp bảo vệ – các biện pháp phòng ngừa nhằm ngăn chặn và hạn chế bất kỳ phản ứng dữ dội nào có thể phát sinh từ các tình huống không lường trước được. Điều này thiết lập một hệ thống mạnh mẽ ưu tiên sự an toàn và trách nhiệm giải trình.
Khu vực công và tư nhân
Mở rộng phạm vi ra ngoài cộng đồng nghiên cứu, các mô hình nguồn mở của Stability AI mang lại lợi ích cho các tổ chức trải rộng trên cả khu vực công và tư nhân. Chúng tạo cơ hội cho các thực thể này điều chỉnh hoặc “tinh chỉnh” các mô hình có sẵn công khai của chúng tôi cho các ứng dụng tương ứng của họ. Bằng cách này, họ không phải chia sẻ thông tin nhạy cảm hoặc từ bỏ quyền kiểm soát khả năng AI của mình. Họ có thể tùy chỉnh các mô hình để đáp ứng các yêu cầu riêng mà không ảnh hưởng đến bảo mật dữ liệu và duy trì chủ quyền đối với các hoạt động AI của họ.
Cộng đồng StableLM
Tóm lại, cách tiếp cận nguồn mở của Stability AI không chỉ mang lại sự minh bạch cao hơn mà còn củng cố niềm tin trong cộng đồng của chúng ta, hỗ trợ các nhà nghiên cứu khám phá và cho phép các tổ chức sử dụng các mô hình có sẵn trong khi vẫn duy trì quyền riêng tư và chủ quyền dữ liệu của họ. Điều này củng cố cam kết của chúng tôi về sự đổi mới có ý nghĩa, mục đích cuối cùng là thúc đẩy một hệ sinh thái AI hợp tác và toàn diện.
Ngoài những phát triển này, Stability AI cũng sẽ triển khai chương trình RLHF có nguồn gốc từ cộng đồng và cộng tác với các nỗ lực của cộng đồng như Mở Trợ lý để tạo tập dữ liệu nguồn mở cho trợ lý AI. Đây là dấu hiệu rõ ràng về cam kết của Stability AI trong việc thúc đẩy hệ sinh thái AI hợp tác và toàn diện. Để biết thêm thông tin về mô hình ngôn ngữ StableLM, hãy chuyển sang AI Ổn định Trang web chính thức để biết thêm chi tiết. Mô hình ngôn ngữ có thể được tải xuống từ kho GitHub chính thức.
Nhóm phát triển tại Stability AI cho biết kho lưu trữ này chứa sự phát triển liên tục của loạt mô hình ngôn ngữ StableLM của Stability AI và sẽ được cập nhật liên tục với các điểm kiểm tra mới. vào tháng 8 5, 2023, một bản vá đã được phát hành cho các mẫu StableLM-Alpha v2 với thông số 3B và 7B. Ngay khi có thêm thông tin và các bản cập nhật được phát hành, chúng tôi sẽ cập nhật cho bạn như mọi khi
Tuyên bố từ chối trách nhiệm: Một số bài viết của chúng tôi bao gồm các liên kết liên kết. Nếu bạn mua thứ gì đó thông qua một trong những liên kết này, APS Blog có thể kiếm được hoa hồng liên kết. Tìm hiểu về Chính sách tiết lộ của chúng tôi.
