Với StableLM, Stability AI mang đến thị trường một mô hình ngôn ngữ nguồn mở mà chatbot có thể được hỗ trợ.
Stability AI, công ty đứng sau công cụ tạo hình ảnh AI Stable Diffusion, đã xuất bản một mô hình ngôn ngữ. Mô hình ngôn ngữ lớn (LLM) là công cụ đằng sau các chatbot như ChatGPT và Bing Chat. Hai cái sau đều sử dụng GPT-4, có sửa đổi hay không. Mô hình này được đặt tên là ‘StableLM’.
Theo bài viết trên blog của Stability AI, mô hình đã được đào tạo về “The Pile”. Pile là một tập dữ liệu mã nguồn mở chứa dữ liệu từ Wikipedia, PubMed và YouTube. Stability không phải là công ty duy nhất sử dụng bộ dữ liệu này: các mô hình ngôn ngữ nguồn mở khác như Cerebras-GPT và Dolly-2.0 cũng sử dụng tập dữ liệu. Tuy nhiên, Stability tin rằng tập dữ liệu cho StableLM lớn hơn ba lần so với các mô hình khác.
Công ty cho biết họ sẽ công bố thêm thông tin về tập dữ liệu mở rộng sau này. Theo thời gian, phiên bản mở rộng của StableLM cũng sẽ có sẵn. Phiên bản alpha hiện tại của mô hình có sẵn với 3 cho đến khi 7 tỷ thông số. Tuy nhiên, trong tương lai, mô hình sẽ trở nên phức tạp hơn nhiều và bao gồm từ 15 đến 65 tỷ tham số. Tuy nhiên, điều này làm cho mô hình của Stability gần như không phức tạp như GPT-3hoạt động với 175 tỷ thông số khác nhau.
Không phải là chatbot thông minh nhất
Điều đó nói lên rằng, mô hình của Stability dường như không thành công ngay lập tức. Con ong có thể nghiền được họ đã bắt đầu làm việc với một chatbot chạy trên StableLM. Kết quả cho việc này còn nhiều điều đáng mong đợi. Khi so sánh với ChatGPT, chatbot OpenAI nổi lên là người chiến thắng rõ ràng: bot dựa trên StableLM thường lừa dối sự thật.
StableLM sẽ được cung cấp dưới dạng nguồn mở ngay lập tức. Nếu bạn tò mò về mã trông chính xác như thế nào, bạn có thể truy cập GitHub. Để bắt đầu với mô hình ngôn ngữ ngay lập tức, HuggingFace có một giao diện người dùng được xây dựng cho phép bạn trò chuyện với hệ thống AI.
