Stable Diffusion, một mô hình chuyển văn bản thành hình ảnh, học sâu, đã tạo nên làn sóng kể từ khi phát hành vào năm 2022. Được phát triển bởi nhóm CompVis tại LMU Munich, Stable Diffusion dựa trên một mô hình khuếch tán (DM) độc đáo được gọi là khuếch tán tiềm ẩn mô hình (LDM). Gần đây Stability AI đã ra mắt mẫu hình ảnh nguồn mở mới nhất của mình dưới dạng SDXL 1.0 n mô hình mở thể hiện bước tiến hóa tiếp theo trong các mô hình tạo văn bản thành hình ảnh.
Không giống như những phiên bản trước, Stable Diffusion không chỉ là một công cụ để tạo ra hình ảnh chi tiết dựa trên mô tả văn bản. Nó có phổ ứng dụng rộng hơn, bao gồm các tác vụ như inpainting, outpainting và tạo các bản dịch từ hình ảnh này sang hình ảnh khác được hướng dẫn bởi một lời nhắc văn bản.
Khuếch tán ổn định là một mô hình khuếch tán tiềm ẩn, một loại mạng lưới thần kinh nhân tạo có khả năng sinh sản sâu. Trọng lượng mã và mô hình của nó được cung cấp công khai, giúp bất kỳ ai có phần cứng tiêu dùng được trang bị GPU khiêm tốn với ít nhất 8 GB VRAM. Đây là một sự thay đổi đáng kể so với các mô hình chuyển văn bản thành hình ảnh độc quyền trước đây như DALL-E và Midjourney, vốn chỉ có thể truy cập được thông qua dịch vụ đám mây.
Việc tạo ra Sự khuếch tán ổn định được dẫn đầu bởi công ty khởi nghiệp, Stability AI. Tầm nhìn của công ty là tạo ra một nền tảng cho phép người dùng tạo ra tác phẩm nghệ thuật AI mà không bị hạn chế, không giống như các nền tảng khác như Mid Journey.
Cách cài đặt Stable Diffusion cục bộ và trên đám mây
Hướng dẫn này được tạo ra bởi Matt Wolfe cung cấp hướng dẫn toàn diện về cách thiết lập và chạy Khuếch tán ổn định cả cục bộ trên PC và trên đám mây cho máy tính cũ hoặc máy Mac. Để cài đặt Stable Diffusion cục bộ, người dùng cần có PC có card đồ họa tốt.
Họ cũng cần tạo tài khoản miễn phí trên ôm mặt.co và GitHub và tải xuống Git cho Windows. Sau đó, hướng dẫn sẽ đưa người dùng qua quá trình tải xuống và cài đặt Các tệp Khuếch tán ổn định từ Ôm mặt và Python trên máy tính của họ.
Các bài viết khác bạn có thể quan tâm về chủ đề SDXL 1.0 :
Một trong những tính năng nổi bật của Stable Diffusion là cho phép người dùng kết hợp các hình ảnh đã được đào tạo của riêng họ. Nó cũng cung cấp các tính năng như mô hình hóa các tư thế chính xác, mạng điều khiển viết nguệch ngoạc, tạo hình ảnh thành hình ảnh và tạo video.
Đối với những người không có PC hoặc GPU đủ mạnh, có một giải pháp thay thế. Run Diffusion là dịch vụ chạy Stable Diffusion trên đám mây có tính phí. Nó cung cấp các tùy chọn GPU khác nhau với tốc độ và chi phí tạo hình ảnh khác nhau.
Mô hình khuếch tán là gì?
Hãy tưởng tượng bạn nhỏ một giọt mực vào cốc nước. Bạn sẽ nhận thấy mực lan ra, phải không? Đó là sự khuếch tán. Giờ đây, trong thế giới máy tính và dữ liệu, có một công cụ được gọi là “mô hình khuếch tán” mô phỏng quá trình lan truyền ra ngoài mực, nhưng dành cho các điểm dữ liệu.
Vì vậy, nó làm gì?
Công cụ hoặc mô hình này giúp chúng ta hiểu các mẫu trong một loạt dữ liệu. Nó hoạt động giống như một thám tử, cố gắng tìm ra những gì ẩn hoặc không rõ ràng ngay lập tức trong dữ liệu.
Tại sao nó lại quan trọng?
Một điều thú vị mà chúng ta có thể làm với mô hình khuếch tán là sửa các hình ảnh bị mờ. Hãy tưởng tượng bạn có một bức ảnh hoàn toàn mờ nhạt. Mô hình này có thể giúp làm rõ điều đó một lần nữa. Nó thực hiện điều này bằng cách nghiên cứu cách dữ liệu, như màu sắc và hình dạng trong ảnh, trải ra (hoặc khuếch tán) và sau đó cố gắng đảo ngược sự trải rộng đó để có được bức ảnh rõ ràng, nguyên gốc.
Làm thế nào nó hoạt động?
Việc xây dựng mô hình này bao gồm ba bước chính:
- Quá trình chuyển tiếp: Điều này giống như cố tình làm mờ hình ảnh rõ nét. Nó thêm ‘tiếng ồn’ hoặc xáo trộn dữ liệu.
- Quá trình ngược lại: Đây là phần trinh thám. Nó cố gắng loại bỏ nhiễu và lấy lại hình ảnh rõ nét ban đầu.
- lấy mẫu: Điều này giống như việc chọn hình ảnh hoặc dữ liệu nào để huấn luyện mô hình, giống như cách huấn luyện viên thể thao chọn bài tập nào để bắt vận động viên thực hiện trong quá trình luyện tập.
Có nhiều loại khác nhau?
Đúng! Có một số loại mô hình khuếch tán được sử dụng, đặc biệt là trong việc làm cho hình ảnh rõ ràng:
- Mô hình khử nhiễu: Chủ yếu được sử dụng để làm rõ hình ảnh mờ.
- Mạng điểm tiếng ồn: Họ xem xét mối quan hệ giữa nhiễu loạn và ảnh gốc để dự đoán hoặc đoán sự vật.
- Phương trình ngẫu nhiên: Đây là một cách nói hoa mỹ để nói rằng những mô hình này có thể xử lý những thứ ngẫu nhiên thay đổi theo thời gian.
Các mô hình khuếch tán giống như thám tử máy tính. Chúng giúp chúng ta nhìn thấy các mẫu ẩn trong dữ liệu và cực kỳ hữu ích, đặc biệt là trong việc làm cho hình ảnh mờ trở nên rõ ràng. Khi chúng tôi tiếp tục cải tiến chúng, chúng sẽ chỉ trở nên tốt hơn và giúp chúng tôi theo nhiều cách hơn!
Khuếch tán ổn định là một người thay đổi cuộc chơi trong lĩnh vực sáng tạo nghệ thuật AI. Tính linh hoạt, khả năng truy cập và giao diện thân thiện với người dùng của nó khiến nó trở thành một sản phẩm phải thử đối với bất kỳ ai muốn khám phá sự giao thoa giữa AI và nghệ thuật.
nguồn: YouTube
Tuyên bố từ chối trách nhiệm: Một số bài viết của chúng tôi bao gồm các liên kết liên kết. Nếu bạn mua thứ gì đó thông qua một trong những liên kết này, APS Blog có thể kiếm được hoa hồng liên kết. Tìm hiểu về Chính sách tiết lộ của chúng tôi.
