Nếu bạn đã sử dụng API OpenAI, bạn có thể đã gặp thuật ngữ “giới hạn tỷ lệnhưng không chắc chắn chính xác những gì họ đề cập đến. Hướng dẫn nhanh này sẽ cung cấp cái nhìn sâu sắc hơn về giới hạn tỷ lệ ChatGPT là gì và tại sao chúng lại quan trọng? Giới hạn tỷ lệ có thể hơi khó điều hướng nếu bạn chưa quen với chúng. Nếu nhận thấy mình thường xuyên đạt đến giới hạn, bạn có thể cần phải đánh giá mức sử dụng của mình và điều chỉnh cho phù hợp. Bạn thậm chí có thể cần cân nhắc việc gửi yêu cầu tăng giới hạn tỷ lệ.
Giới hạn tỷ lệ ChatGPT là gì?
Giới hạn tốc độ đề cập đến số lần tối đa người dùng hoặc khách hàng có thể truy cập vào máy chủ trong một khoảng thời gian nhất định. Về cơ bản, chúng là những hạn chế do API áp đặt.
Giới hạn tỷ lệ là một thông lệ phổ biến trên các API và chúng được triển khai vì một số lý do:
- Để bảo vệ chống lạm dụng hoặc sử dụng sai mục đích: Điều này rất hữu ích để ngăn chặn kẻ lừa đảo làm quá tải API với các yêu cầu, điều này có thể làm gián đoạn dịch vụ.
- Để đảm bảo quyền truy cập công bằng: Điều này đảm bảo rằng không một cá nhân hoặc tổ chức nào có thể sử dụng dịch vụ bằng cách thực hiện quá nhiều yêu cầu, do đó làm chậm API cho những người khác.
- Để quản lý tải trên cơ sở hạ tầng: API có thể bị đánh thuế nếu yêu cầu tăng đột ngột. Điều này có thể gây ra vấn đề về hiệu suất. Do đó, giới hạn tốc độ giúp duy trì trải nghiệm mượt mà và nhất quán cho tất cả người dùng.
Giới hạn tỷ lệ OpenAI
OpenAI thực thi các giới hạn tốc độ ở cấp tổ chức, dựa trên điểm cuối cụ thể được sử dụng và loại tài khoản bạn có. Bạn có thể xem giới hạn tỷ lệ cho tổ chức của mình trên trang quản lý tài khoản. Giới hạn tốc độ được đo theo hai cách: RPM (yêu cầu mỗi phút) và TPM (mã thông báo mỗi phút). Bảng dưới đây hiển thị các giới hạn tỷ lệ mặc định:
- Người dùng thử miễn phí
- Văn bản & Nhúng: 3 VÒNG/PHÚT, 150.000 TPM
- Trò chuyện: 3 VÒNG/PHÚT, 40.000 TPM
- biên tập: 3 VÒNG/PHÚT, 150.000 TPM
- Hình ảnh: 5 hình ảnh/phút
- Âm thanh: 3 vòng/phút
- Người dùng trả tiền khi sử dụng (48 giờ đầu tiên)
- Văn bản & Nhúng: 60 RPM, 250.000 TPM
- Trò chuyện: 60 vòng/phút, 60.000 TPM
- Chỉnh sửa: 20 vòng/phút, 150.000 TPM
- Hình ảnh: 50 hình ảnh/phút
- Âm thanh: 50RPM
- Người dùng trả tiền khi sử dụng (sau 48 giờ)
- Văn bản & Nhúng: 30,500RPM, 350.000TPM
- Trò chuyện: 30,500RPM, 90.000TPM
- Chỉnh sửa: 20 vòng/phút, 150.000 TPM
- Hình ảnh: 50 hình ảnh/phút
- Âm thanh: 50RPM
Giới hạn tỷ lệ có thể được tăng lên dựa trên trường hợp sử dụng của bạn sau khi bạn điền vào biểu mẫu yêu cầu tăng Giới hạn tỷ lệ.
Đơn vị TPM (mã thông báo mỗi phút) khác nhau tùy thuộc vào phiên bản mô hình:
- Davinci: 1 mã thông báo mỗi phút
- Curies: 25 token mỗi phút
- Babbage: 100 token mỗi phút
- Ada: 200 token mỗi phút
Nói một cách đơn giản, điều này có nghĩa là bạn có thể gửi số lượng token nhiều hơn khoảng 200 lần mỗi phút đến mô hình Ada so với mô hình Davinci.
GPT-4 giới hạn tỷ lệ
Trong quá trình triển khai phiên bản beta giới hạn của GPT-4, mô hình này có giới hạn tỷ lệ nghiêm ngặt hơn để theo kịp nhu cầu. Đối với người dùng trả tiền theo mức sử dụng, giới hạn tốc độ mặc định cho gpt-4/gpt-4-0613 là 40k TPM và 200 vòng/phút. cho gpt-4-32k/gpt-4-32k-0613, giới hạn là 150k TPM và 1k RPM. OpenAI hiện không thể đáp ứng các yêu cầu tăng giới hạn tốc độ do hạn chế về năng lực.
Nếu giới hạn tốc độ của bạn là 60 yêu cầu mỗi phút và 150 nghìn mã thông báo davinci mỗi phút, bạn sẽ bị hạn chế do đạt đến giới hạn yêu cầu/phút hoặc hết mã thông báo—wh
bao giờ xảy ra đầu tiên. Nếu đạt đến giới hạn tốc độ, bạn sẽ cần tạm dừng chương trình một chút để thực hiện yêu cầu tiếp theo. Ví dụ: nếu số yêu cầu tối đa mỗi phút của bạn là 60, điều đó tương đương với việc gửi một yêu cầu mỗi giây. Nếu bạn gửi một yêu cầu cứ sau 800 mili giây, thì khi đạt đến giới hạn tốc độ, bạn sẽ chỉ cần tạm dừng chương trình của mình trong 200 mili giây trước khi có thể gửi một yêu cầu khác.
Tuy nhiên, đạt đến giới hạn tỷ lệ sẽ đi kèm với hậu quả. Bạn có thể gặp phải một lỗi giống như thế này:
Đã đạt đến giới hạn tốc độ cho default-text-davinci-002 trong tổ chức org-{id} theo yêu cầu mỗi phút. Giới hạn: 20,000000/phút. Hiện tại: 24.000000/phút.
Điều này có nghĩa là bạn đã thực hiện quá nhiều yêu cầu trong một khoảng thời gian ngắn và API sẽ từ chối thực hiện các yêu cầu tiếp theo cho đến khi đủ thời gian.
Token và giới hạn tỷ lệ
Mỗi mô hình được cung cấp có số lượng mã thông báo tối đa có thể được chuyển vào làm đầu vào khi thực hiện yêu cầu. Ví dụ: nếu bạn đang sử dụng text-ada-001, số lượng mã thông báo tối đa bạn có thể gửi tới mô hình này là 20,048 mã thông báo cho mỗi yêu cầu. Bạn không thể tăng số lượng mã thông báo tối đa mà một mô hình nhận vào.
Mặc dù giới hạn tốc độ có vẻ phức tạp nhưng chúng rất quan trọng để duy trì hoạt động trơn tru của API và đảm bảo mọi người đều có quyền truy cập công bằng. Bằng cách hiểu và làm việc trong giới hạn được phân bổ của mình, bạn sẽ có thể sử dụng API OpenAI một cách hiệu quả mà không bị gián đoạn. Và hãy nhớ rằng, bạn không đơn độc trong việc này – luôn sẵn sàng hỗ trợ nếu bạn gặp bất kỳ khó khăn nào. Để biết thêm thông tin cụ thể về giới hạn tỷ lệ OpenAI, hãy chuyển tới tài liệu chính thức.
Các bài viết khác bạn có thể thấy thú vị về chủ đề ChatGPT:
Tuyên bố từ chối trách nhiệm: Một số bài viết của chúng tôi bao gồm các liên kết liên kết. Nếu bạn mua thứ gì đó thông qua một trong những liên kết này, APS Blog có thể kiếm được hoa hồng liên kết. Tìm hiểu về Chính sách tiết lộ của chúng tôi.
