Nếu bạn thích sử dụng ChatGPT kể từ khi nó ra mắt chính thức vài tháng trước và đang làm quen với nội dung bằng cách sử dụng lời nhắc. Hoặc mới bắt đầu học viết mã bằng trợ lý AI mới, bạn có thể muốn tìm hiểu thêm về thuật ngữ liên quan đến công nghệ mới đang làm mưa làm gió trên thế giới này. Hiểu các thuật ngữ liên quan đến ChatGPT là điều cần thiết đối với bất kỳ ai sử dụng hoặc phát triển các chương trình sử dụng công nghệ này.
Nó cho phép sử dụng hệ thống chính xác, hiệu quả và hiểu biết hơn. Đối với những người muốn bắt đầu tạo các ứng dụng kết nối với OpenAI Trong mô hình ChatGPT, điều quan trọng là phải hiểu các thuật ngữ như “tinh chỉnh”, “tham số”, “thời kỳ huấn luyện” hoặc “hàm mất mát” vì những khái niệm này là nền tảng để sửa đổi và tối ưu hóa mô hình.
Chúng cung cấp thông tin chi tiết về cách mô hình học hỏi và tạo ra phản hồi, từ đó có thể hướng dẫn các lựa chọn về đào tạo và triển khai. Trong khi đó, người dùng được hưởng lợi từ việc hiểu các thuật ngữ như “lời nhắc,” “mã thông báo,” hoặc “sự suy luận,” vì chúng giúp làm rõ hoạt động của mô hình, dẫn đến việc sử dụng và quản lý kỳ vọng tốt hơn. Biết những thuật ngữ này là bước đệm để làm chủ công nghệ và khám phá những khả năng to lớn của nó.
Bạn cũng có thể muốn biết rằng hôm nay OpenAI đã phát hành bản cập nhật mới cho ChatGPT, cung cấp nhiều tính năng mới cho các nhà phát triển và người dùng tận hưởng
Thuật ngữ ChatGPT
- Máy biến áp đào tạo trước sáng tạo (GPT): Điều này đề cập đến kiến trúc nền tảng của mô hình AI, được phát triển bởi OpenAI. Nó là một mô hình ngôn ngữ dựa trên máy biến áp được đào tạo trên một kho dữ liệu văn bản lớn. Thuật ngữ “đào tạo trước” đề cập đến giai đoạn đào tạo đầu tiên, trong đó mô hình học cách dự đoán từ tiếp theo trong câu.
- Trò chuyệnGPT: Đây là một biến thể của mô hình GPT, được tinh chỉnh đặc biệt để tạo phản hồi đàm thoại. Mô hình đã được đào tạo thêm về tập dữ liệu chứa định dạng hội thoại để tối ưu hóa khả năng tham gia vào cuộc trò chuyện.
- tinh chỉnh: Sau giai đoạn đào tạo trước ban đầu, mô hình GPT sẽ được tinh chỉnh. Quá trình này bao gồm việc đào tạo mô hình về một nhiệm vụ cụ thể hơn (chẳng hạn như tạo phản hồi hội thoại cho ChatGPT), thường sử dụng tập dữ liệu nhỏ hơn, dành riêng cho nhiệm vụ.
- Đại lý ChatGPT: Thuật ngữ này có thể đề cập đến một phiên bản của mô hình ChatGPT (như tôi), tạo ra phản hồi trong một cuộc trò chuyện hoặc cài đặt giống như trò chuyện.
- mô hình ngôn ngữ: Một loại mô hình dự đoán từ hoặc ký tự tiếp theo trong một chuỗi. Những mô hình này là cốt lõi của nhiều tác vụ xử lý ngôn ngữ tự nhiên, từ dịch máy đến tóm tắt tự động.
- Kiến trúc máy biến áp: Đây là kiến trúc cơ bản cho các mô hình như GPT. Nó đã cách mạng hóa lĩnh vực xử lý ngôn ngữ tự nhiên với khả năng xử lý các phụ thuộc tầm xa trong văn bản. Cái tên “máy biến áp” xuất phát từ việc mô hình sử dụng “cơ chế chú ý”, giúp mô hình “chuyển đổi” đầu vào thành đầu ra.
- mã thông báo: Trong mô hình ngôn ngữ, mã thông báo thường đề cập đến một từ hoặc một ký tự. Tuy nhiên, trong các mô hình như GPT, mã thông báo linh hoạt hơn một chút và có thể đại diện cho toàn bộ từ, một phần của từ hoặc một ký tự, tùy thuộc vào ngôn ngữ và chiến lược mã hóa cụ thể.
- lời nhắc: Đầu vào được cung cấp cho một mô hình như ChatGPT, nó sử dụng để tạo phản hồi. Ví dụ: trong cuộc trò chuyện này, mỗi câu hỏi hoặc câu nói của bạn gửi tới ChatGPT đều là một lời nhắc.
- Phản hồi hoặc Tạo: Văn bản mà mô hình ChatGPT tạo ra để trả lời lời nhắc.
- Suy luận: Quá trình sử dụng mô hình đã được huấn luyện để đưa ra dự đoán. Đối với ChatGPT, suy luận sẽ tạo ra phản hồi cho lời nhắc.
- Thông số mô hình: Đây là những thành phần của mô hình được học trong quá trình đào tạo. Chúng xác định cách mô hình chuyển đổi đầu vào thành đầu ra. Đối với các mô hình GPT, chúng bao gồm trọng số và độ lệch trong mạng lưới thần kinh.
- Thời kỳ đào tạo: Một kỷ nguyên là một lần hoàn thành đi qua toàn bộ tập dữ liệu huấn luyện. Các mô hình như ChatGPT thường trải qua nhiều giai đoạn trong quá trình đào tạo.
- Tỷ lệ học: Đây là siêu tham số kiểm soát mức độ cập nhật của các tham số của mô hình để đáp ứng với lỗi ước tính mỗi khi trọng số mô hình được cập nhật. Nó ảnh hưởng đến tốc độ và chất lượng học tập.
- Trang bị quá mức và thiếu trang bị: Những thuật ngữ này mô tả các vấn đề tiềm ẩn trong mô hình học máy. Quá khớp xảy ra khi một mô hình học dữ liệu huấn luyện quá tốt, đến mức nó hoạt động kém trên dữ liệu không được nhìn thấy vì nó quá chuyên biệt. Underfitting là vấn đề ngược lại, trong đó mô hình không học được các mẫu quan trọng trong dữ liệu huấn luyện, dẫn đến hiệu suất kém.
- chính quy: Các kỹ thuật được sử dụng để ngăn chặn việc trang bị quá mức bằng cách không khuyến khích các tham số mô hình trở nên quá phức tạp. Các phương pháp phổ biến bao gồm chính quy hóa L1 và L2.
- mất chức năng: Thước đo mức độ thực hiện nhiệm vụ của mô hình. Đối với ChatGPT, hàm mất đo lường mức độ dự đoán của mô hình từ tiếp theo trong chuỗi. Trong quá trình huấn luyện, mục tiêu là giảm thiểu hàm mất mát.
- Lan truyền ngược: Thuật toán chính để thực hiện giảm độ dốc trên mạng thần kinh. Nó tính toán độ dốc của hàm mất đối với các tham số của mô hình và sử dụng thông số này để cập nhật các tham số.
- Lớp mạng thần kinh: Một thành phần của mạng nơ-ron thực hiện một phép biến đổi cụ thể trên đầu vào của nó. Mô hình GPT là mô hình học sâu, nghĩa là chúng có nhiều lớp mạng thần kinh xếp chồng lên nhau.
- Chức năng kích hoạt: Một hàm toán học được sử dụng trong lớp mạng thần kinh giúp xác định đầu ra của mạng. Các hàm kích hoạt phổ biến bao gồm các hàm ReLU, sigmoid và tanh.
- Cửa sổ ngữ cảnh/độ dài chuỗi: Đề cập đến độ dài tối đa của chuỗi mà mô hình có thể xử lý trong một lô duy nhất, do tính chất có độ dài cố định của các mô hình máy biến áp như GPT. Đối với GPT-3độ dài chuỗi tối đa là 2048 mã thông báo.
Để tìm hiểu thêm về cách sử dụng ChatGPT, hãy chuyển tới tài liệu OpenAI chính thức nơi cung cấp mọi thứ bạn cần biết để thiết lập và chạy nhanh nhất có thể.
Tuyên bố từ chối trách nhiệm: Một số bài viết của chúng tôi bao gồm các liên kết liên kết. Nếu bạn mua thứ gì đó thông qua một trong những liên kết này, APS Blog có thể kiếm được hoa hồng liên kết. Tìm hiểu về Chính sách tiết lộ của chúng tôi.
