Một nghiên cứu gần đây của Phòng thí nghiệm MIT Lincoln và Đại học Đông Bắc đã điều tra mức tiết kiệm có thể đạt được nhờ GPU giới hạn năng lượng được sử dụng trong đào tạo và suy luận mô hình cũng như một số phương pháp khác nhau để giảm mức sử dụng năng lượng của AI trước mối lo ngại ngày càng tăng về nhu cầu năng lượng khổng lồ của các mô hình học máy .
Giới hạn năng lượng có thể giảm đáng kể mức sử dụng năng lượng khi đào tạo ML
Vấn đề chính của nghiên cứu tập trung vào giới hạn nguồn điện (cắt nguồn điện khả dụng để đào tạo mô hình GPU). Họ cho rằng giới hạn công suất sẽ giúp tiết kiệm năng lượng đáng kể, đặc biệt là đối với Mô hình ngôn ngữ đeo mặt nạ (MLM) và các khung như BERT và các nền tảng kế thừa của nó. Mô hình hóa ngôn ngữ là một lĩnh vực đang phát triển nhanh chóng. Bạn có biết rằng Mô hình ngôn ngữ Pathways có thể giải thích một câu chuyện cười?
Có thể tiết kiệm chi phí tương tự do giảm thời gian đào tạo và sử dụng năng lượng cho các mô hình quy mô lớn hơn, vốn đã thu hút sự chú ý của mọi người trong những năm gần đây nhờ dữ liệu siêu quy mô và các mô hình mới với hàng tỷ hoặc hàng nghìn tỷ tham số.
Đối với các triển khai lớn hơn, các nhà nghiên cứu nhận thấy rằng việc giảm giới hạn công suất xuống 150W sẽ tạo ra mức trung bình là 13.7% giảm mức sử dụng năng lượng và mức độ khiêm tốn 6.8Tăng % thời gian tập luyện so với mức tối đa tiêu chuẩn 250W. Nếu bạn muốn tìm hiểu chi tiết hơn, hãy tìm hiểu cách quản lý vòng đời máy học bằng cách đọc bài viết của chúng tôi.
Các nhà nghiên cứu cho rằng giới hạn công suất giúp tiết kiệm năng lượng đáng kể, đặc biệt là đối với Mô hình hóa ngôn ngữ đeo mặt nạ.
Các nhà nghiên cứu còn tranh luận thêm rằng, bất chấp những tiêu đề về chi phí đào tạo mô hình trong những năm gần đây, nhu cầu năng lượng khi sử dụng những mô hình được đào tạo đó vẫn lớn hơn đáng kể.
“Đối với mô hình hóa ngôn ngữ bằng BERT, mức tăng năng lượng thông qua giới hạn công suất lớn hơn đáng kể khi thực hiện suy luận so với đào tạo. Nếu điều này nhất quán với các ứng dụng AI khác, thì điều này có thể tạo ra sự phân chia đáng kể về mức tiêu thụ năng lượng cho các nền tảng điện toán đám mây hoặc quy mô lớn phục vụ các ứng dụng suy luận cho nghiên cứu và công nghiệp.”
Cuối cùng, nghiên cứu tuyên bố rằng việc đào tạo máy học mở rộng nên được giới hạn ở những tháng lạnh hơn trong năm và vào ban đêm để tiết kiệm tiền làm mát.
Đối với mô hình hóa ngôn ngữ bằng BERT, mức tăng năng lượng thông qua giới hạn công suất lớn hơn đáng kể khi thực hiện suy luận so với đào tạo.
“Rõ ràng, khối lượng công việc NLP nặng thường kém hiệu quả hơn nhiều vào mùa hè so với khối lượng công việc được thực hiện trong mùa đông. Các tác giả cho biết, với sự thay đổi lớn theo mùa, nếu có, các thí nghiệm tốn kém về mặt tính toán có thể được tính thời gian cho những tháng lạnh hơn, thời gian này có thể làm giảm đáng kể lượng khí thải carbon.
Nghiên cứu cũng nhận ra tiềm năng tiết kiệm năng lượng trong việc tối ưu hóa kiến trúc và quy trình mô hình. Tuy nhiên, nó để lại sự phát triển hơn nữa cho những nỗ lực khác.
Cuối cùng, các tác giả ủng hộ việc các bài báo khoa học mới từ ngành học máy kết thúc bằng tuyên bố trình bày chi tiết về việc sử dụng năng lượng của nghiên cứu và những hậu quả năng lượng tiềm ẩn của việc áp dụng các công nghệ được ghi trong đó.
Nghiên cứu có tựa đề “Quyền lực lớn, trách nhiệm lớn: Khuyến nghị giảm năng lượng cho các mô hình ngôn ngữ đào tạo” được thực hiện bởi sáu nhà nghiên cứu Joseph McDonald, Baolin Li, Nathan Frey, Devesh Tiwari, Vijay Gadepally, Siddharth Samsi từ MIT Lincoln và Đại học Đông Bắc.
Làm cách nào để tạo ML tiết kiệm năng lượng?
Để đạt được mức độ chính xác tương tự, các thuật toán học máy đòi hỏi lượng dữ liệu và sức mạnh tính toán ngày càng lớn, tuy nhiên văn hóa ML hiện tại đánh đồng việc sử dụng năng lượng với hiệu suất được cải thiện.
Theo một Hợp tác MIT 2022để đạt được sự cải thiện gấp 10 lần về hiệu suất mô hình sẽ cần tăng yêu cầu tính toán gấp 10.000 lần và cùng một lượng năng lượng.
Do đó, mối quan tâm đến việc đào tạo ML hiệu quả, tiết kiệm năng lượng hơn đã tăng lên trong những năm gần đây. Theo các nhà nghiên cứu, bài báo mới là bài báo đầu tiên tập trung vào ảnh hưởng của hạn chế năng lượng đối với việc đào tạo và suy luận về học máy, đặc biệt nhấn mạnh vào các phương pháp tiếp cận NLP.
“[This] phương pháp không ảnh hưởng đến dự đoán của các mô hình được đào tạo hoặc do đó độ chính xác thực hiện của chúng đối với các nhiệm vụ. Nghĩa là, nếu hai mạng có cùng cấu trúc, giá trị ban đầu và dữ liệu theo đợt được huấn luyện cho cùng một số đợt với giới hạn công suất khác nhau thì các tham số kết quả của chúng sẽ giống hệt nhau và chỉ có năng lượng cần thiết để tạo ra chúng mới có thể khác nhau,” giải thích các tác giả.
Các thí nghiệm chỉ ra rằng việc thực hiện giới hạn công suất có thể làm giảm đáng kể việc sử dụng năng lượng. (Tín dụng hình ảnh)
Để đánh giá tác động của giới hạn sức mạnh đối với việc đào tạo và suy luận, các nhà nghiên cứu đã sử dụng Nvidia-smi (Giao diện quản lý hệ thống) và một Thư viện HuggingFace MLM.
Các nhà nghiên cứu đã đào tạo BERT, chưng cấtBERTVà Con chim lớn sử dụng MLM và theo dõi mức sử dụng năng lượng của họ trong suốt quá trình đào tạo và triển khai.
Đối với thử nghiệm, DeepAI’s WikiText-103 tập dữ liệu đã được sử dụng cho bốn kỷ nguyên đào tạo theo đợt tám trên 16 GPU V100, với bốn giới hạn công suất khác nhau: 100W, 150W, 200W và 250W (mức mặc định hoặc mức cơ bản cho GPU NVIDIA V100). Để bảo vệ chống lại sự thiên vị trong quá trình đào tạo, các tham số được đào tạo sơ bộ và các giá trị init ngẫu nhiên đã được sử dụng.
Như được minh họa trong biểu đồ đầu tiên, với những thay đổi thuận lợi về thời gian đào tạo và phi tuyến tính, có thể đạt được mức tiết kiệm năng lượng lớn.
Các tác giả cho biết: “Các thí nghiệm của chúng tôi chỉ ra rằng việc áp dụng giới hạn công suất có thể giảm đáng kể việc sử dụng năng lượng nhưng phải trả giá bằng thời gian đào tạo”.
Sau đó, các tác giả đã sử dụng phương pháp tương tự để giải quyết một vấn đề khó khăn hơn: đào tạo BERT trên các cấu hình phân tán của nhiều GPU, đây là trường hợp điển hình hơn đối với các mô hình FAANG NLP được tài trợ tốt và được công bố rộng rãi.
Tờ báo viết:
“Tính trung bình trên mỗi lựa chọn cấu hình, giới hạn sử dụng điện năng là 150W dẫn đến mức trung bình là 13.7% giảm mức sử dụng năng lượng và 6.8% tăng thời gian huấn luyện so với mức tối đa mặc định. [The] Cài đặt 100W có thời gian đào tạo dài hơn đáng kể (31.4trung bình dài hơn %). Các tác giả giải thích rằng giới hạn 200W tương ứng với thời gian đào tạo gần như tương đương với giới hạn 250W nhưng tiết kiệm năng lượng khiêm tốn hơn giới hạn 150W,” các tác giả giải thích.
Các nhà nghiên cứu xác định rằng những phát hiện này ủng hộ khái niệm về kiến trúc GPU giới hạn công suất và các ứng dụng chạy trên chúng ở mức 150W. Họ cũng lưu ý rằng việc tiết kiệm năng lượng áp dụng cho nhiều nền tảng phần cứng khác nhau, vì vậy, họ lặp lại các thử nghiệm để xem mọi thứ diễn ra như thế nào đối với GPU NVIDIA K80, T4 và A100.
Suy luận đòi hỏi rất nhiều sức mạnh
Bất chấp các tiêu đề, đó là suy luận (tức là sử dụng một mô hình hoàn chỉnh, chẳng hạn như mô hình NLP) thay vì đào tạo có sức mạnh lớn nhất theo nghiên cứu trước đó, ngụ ý rằng khi các mô hình phổ biến được thương mại hóa và đi vào xu hướng phổ biến, việc sử dụng năng lượng có thể ngày càng có nhiều vấn đề hơn ở giai đoạn đầu của quá trình phát triển NLP.
Các nhà nghiên cứu đã định lượng ảnh hưởng của suy luận đến việc sử dụng năng lượng và nhận thấy rằng việc hạn chế sử dụng năng lượng có tác động đáng kể đến độ trễ suy luận:
“So với 250W, cài đặt 100W yêu cầu gấp đôi thời gian suy luận (tăng 114%) và tiêu thụ 11.0% năng lượng ít hơn, cần 150W 22.7% thêm thời gian và tiết kiệm được 24.2% năng lượng và yêu cầu 200W 8.2% thêm thời gian với 12.0% năng lượng ít hơn,” các tác giả giải thích.
Các tác giả của bài báo đề xuất rằng việc đào tạo có thể được thực hiện ở mức Hiệu quả Sử dụng Năng lượng (PUE) cao nhất.
Tầm quan trọng của PUE
Các tác giả của bài báo đề xuất rằng việc đào tạo có thể được thực hiện ở Hiệu suất sử dụng năng lượng (PUE) cao nhất, khoảng vào mùa đông và ban đêm khi trung tâm dữ liệu hoạt động hiệu quả nhất.
“Có thể tiết kiệm năng lượng đáng kể nếu khối lượng công việc có thể được lên lịch vào những thời điểm dự kiến có PUE thấp hơn. Ví dụ: chuyển một công việc ngắn hạn từ ban ngày sang ban đêm có thể giảm khoảng 10% và chuyển một công việc dài hơn, tốn kém hơn (ví dụ: một mô hình ngôn ngữ mất hàng tuần để hoàn thành) từ mùa hè sang mùa đông có thể giảm 33%. Mặc dù khó có thể dự đoán mức tiết kiệm mà một nhà nghiên cứu riêng lẻ có thể đạt được, nhưng thông tin được trình bày ở đây nhấn mạnh tầm quan trọng của các yếu tố môi trường ảnh hưởng đến tổng năng lượng tiêu thụ trong khối lượng công việc của họ,” các tác giả cho biết.
Cuối cùng, bài viết gợi ý rằng do các nguồn tài nguyên xử lý cục bộ khó có thể thực hiện các biện pháp hiệu quả tương tự như các trung tâm dữ liệu lớn và các trình phát điện toán đám mây cấp cao, nên việc chuyển khối lượng công việc sang các khu vực có đầu tư năng lượng sâu có thể mang lại lợi ích cho môi trường.
“Mặc dù có sự thuận tiện khi có thể truy cập được các tài nguyên máy tính cá nhân nhưng sự tiện lợi này lại phải trả giá. Nói chung, việc tiết kiệm năng lượng và tác động dễ dàng đạt được hơn ở quy mô lớn hơn. Các trung tâm dữ liệu và nhà cung cấp điện toán đám mây đầu tư đáng kể vào hiệu quả của cơ sở vật chất của họ,” các tác giả cho biết thêm.
Đây không phải là nỗ lực duy nhất nhằm tạo ra các mô hình trí tuệ nhân tạo và học máy tiết kiệm năng lượng. Các nghiên cứu mới nhất cho thấy nam châm nano sẽ mở đường cho AI năng lượng thấp.
