Quy mô của các mô hình học máy đang tăng theo cấp số nhân và lượng khí thải carbon của hệ thống AI là điều quan trọng cần xem xét để tạo ra một thế giới bền vững. Để đào tạo họ xử lý chính xác hình ảnh, văn bản hoặc video, họ ngày càng cần nhiều năng lượng hơn.
Một số hội nghị hiện yêu cầu nộp các bài báo bao gồm thông tin về lượng khí thải CO2 khi cộng đồng AI phải vật lộn với tác động môi trường của nó. Một cái mới học đề xuất một cách định lượng lượng khí thải đó chính xác hơn. Nó cũng đối chiếu các yếu tố ảnh hưởng đến chúng và đánh giá hai chiến lược để hạ thấp chúng. Bạn cũng có thể xem những sự thật phũ phàng về tính bền vững của dữ liệu trong cơn sốt dữ liệu lớn, các chuyên gia không quá lạc quan về tương lai.
Có những công cụ mới để đo lượng khí thải carbon của AI
Lượng khí thải carbon của khối lượng công việc AI được ước tính bằng một số chương trình phần mềm. Một nhóm từ Đại học Paris-Saclay đã thử nghiệm một số công nghệ này để xác định độ tin cậy của chúng. Anne-Laure Ligozat, đồng tác giả của nghiên cứu đó, người không tham gia vào nghiên cứu mới, nói thêm rằng “Và chúng không đáng tin cậy trong mọi bối cảnh”.
Theo Jesse Dodge, một nhà khoa học nghiên cứu tại Viện AI Allen và là tác giả chính của ấn phẩm, phương pháp mới này khác biệt ở hai điểm. Dodge đã trình bày bài báo vào tuần trước tại Hội nghị ACM về Công bằng, Trách nhiệm giải trình và Minh bạch (SỰ THẬT). Đầu tiên, thay vì cộng mức tiêu thụ năng lượng của chip máy chủ trong thời gian đào tạo, nó ghi lại dưới dạng một loạt phép đo. Ngoài ra, nó còn liên hệ thông tin sử dụng này với một số điểm dữ liệu cho thấy lượng phát thải khu vực trên mỗi kilowatt giờ (kWh) năng lượng tiêu thụ. Số lượng này cũng rất năng động. Dodge tuyên bố rằng “tác phẩm trước đó không nắm bắt được nhiều sắc thái ở đó.”
Mặc dù công cụ mới tiên tiến hơn các phiên bản trước nhưng nó vẫn chỉ theo dõi một phần năng lượng cần thiết để huấn luyện các mô hình. Nhóm phát hiện ra rằng GPU của máy chủ tiêu thụ 74% năng lượng trong một thử nghiệm ban đầu. Các nhà nghiên cứu tập trung vào việc sử dụng GPU vì CPU và RAM hiếm khi được sử dụng và có thể xử lý nhiều công việc cùng một lúc. Ngoài ra, họ không tính toán năng lượng cần thiết để xây dựng phần cứng máy tính, làm mát trung tâm dữ liệu và vận chuyển các kỹ sư đến và đi từ địa điểm. hoặc sức mạnh cần thiết để chạy các thuật toán đã được đào tạo hoặc thu thập dữ liệu. Tuy nhiên, công cụ này đưa ra một số gợi ý về cách giảm lượng khí thải carbon của AI khi tập thể dục.
“Điều tôi hy vọng là bước quan trọng đầu tiên hướng tới một tương lai xanh hơn và công bằng hơn là báo cáo minh bạch. Bởi vì bạn không thể cải thiện những gì bạn không thể đo lường được,” Dodge nói.
Các nhà nghiên cứu đã đào tạo 11 mô hình học máy với nhiều kích cỡ khác nhau để đo lượng khí thải carbon của AI, nhằm phân tích từ ngữ hoặc hình ảnh. Từ một giờ đào tạo trên một GPU đến tám ngày trên 256 GPU. Cứ sau vài giây, họ lại ghi lại năng lượng được sử dụng. Ngoài ra, họ có thể giảm lượng khí thải carbon trên mỗi kWh năng lượng được sử dụng trong suốt năm 2020 ở mức 5 phút ở 16 khu vực địa lý khác nhau. Sau đó, lượng khí thải từ việc chạy các mô hình khác nhau ở các địa điểm khác nhau vào các thời điểm khác nhau có thể được so sánh.
Tương tự như việc sạc điện thoại, việc cấp nguồn cho GPU để huấn luyện các mẫu máy nhỏ nhất tạo ra lượng khí thải carbon. Mô hình lớn nhất, được đo bằng các thông số, có sáu tỷ. GPU tạo ra lượng carbon gần bằng mức chúng có thể có nếu chúng cung cấp năng lượng cho một ngôi nhà trong một năm ở Mỹ trong khi chỉ đào tạo nó với tỷ lệ hoàn thành 13%. Một số mô hình hiện đang được sử dụng, chẳng hạn như GPT- của OpenAI3có hơn 100 tỷ tham số.
Khu vực địa lý là yếu tố có thể đo lường chính trong việc giảm lượng khí thải carbon của AI, với số gam CO2 trên mỗi kWh nằm trong khoảng từ 200 đến 755. Bằng cách sử dụng dữ liệu chi tiết theo thời gian, các nhà nghiên cứu có thể thử hai chiến lược giảm CO2 ngoài di chuyển vị trí của họ. Với lựa chọn đầu tiên, việc đào tạo có thể bị hoãn lại tới 24 giờ. Việc trì hoãn tối đa một ngày thường làm giảm lượng khí thải ít hơn 1% đối với mô hình lớn nhất, cần vài ngày đào tạo, mặc dù đối với mô hình nhỏ hơn nhiều, độ trễ như vậy có thể tiết kiệm được 10-80%. Miễn là tổng thời lượng đào tạo không quá gấp đôi, tùy chọn thứ hai, Tạm dừng và Tiếp tục, có thể tạm dừng đào tạo trong thời gian có lượng khí thải cao.
Mô hình lớn nhất thu được lợi nhuận từ chiến lược này ở một nửa khu vực, trong khi mô hình nhỏ chỉ được hưởng lợi ở một số khu vực (10–30%). Việc lưu trữ năng lượng không đủ buộc các hệ thống đôi khi phải dựa vào các nguồn năng lượng bẩn khi các nguồn năng lượng sạch không liên tục như gió và mặt trời không thể đáp ứng nhu cầu, điều này góp phần làm cho lượng phát thải trên mỗi kWh dao động theo thời gian.
Những chiến lược tối ưu hóa này thu hút sự chú ý của Ligozat nhiều nhất trong suốt báo cáo. Tuy nhiên, chúng dựa trên dữ liệu cũ. Trong tương lai, theo Dodge, anh ấy muốn có thể dự báo lượng khí thải trên mỗi kWh để có thể áp dụng chúng vào thực tế ngay lập tức. Ligozat cung cấp một phương pháp bổ sung để cắt giảm lượng khí thải.
“Cách thực hành tốt đầu tiên là suy nghĩ trước khi tiến hành thử nghiệm. Hãy chắc chắn rằng bạn thực sự cần học máy cho vấn đề của mình,” cô nói.
Thống kê năng lượng GPU đã được các nhà nghiên cứu làm việc với họ trong bài viết thêm vào dịch vụ đám mây Azure của Microsoft. Với kiến thức này, người dùng có thể chọn đào tạo vào thời gian hoặc địa điểm khác, mua bù đắp carbon, đào tạo một mô hình khác hoặc không có mô hình nào cả.
“Điều tôi hy vọng là bước quan trọng đầu tiên hướng tới một tương lai xanh hơn và công bằng hơn là báo cáo minh bạch. Bởi vì bạn không thể cải thiện những gì bạn không thể đo lường được,” Dodge nói. Đây là một bước quan trọng cho một tương lai bền vững hơn, tất cả các chuyên gia nên đóng góp để giảm lượng khí thải carbon của AI. Ví dụ: bạn có thể xem nghiên cứu mới nhất của Schneider Electric, họ cho biết các chuyên gia trong ngành không đáp ứng được lời hứa về tính bền vững CNTT của họ.
