Học sâu tương tự, một nhánh mới của trí tuệ nhân tạo, hứa hẹn xử lý nhanh hơn với mức sử dụng ít năng lượng hơn. Lượng thời gian, công sức và tiền bạc cần thiết để đào tạo các mô hình mạng thần kinh phức tạp hơn bao giờ hết đang tăng vọt khi các nhà nghiên cứu đẩy mạnh các giới hạn của học máy.
Tương tự như bóng bán dẫn là thành phần thiết yếu của bộ xử lý kỹ thuật số, điện trở có thể lập trình là thành phần cơ bản của công nghệ học sâu tương tự. Các nhà nghiên cứu đã phát triển một mạng lưới gồm các “tế bào thần kinh” và “khớp thần kinh” nhân tạo tương tự có thể thực hiện các phép tính tương tự như mạng lưới thần kinh kỹ thuật số bằng cách lặp đi lặp lại các dãy điện trở có thể lập trình trong các lớp phức tạp. Sau đó, mạng này có thể được huấn luyện bằng các tác vụ AI khó như nhận dạng hình ảnh và xử lý ngôn ngữ tự nhiên.
Mục tiêu của nhóm nghiên cứu là gì?
Mục tiêu của nhóm nghiên cứu liên ngành của MIT là tăng tốc độ của một loại khớp thần kinh tương tự nhân tạo cụ thể mà họ đã tạo ra trước đó. Họ đã sử dụng một chất vô cơ hữu ích trong quá trình sản xuất để giúp thiết bị của họ tăng tốc độ gấp một triệu lần so với các lần lặp trước đó, nhanh hơn khoảng một triệu lần so với các khớp thần kinh trong não con người.
Thành phần vô cơ này cũng góp phần mang lại hiệu quả sử dụng năng lượng vượt trội của điện trở. Vật liệu mới tương thích với các phương pháp sản xuất silicon, trái ngược với các vật liệu được sử dụng trong phiên bản thiết bị trước đó của họ. Việc sửa đổi này giúp có thể chế tạo các thiết bị có kích thước nanomet và có thể mở ra cơ hội kết hợp chúng vào phần cứng máy tính thương mại cho các ứng dụng học sâu.
“Với cái nhìn sâu sắc quan trọng đó và các kỹ thuật chế tạo nano rất mạnh mẽ mà chúng tôi có MIT.nano, chúng tôi đã có thể ghép các mảnh này lại với nhau và chứng minh rằng các thiết bị này về bản chất rất nhanh và hoạt động với điện áp hợp lý. Tác giả cấp cao Jesús A. del Alamo, Giáo sư Donner tại Khoa Kỹ thuật Điện và Khoa học Máy tính (EECS) của MIT, giải thích: Công trình này đã thực sự đưa những thiết bị này đến một thời điểm mà giờ đây chúng trông thực sự hứa hẹn cho các ứng dụng trong tương lai”.
“Cơ chế hoạt động của thiết bị là đưa ion nhỏ nhất, proton, vào một oxit cách điện để điều chỉnh độ dẫn điện của nó. Bởi vì chúng tôi đang làm việc với các thiết bị rất mỏng nên chúng tôi có thể tăng tốc chuyển động của ion này bằng cách sử dụng điện trường mạnh và đẩy các thiết bị ion này sang chế độ hoạt động nano giây,” tác giả cấp cao Bilge Yildiz, Giáo sư Breene M. Kerr trong khoa cho biết. Khoa học và Kỹ thuật Hạt nhân và Khoa học và Kỹ thuật Vật liệu.
Giữ lời hứa với Obama: Mỹ chế tạo được siêu máy tính exascale
“Điện thế hoạt động trong tế bào sinh học tăng và giảm trong khoảng thời gian tính bằng mili giây do chênh lệch điện áp khoảng 0.1 volt bị hạn chế bởi sự ổn định của nước. Ở đây, chúng tôi đặt dòng điện lên tới 10 vôn lên một màng thủy tinh đặc đặc biệt có độ dày cỡ nano, có khả năng dẫn proton mà không làm hỏng nó vĩnh viễn. Và từ trường càng mạnh thì các thiết bị ion càng nhanh”, tác giả cấp cao Ju Li, Giáo sư Khoa học và Kỹ thuật Hạt nhân và giáo sư khoa học và kỹ thuật vật liệu của Liên minh Năng lượng Battelle giải thích.
Việc đào tạo mạng lưới thần kinh có thể được thực hiện nhanh hơn và rẻ hơn nhiều nhờ các điện trở có thể lập trình này hơn bao giờ hết. Điều này có thể đẩy nhanh quá trình các nhà khoa học tạo ra các mô hình học sâu, sau đó có thể được sử dụng để phát hiện gian lận, xe tự lái hoặc phân tích hình ảnh trong y học.
“Một khi bạn có bộ xử lý tương tự, bạn sẽ không còn đào tạo các mạng mà mọi người khác đang làm việc trên đó nữa. Bạn sẽ đào tạo các mạng lưới với độ phức tạp chưa từng có mà không ai khác có thể đủ khả năng thực hiện và do đó vượt trội hơn hẳn tất cả. Nói cách khác, đây không phải là một chiếc xe nhanh hơn; đây là một con tàu vũ trụ,” tác giả chính và tiến sĩ MIT Murat Onen cho biết thêm.
Nghiên cứu được công bố tại Khoa học được gọi là “Điện trở lập trình Protonic Nano giây cho việc học sâu tương tự”. Nó bao gồm Frances M. Ross, Giáo sư Ellen Swallow Richards tại Khoa Khoa học và Kỹ thuật Vật liệu; postdoc Nicolas Emond và Baoming Wang; và Difei Zhang, một sinh viên tốt nghiệp EECS.
Tại sao học sâu tương tự nhanh hơn?
Vì hai lý do chính, deep learning analog nhanh hơn và tiết kiệm năng lượng hơn phiên bản kỹ thuật số. Đầu tiên, vì việc tính toán được thực hiện trong bộ nhớ chứ không phải bộ xử lý nên lượng dữ liệu khổng lồ không được vận chuyển liên tục giữa hai bộ nhớ. Bộ xử lý tương tự cũng có thể thực hiện các quá trình song song. Bộ xử lý tương tự không cần nhiều thời gian hơn để thực hiện các thao tác mới khi kích thước của ma trận tăng lên vì tất cả tính toán diễn ra đồng thời.
Điện trở lập trình proton là thành phần chính của công nghệ bộ xử lý tương tự mới của MIT. Những điện trở có kích thước nano này được đặt giống như một bàn cờ trong một mảng. Một nanomet là một phần tỷ mét.
Việc học tập diễn ra trong não người do sự tăng cường và suy yếu của các khớp thần kinh, sự kết nối giữa các tế bào thần kinh. Cách tiếp cận này, trong đó các thuật toán huấn luyện lập trình trọng số mạng, đã được các mạng nơ-ron sâu sử dụng trong một thời gian dài. Có thể học máy tương tự với bộ xử lý mới này bằng cách thay đổi độ dẫn điện của điện trở proton.
Chuyển động của proton chi phối độ dẫn điện. Nhiều proton hơn được đẩy vào kênh điện trở để tăng độ dẫn và nhiều proton hơn bị kéo ra ngoài để giảm độ dẫn. Điều này được thực hiện bằng cách dẫn proton nhưng chặn các electron trong chất điện phân (tương tự như chất điện phân của pin).
Các nhà nghiên cứu đã nghiên cứu các vật liệu điện phân khác nhau để tạo ra điện trở proton có thể lập trình được, cực kỳ nhanh chóng và tiết kiệm năng lượng cao. Onen tập trung vào thủy tinh phosphosilicate vô cơ thay vì sử dụng hóa chất hữu cơ (PSG) của các thiết bị khác.
Máy tính P là tương lai để phát triển hệ thống AI và ML hiệu quả
PSG, chất hút ẩm dạng bột dùng để loại bỏ độ ẩm và được tìm thấy trong các túi nhỏ đựng hộp đồ nội thất mới, về cơ bản là silicon dioxide. Trong điều kiện ẩm, nó được nghiên cứu làm chất dẫn proton cho pin nhiên liệu. Nó cũng là oxit phổ biến nhất được sử dụng trong sản xuất silicon. Để tạo ra PSG, silicon có đặc tính dẫn proton độc đáo bằng cách thêm một lượng nhỏ phốt pho.
Onen đã công nhận rằng một PSG cải tiến sẽ tạo ra chất điện phân rắn hoàn hảo cho mục đích này, có thể có độ dẫn proton cao ở nhiệt độ phòng mà không cần đến nước. Anh ấy đã chính xác.
Tốc độ gây sốc
Bởi vì PSG có nhiều lỗ có kích thước nanomet với bề mặt đóng vai trò là con đường khuếch tán proton, nên nó cho phép vận chuyển proton nhanh chóng. Ngoài ra, nó có thể chịu được điện trường xung cực mạnh. Onen cho rằng điều này rất quan trọng vì việc tăng điện áp của thiết bị sẽ cho phép các proton di chuyển với tốc độ chóng mặt.
“Tốc độ chắc chắn là đáng ngạc nhiên. Thông thường, chúng tôi sẽ không áp dụng các trường cực đoan như vậy trên các thiết bị để ngăn chúng biến thành tro bụi. Nhưng thay vào đó, các proton cuối cùng lại di chuyển với tốc độ cực lớn trên toàn bộ thiết bị, đặc biệt là nhanh hơn một triệu lần so với trước đây chúng ta có. Và chuyển động này không gây hại gì cả nhờ kích thước nhỏ và khối lượng proton thấp. Nó gần giống như dịch chuyển tức thời. Li nói: “Khoảng thời gian nano giây có nghĩa là chúng ta đang tiến gần đến chế độ đường hầm đạn đạo hoặc thậm chí lượng tử cho proton, trong một trường cực đoan như vậy”.
Các proton không gây hại cho vật chất nên điện trở có thể hoạt động trong hàng triệu chu kỳ mà không bị suy giảm. Điều quan trọng là phải kết hợp chất điện phân mới này vào phần cứng máy tính vì nó có thể tạo ra điện trở proton có thể lập trình nhanh hơn một triệu lần so với thiết bị trước đó và có thể hoạt động tốt ở nhiệt độ phòng.
PSG là chất cách điện; do đó, hầu như không có dòng điện nào di chuyển qua nó khi các proton chuyển động. Onen tiếp tục rằng điều này cải thiện đáng kể hiệu quả sử dụng năng lượng của thiết bị.
Theo del Alamo, các nhà nghiên cứu dự định tái thiết kế các điện trở có thể lập trình này để sản xuất số lượng lớn khi chúng đã chứng minh được tính hiệu quả của mình. Sau đó, họ có thể mở rộng quy mô mảng điện trở để sử dụng trong hệ thống và phân tích các đặc tính của chúng.
Họ cũng có ý định nghiên cứu các vật liệu để loại bỏ các vật cản ngăn cản điện áp cần thiết để truyền proton vào, xuyên và ra khỏi chất điện phân một cách hiệu quả.
“Một hướng thú vị khác mà các thiết bị ion này có thể kích hoạt là phần cứng tiết kiệm năng lượng để mô phỏng các mạch thần kinh và các quy tắc dẻo khớp thần kinh được suy luận trong khoa học thần kinh, ngoài mạng lưới thần kinh sâu tương tự. Chúng tôi đã bắt đầu hợp tác với khoa học thần kinh, được hỗ trợ bởi Cuộc tìm kiếm trí thông minh của MIT,” Yildiz nói.
“Sự hợp tác mà chúng tôi có sẽ rất cần thiết để đổi mới trong tương lai. Con đường phía trước vẫn còn rất nhiều thử thách nhưng đồng thời cũng rất thú vị,” del Alamo giải thích.
“Các phản ứng xen kẽ như phản ứng xảy ra trong pin lithium-ion đã được khám phá rộng rãi cho các thiết bị bộ nhớ. Công trình này chứng minh rằng các thiết bị bộ nhớ dựa trên proton mang lại tốc độ và độ bền chuyển mạch ấn tượng và đáng ngạc nhiên. Nó đặt nền tảng cho một loại thiết bị bộ nhớ mới để cung cấp năng lượng cho các thuật toán học sâu”, William Chueh, phó giáo sư khoa học và kỹ thuật vật liệu tại Đại học Stanford, người không tham gia vào nghiên cứu này, cho biết.
Mọi thứ bạn cần biết về chuyên ngành khoa học máy tính (Phiên bản 2022)
“Công trình này thể hiện bước đột phá đáng kể trong các thiết bị bộ nhớ điện trở lấy cảm hứng từ sinh học. Những thiết bị proton ở trạng thái rắn này dựa trên sự kiểm soát proton ở quy mô nguyên tử tinh tế, tương tự như các khớp thần kinh sinh học nhưng với tốc độ nhanh hơn nhiều lần. Tôi khen ngợi nhóm MIT liên ngành vì sự phát triển thú vị này, sẽ cho phép các thiết bị tính toán thế hệ tương lai,” Elizabeth Dickey, Giáo sư xuất sắc của Teddy & Wilton Hawkins và trưởng Khoa Khoa học và Kỹ thuật Vật liệu tại Đại học Carnegie Mellon, người cũng là người đứng đầu Khoa Khoa học và Kỹ thuật Vật liệu tại Đại học Carnegie Mellon, nói thêm. không tham gia vào nghiên cứu này.
