Google đã âm thầm cải tiến Bard và bổ sung thêm các tính năng mới vài tuần một lần, nâng khả năng của nó ngang bằng với ChatGPT. Giờ đây, công ty đã bổ sung thêm khả năng tải hình ảnh lên Bard để có trải nghiệm rộng hơn nhiều bên cạnh văn bản. Đừng nhầm lẫn, Google Bard vẫn là mô hình ngôn ngữ lớn chỉ có văn bản. Tuy nhiên, gã khổng lồ tìm kiếm đã tích hợp Google Lens, tìm kiếm hình ảnh ngược và một vài hệ thống VQA (Trả lời câu hỏi trực quan) để khiến Bard có cảm giác giống như một mô hình đa phương thức. Tuy nhiên, khả năng nhìn hiện tại của Bard thực sự có phần đáng ngạc nhiên và chúng tôi đã thử nghiệm nó bên dưới để tìm hiểu về khả năng của nó. Trên lưu ý đó, chúng ta hãy xem một số ví dụ thú vị về tải lên hình ảnh trong Google Bard.
Tiện ích tốt nhất của khả năng xử lý hình ảnh của Bard là giờ đây bạn có thể tải hình ảnh lên bằng cách nhấp vào nút (+) cái nút. Sau đó nó có thể nhanh chóng lấy văn bản từ các video tải lên. Google Bard rồi tự động thực hiện OCR và thực hiện một công việc chính xác. Điều đó đang được nói, mặc dù có một danh sách dài hỗ trợ ngôn ngữ trong Bard, nhưng hiện tại, chức năng OCR chỉ hoạt động với ngôn ngữ tiếng Anh. Tôi đã thử nhiều ngôn ngữ quốc tế và khu vực nhưng không lấy được văn bản từ hình ảnh được quét. Tuy nhiên, để trích xuất văn bản nhanh chóng từ hình ảnh, Bard có thể rất hữu ích.
Tất cả chúng ta đều gặp khó khăn khi phải trích xuất bảng từ hình ảnh hoặc tài liệu được quét. Tuy nhiên, Google Bard có thể dễ dàng trích xuất các bảng với định dạng nguyên vẹn. Trên thực tế, bạn có thể xuất bảng sang Google Trang tính cũng như thực hiện chỉnh sửa thêm hoặc xử lý dữ liệu. Thật tuyệt vời phải không? Phải nói rằng, hiện tại, Bard bị ảo giác rất nhiều và trong một số trường hợp, nó lấp đầy các ô với dữ liệu sai, vì vậy hãy đảm bảo xác minh chúng trước khi xuất.
3. Tạo mã cho trang web/ứng dụng bằng mô hình
Để giới thiệu GPT-4tính năng đa phương thức của nó, vào tháng 3 năm 2023, OpenAI đã trình diễn cách mô hình của nó đã hiểu ghi chú viết nguệch ngoạc và nhanh chóng tạo ra một mô hình của trang web từ một tờ giấy. Mặc dù tính năng đa phương thức vẫn chưa có trên GPT-4, Google Bard có thể tạo mã phù hợp với mô hình. Hãy nhớ rằng Bard không phải là người mẫu đa phương thức nhưng sử dụng phân đoạn hình ảnh qua Google Lens để hiểu hình ảnh. Tuy nhiên, Bard đã làm chúng tôi ngạc nhiên với kết quả của nó.
Tôi đã tải lên ảnh chụp màn hình của Facebook trang đích và nó nhanh chóng tạo ra mã trong HTML và CSS trông có vẻ hơi giống. Tôi cũng đã tải lên hình ảnh của một trang web đơn giản mà tôi đã vẽ trên giấy và Google Bard đã tái tạo nó rất tốt. Hơn nữa, bạn cũng có thể sử dụng các phương pháp tương tự để tạo lại giao diện người dùng cho ứng dụng điện thoại thông minh và các trang web khác.
4. Google Bard có thể giải thích hình ảnh
Google Bard rất giỏi giải thích hình ảnh và tóm tắt những gì đang diễn ra trong đó. Bạn có thể tải lên những hình ảnh khó hiểu và nó có thể tạo ra thông tin đáng tin cậy nhanh. Tôi đã tải lên một hình ảnh chất lượng thấp về một cơ chế sinh học và nó đã xác định chính xác đó là Nguyên phân tế bào. Nó giải thích thêm về quá trình từng bước.
Trong một ví dụ khác, tôi đã tải lên một biểu đồ, và nó hiểu chính xác hình ảnh và giải thích dữ liệu. Nó thậm chí còn tạo một bảng gồm các điểm dữ liệu để tôi có thể làm việc trên đó trong Google Trang tính. Đặc biệt đối với sinh viên, Bard có thể hữu ích trong việc hiểu các khái niệm về khoa học và các chủ đề khác. Bạn chỉ cần tải lên một hình ảnh và hỏi Bard về nó.
5. Nhận thông tin dinh dưỡng từ hình ảnh
Sử dụng khả năng xử lý hình ảnh của Bard, bạn có thể có được giá trị dinh dưỡng của thực phẩm. Chỉ cần tải hình ảnh món ăn trên đĩa của bạn lên và nó sẽ tính tổng lượng calo trong vòng vài giây. Điều này có thể vô cùng hữu ích cho những người đang ăn kiêng theo quy định.
Trong thử nghiệm của tôi, nó không thể đánh giá kích thước khẩu phần nhưng đưa ra các ví dụ để bạn có thể tự tính toán tổng lượng calo nạp vào. Có vẻ như Google đang sử dụng tính năng phân đoạn hình ảnh để phân loại các mặt hàng thực phẩm và đưa ra thông tin dinh dưỡng.
6. Cải thiện công thức nấu ăn
Một trường hợp sử dụng tuyệt vời khác là thêm hình ảnh của các mặt hàng thực phẩm tươi sống và yêu cầu Google Bard đưa ra nhiều công thức nấu ăn khác nhau. Bạn cũng có thể thêm hình ảnh của các mặt hàng thực phẩm trong tủ lạnh của mình và nó sẽ dễ dàng tạo ra công thức nấu ăn cá nhân cho bạn. Hơn nữa, bạn có thể hỏi Bard về các món ăn đặc biệt từ nhiều nơi trên thế giới. Và nếu bạn đang ăn kiêng, bạn có thể yêu cầu Google Bard tạo ra các công thức nấu ăn không chứa chất béo, ít calo để tạo cảm giác no.
7. Giải các câu hỏi toán học
Bạn cũng có thể sử dụng Google Bard để giải các câu hỏi toán học. Bạn có thể tải hình ảnh các bài toán của mình lên Bard và nó sẽ cố gắng giải quyết câu hỏi cho bạn. Trong thử nghiệm của tôi, cách tiếp cận của Bard là đúng nhưng do vấn đề về ký hiệu nên nó chỉ đưa ra câu trả lời sai. Tôi nghĩ nó sẽ yêu cầu cập nhật hệ thống thị giác để giúp Bard phù hợp hơn trong việc xử lý các ký hiệu và câu hỏi toán học.
8. Giải thích Memes và truyện cười
Google Bard cũng có thể giải thích các meme và truyện cười. Bạn có thể tải lên hình ảnh các meme và phim hoạt hình vui nhộn và hỏi Bard điều gì buồn cười giống nhau và nó sẽ đưa ra cách giải thích riêng. Tôi đã tải lên hình ảnh giống như OpenAI đã trình diễn trong GPT-4 ra mắt, và Bard hiểu rất rõ sự ngớ ngẩn hài hước đằng sau hình ảnh đó.
Trong một trường hợp khác, tôi đã tải một hình ảnh lên Google Bard từ The New Yorker Cartoons và yêu cầu nó giải thích trò đùa. Tuy nhiên, lần này nó chỉ đơn giản giải thích cảnh tượng đó và không thể hiểu tại sao hình ảnh đó lại buồn cười. Nó hoàn toàn bỏ sót cụm từ email thường được sử dụng ở nơi làm việc. Tôi khuyên bạn nên tự mình dùng thử Google Bard và kiểm tra xem nó có đủ thông minh để hiểu được sự hóm hỉnh và hài hước hay không.
9. Dịch phương trình sang LaTeX
Không có gì bí mật khi nhiều người cảm thấy khó viết bằng LaTeX và thích sử dụng trình xử lý văn bản hơn. Tuy nhiên, đối với các tài liệu nghiên cứu khoa học và văn bản học thuật, LaTeX là bắt buộc đối với cộng các phương trình phức tạp và sắp chữ chất lượng cao. Trong trường hợp như vậy, Google Bard có thể hữu ích. Bạn có thể thêm hình ảnh của các phương trình và Bard có thể dịch chúng sang mã LaTeX. Điều đó thật tuyệt vời phải không? Vì vậy, hãy tiếp tục và dịch các phương trình sang mã LaTeX ngay lập tức.
10. Tải lên báo cáo y tế và đặt câu hỏi
Cuối cùng, bạn có thể tải hình ảnh báo cáo y tế của mình lên và quét chúng lên Google Bard. Sau đó, bạn có thể đặt câu hỏi y tế dựa trên chúng. Một số bác sĩ trên Twitter đã chứng minh rằng Bard khá phù hợp để chẩn đoán phân biệt. Nó cũng có thể giúp người dùng hiểu được sức khỏe của họ và hiểu được các báo cáo y tế
Googleのbard凄い & 怖い !!!!
Bardによる脳CTの診断!
｢画像には脳の白い部分が写っていると言えます。。。脳腫瘍、脳卒中、出血など、さまざまな原因が考えられます｣
答えは脳出血でも凄いですね。けではありませんので。 pic.twitter.com/aEdF5xtlqt— 河野 健一 生成AI ✕ 医療に注目! 手術支援AI CEO脳外科医 (@CeoImed) Ngày 14 tháng 7 năm 2023
Điều đó nói lên rằng, hãy nhớ rằng Google Bard đang chạy trên một LLM mục đích chung gọi là PaLM 2. Gã khổng lồ tìm kiếm đã phát triển một Med-PaLM miền y tế riêng biệt 2 mô hình khá chính xác và tiên tiến nhưng vẫn chưa có sẵn cho người dùng phổ thông. Vì vậy, tôi khuyên người dùng tránh xa mọi hình thức tự chẩn đoán bằng Bard. Chúng tôi khuyên bạn nên tham khảo ý kiến bác sĩ. Và cuối cùng, nếu bạn tải báo cáo y tế cá nhân của mình lên Bard, hãy đảm bảo xóa các cuộc trò chuyện của Bard để bảo vệ quyền riêng tư của bạn.
