AI Crazy
New member
Google đang thử nghiệm tính năng "screen automation" cho Gemini, cho phép trợ lý AI thao tác trực tiếp trong một số ứng dụng Android để đặt đơn, đặt xe và hoàn tất các tác vụ thay người dùng. Tính năng vẫn đang trong giai đoạn beta và Google nhấn mạnh người dùng phải giám sát vì AI có thể sai sót.
Bản dựng beta của ứng dụng Google do 9to5Google phân tích tiết lộ các chuỗi mã nội bộ cho thấy một tính năng gọi là "screen automation". Tính năng này cho phép Gemini thực hiện hành động trực tiếp bên trong một số ứng dụng Android được hỗ trợ — ví dụ nhấn nút, điều hướng qua màn hình, đặt hàng hoặc đặt xe thay người dùng.
Gemini hiện đã giúp soạn email, lập kế hoạch nghiên cứu và trả lời hội thoại. Tuy nhiên, nâng cấp này đưa nó từ vai trò trợ lý gợi ý sang một tác nhân có thể can thiệp thực tế vào giao diện ứng dụng để hoàn thành tác vụ cho bạn.
Dữ liệu beta cho thấy tính năng ban đầu sẽ chỉ giới hạn ở một số ứng dụng được hỗ trợ và nhấn mạnh yếu tố giám sát của người dùng. Google cảnh báo rằng "Gemini có thể mắc lỗi" và quyền kiểm soát cuối cùng vẫn thuộc về người dùng — bạn có thể dừng hoặc ghi đè hành động của AI bất cứ lúc nào.
Ngoài ra, mã cũng hé lộ các hướng dẫn bảo mật, như khuyến cáo người dùng không nhập thông tin đăng nhập hoặc thông tin thanh toán trực tiếp vào cửa sổ trò chuyện AI và lưu ý rằng ảnh chụp màn hình có thể được xem xét để cải thiện tính năng.
Google đã cung cấp khả năng agent qua nền tảng Gemini Agent trên Workspace và web, nơi AI có thể xử lý luồng công việc phức tạp và phối hợp giữa nhiều dịch vụ. Screen automation có thể mở rộng những năng lực này trực tiếp lên điện thoại, giúp AI thao tác ngay trong các ứng dụng di động hàng ngày.
Nếu được phổ biến rộng rãi, tính năng này có thể thay đổi cách người dùng tương tác với thiết bị di động — từ việc tự chạm, vuốt sang ủy quyền cho AI hành động thay. Điều này có thể làm cho thao tác hàng ngày tiện lợi hơn nhưng cũng đặt ra câu hỏi về quyền kiểm soát, an toàn và giám sát, nhất là khi AI tham gia vào các tác vụ nhạy cảm như đặt dịch vụ hay giao dịch tài chính.
Hiện tại, screen automation vẫn đang trong quá trình phát triển và chưa xuất hiện trong bản phát hành ổn định. Google cho biết sẽ giữ tính năng ở trạng thái tùy chọn và có cơ chế giám sát để người dùng chủ động kiểm soát quyền của AI.
Nguồn: Digitaltrends
Gemini sẽ làm gì trong ứng dụng
Bản dựng beta của ứng dụng Google do 9to5Google phân tích tiết lộ các chuỗi mã nội bộ cho thấy một tính năng gọi là "screen automation". Tính năng này cho phép Gemini thực hiện hành động trực tiếp bên trong một số ứng dụng Android được hỗ trợ — ví dụ nhấn nút, điều hướng qua màn hình, đặt hàng hoặc đặt xe thay người dùng.
Gemini hiện đã giúp soạn email, lập kế hoạch nghiên cứu và trả lời hội thoại. Tuy nhiên, nâng cấp này đưa nó từ vai trò trợ lý gợi ý sang một tác nhân có thể can thiệp thực tế vào giao diện ứng dụng để hoàn thành tác vụ cho bạn.
Phạm vi, giám sát và hạn chế ban đầu
Dữ liệu beta cho thấy tính năng ban đầu sẽ chỉ giới hạn ở một số ứng dụng được hỗ trợ và nhấn mạnh yếu tố giám sát của người dùng. Google cảnh báo rằng "Gemini có thể mắc lỗi" và quyền kiểm soát cuối cùng vẫn thuộc về người dùng — bạn có thể dừng hoặc ghi đè hành động của AI bất cứ lúc nào.
Ngoài ra, mã cũng hé lộ các hướng dẫn bảo mật, như khuyến cáo người dùng không nhập thông tin đăng nhập hoặc thông tin thanh toán trực tiếp vào cửa sổ trò chuyện AI và lưu ý rằng ảnh chụp màn hình có thể được xem xét để cải thiện tính năng.
Mối liên hệ với nền tảng agent của Google
Google đã cung cấp khả năng agent qua nền tảng Gemini Agent trên Workspace và web, nơi AI có thể xử lý luồng công việc phức tạp và phối hợp giữa nhiều dịch vụ. Screen automation có thể mở rộng những năng lực này trực tiếp lên điện thoại, giúp AI thao tác ngay trong các ứng dụng di động hàng ngày.
Tác động và những vấn đề cần cân nhắc
Nếu được phổ biến rộng rãi, tính năng này có thể thay đổi cách người dùng tương tác với thiết bị di động — từ việc tự chạm, vuốt sang ủy quyền cho AI hành động thay. Điều này có thể làm cho thao tác hàng ngày tiện lợi hơn nhưng cũng đặt ra câu hỏi về quyền kiểm soát, an toàn và giám sát, nhất là khi AI tham gia vào các tác vụ nhạy cảm như đặt dịch vụ hay giao dịch tài chính.
Hiện tại, screen automation vẫn đang trong quá trình phát triển và chưa xuất hiện trong bản phát hành ổn định. Google cho biết sẽ giữ tính năng ở trạng thái tùy chọn và có cơ chế giám sát để người dùng chủ động kiểm soát quyền của AI.
Nguồn: Digitaltrends
Bài viết liên quan