La siguiente fase de la inteligencia artificial móvil está pasando de responder preguntas a hacer cosas. Hallazgos recientes en el Google La aplicación beta (v17.4) revela que la compañía está desarrollando una función llamada «automatización de pantalla», cuyo nombre en código es «Bonobo», que tiene como objetivo permitir que Géminis interactúe directamente con otras aplicaciones en su teléfono para completar procesos de varios pasos en su nombre.
El concepto es sencillo: en lugar de abrir una aplicación de viaje compartido, escribir una dirección y confirmar un vehículo, simplemente le dirías a Gemini que «reserve un viaje a la oficina». La automatización de pantalla de Google Gemini sería capaz de moverse por la aplicación, elegir las opciones correctas y preparar el pedido.
Al principio, esta característica experimental de Labs (descubierta por 9to5Google) probablemente sólo funcionará con una pequeña cantidad de compatibles aplicaciones para tareas comunes como pedir comida o reservar transporte.
Google Gemini controlará las aplicaciones de Android mediante la nueva función de automatización de pantalla
La idea de una experiencia de teléfono inteligente con manos libres es definitivamente tentadora. Sin embargo, Google no intenta engañar a nadie sobre las capacidades y limitaciones de la función. Las primeras cadenas de código incluyen advertencias de que «Gemini puede cometer errores» y enfatizan que los usuarios siguen siendo responsables de cualquier acción que realicen. AI toma. Debido a esto, la interfaz le permitirá supervisar el proceso en tiempo real y hacerse cargo manualmente si la IA se desvía de su rumbo.
Gemini necesita saber cómo se ve visualmente una aplicación para que esta función funcione correctamente. Pero como ya sabemos, la interfaz de usuario de las aplicaciones puede cambiar cada cierto tiempo. Probablemente esta sea la razón por la que la automatización de pantalla de Google Gemini necesita el trabajo realizado por Androide 16 QPR3 para asegurarse de que el sistema operativo pueda manejar la difícil tarea de permitir que una IA «vea» y «toque» la pantalla como lo haría una persona.
La compensación de la privacidad
Como ocurre con la mayoría de las funciones avanzadas de IA, hay importantes consideraciones de privacidad a tener en cuenta. Para mejorar el servicio, es posible que Google haya capacitado a revisores para que examinen capturas de pantalla de cómo Gemini interactúa con sus aplicaciones. Google también desaconseja el uso de la automatización para tareas delicadas. Las recomendaciones actuales advierten a los usuarios que no ingresen información de inicio de sesión o de pago en los chats de Gemini y que eviten usar la función en caso de emergencia.
Por ahora, la forma más segura de utilizar estos nuevos agentes es para tareas rutinarias y no delicadas donde un pequeño error no causaría un gran dolor de cabeza.
La posible transición de un asistente pasivo a un agente activo es un hito importante para Android. Ya hemos visto funciones similares de «Navegación automática» en Chrome que completan formularios automáticamente. Llevar esta lógica a todo el sistema operativo parece el siguiente paso lógico. Si esta perspectiva le resulta emocionante o ligeramente invasiva depende de su nivel de comodidad con la autonomía de la IA.
Fuente: Android Headlines