Los problemas de Pixel Studio reflejan los riesgos de la generación de imágenes con IA

Si no eres un experto en tecnología, es posible que un día te hayas despertado y hayas empezado a ver AI en todos lados. En los últimos años, la inteligencia artificial ha conquistado el mundo y Google es uno de los nombres destacados. Los teléfonos Pixel siempre han contado con cámaras brillantes, aunque ya no se limitan a tomar las mejores fotografías posibles. También te permiten generar imágenes desde cero utilizando IA. Sin embargo, esto tiene algunas implicaciones para una tecnología cuya regulación aún está en proceso.

La serie Pixel 9 se estrenó Pixel Studio

Recientemente, Google presentó el Serie Píxel 9. Desde el lanzamiento de la serie Pixel 6, la compañía ha apostado fuertemente por funciones impulsadas por IA. Lo que alguna vez fue una implementación de procesos de aprendizaje automático para obtener mejores fotografías se ha convertido en una experiencia casi totalmente generativa. Una de las herramientas más poderosas de los teléfonos Pixel, Magic Editor, lo demuestra. La compañía dio un paso más en la serie Pixel 9 con Estudio de píxelesuna característica que va más allá Géminis capacidades de generación de imágenes.

Al igual que otras herramientas similares, Pixel Studio puede generar imágenes a partir de un mensaje de texto. También le permite editar el mensaje para que la imagen coincida con su idea original. Hay varias otras posibilidades heredadas de Editor mágicocomo eliminación de objetos, creación de pegatinas y más. Una característica tan poderosa seguramente resaltará el lado creativo de los usuarios de Pixel 9. Sin embargo, también es sorprendentemente sencillo generar imágenes que crucen ciertas líneas sensibles en Pixel Studio.

Pixel Studio puede generar fácilmente imágenes ofensivas o sensibles

Actualmente, Gemini y Pixel Studio no utilizan el mismo modelo de generación de imágenes. El primero utiliza Imagen 2, mientras que el segundo se basa en Imagen 3el último modelo de IA de conversión de texto a imagen de Google. Si no tienes un dispositivo Pixel 9, también puedes probar las capacidades de Imagen 3 a través de ImagenFX. ImageFX es parte de Test Kitchen, un conjunto de herramientas experimentales impulsadas por inteligencia artificial de Google que todos pueden usar.

Teniendo esto en cuenta, uno pensaría que Pixel Studio e ImageFX ofrecerían resultados similares, ¿verdad? Curiosamente, ese no es el caso, ya que varias de las restricciones establecidas en ImageFX no están presentes en Pixel Studio. Es decir, su mensaje puede generar una imagen realista de una flor que se destaca en un jardín o una obra de arte de Mickey Mouse propiedad de esclavos.

Por razones desconocidas, mensajes que generan un mensaje de error en ImageFX y Géminis Funciona perfectamente en Pixel Studio. Aunque deberían compartir una política, Pixel Studio parece estar “solo”. De acuerdo a Tendencias digitales’ Durante las pruebas, no es difícil crear imágenes con personajes conocidos en entornos inapropiados e incluso ofensivos. ¿Una imagen de Bob Esponja consumiendo cocaína? ¿O una imagen de Elmo apuntando con un arma? Casi todo es posible en Pixel Studio. Además, las indicaciones para generar este tipo de imágenes pueden ser explícitas, sin que tengas que intentar “engañar” al sistema.

Salidas ofensivas de Pixel Studio.
Algunas posibles salidas de Pixel Studio (fuente: Digital Trends)

Generación de imágenes con personas aún no disponibles.

Así pues, en su estado actual, Pixel Studio ofrece una libertad que puede resultar incluso arriesgada. Uno de los puntos fuertes de la herramienta es el realismo de sus resultados. En teoría, se podrían crear imágenes falsas realistas relacionadas con contextos o situaciones delicadas. Llegados a este punto ya no hablamos de simplemente añadir flores realistas a una escena, sino de dar fuerza a una determinada posición política a través de imágenes falsas, por ejemplo.

Actualmente, Pixel Studio no puede generar imágenes con personas. Sin embargo, esto parece una simple limitación que recibirá una solución más adelante, más que una medida de seguridad contra un mal uso. Su página de soporte dice que «Pixel Studio es trabajando en la capacidad de crear imágenes humanasjunto con la capacidad de editar imágenes existentes con personas «.

El papel potencial de la IA en las campañas de desinformación es importante

No es difícil encontrar personas que sean víctimas de información errónea en Internet. Muchas veces, ni siquiera es necesario incluir ningún tipo de fuente confiable que respalde un reclamo. Esto es parte de lo que llamamos “sesgo de confirmación”, en el que las personas son propensas a creer información que va con su línea de pensamiento o creencias particulares sin bases sólidas que las respalden. Pues imaginemos que los interesados ​​puedan generar imágenes hiperrealistas que den más credibilidad a información falsa para intentar generar algún tipo de reacción (potencialmente peligrosa) entre la población.

Pixel Studio ciertamente suena como la herramienta soñada para los representantes políticos. Hoy en día, la gente debe ser más consciente de lo que puede encontrar en línea. Sin embargo, muchos desconocen la existencia de herramientas para comprobar si una determinada imagen es real o falsa. Otros conocen las herramientas pero no están dispuestos a utilizarlas si la información refuerza su línea de pensamiento. Es una situación delicada, con mucho estudio y trabajo por delante.

Los usos potencialmente maliciosos ni siquiera requieren que Pixel Studio produzca imágenes realistas. La “libertad” que ofrece para generar imágenes protagonizadas por personajes populares en situaciones delicadas es otra forma de hacerlo. No hace falta mucha imaginación para pensar rápidamente en todo tipo de imágenes ofensivas dirigidas a determinados sectores de la población.

Google ha tomado algunas medidas contra el uso malicioso de las imágenes de IA de Pixel Studio

Según un portavoz de Google, la empresa está tomando medidas contra el uso malicioso de las imágenes de inteligencia artificial de Pixel Studio. La declaración dice: «Todas las imágenes generadas de texto a imagen totalmente sintéticas en Pixel Studio utilizan la marca de agua SynthID, por lo que estas imágenes se pueden rastrear, incluso si se comparten o editan».

La declaración también dice que Google ha «desactivado la generación humana y ha agregado muchos controles de seguridad a nuestros servidores para equilibrar nuestro enfoque audaz, pero responsable, de la IA». Curiosamente, esta parte sugiere que la imposibilidad de generar imágenes de personas es en realidad una medida contra el uso malicioso de la herramienta. Sin embargo, esto contradice lo que la propia página de soporte mencionó anteriormente, que afirma que la compañía está trabajando para agregar la opción.

Imágenes humanas con IA de píxelesImágenes humanas con IA de píxeles
La página de soporte de Pixel Studio contradice una declaración oficial

Parece que Google está modificando las políticas de Pixel Studio a medida que recibe comentarios de los usuarios. Por ejemplo, después de recibir un mensaje de Digital Trends, ciertas indicaciones dejaron de generar resultados. A pesar de esto, la cantidad de mensajes similares que todavía funcionan es incontable. Quizás esto explique por qué la herramienta actualmente está disponible en sólo ocho países. Es posible que el lanzamiento a más regiones comience una vez que la empresa haya establecido todas las reglas y políticas necesarias. Sin embargo, esto es sólo una especulación y aún no hay nada oficial.

En otra declaración oficial, el director de comunicaciones de Google, Alex Moriconi, dijo que las herramientas de Pixel para generar imágenes de IA están diseñadas «para respetar la intención de las indicaciones del usuario, y eso significa que pueden crear contenido que puede ofender cuando el usuario se lo indique». Con respecto a dicho contenido ofensivo, Moriconi aclara que «algunas indicaciones pueden desafiar las barreras de seguridad de estas herramientas y seguimos comprometidos a mejorar y perfeccionar continuamente las salvaguardas que tenemos implementadas».

Buscando la convivencia ideal con la IA

A medida que avanza la industria tecnológica, los usuarios reciben herramientas cada vez más poderosas para facilitar su vida diaria. Generar una imagen hiperrealista de una situación concreta o una obra de arte con personajes animados utilizando tan solo unas pocas líneas de texto desde nuestros teléfonos era impensable hasta hace muy poco. A medida que estas características se vuelven más prevalentes, también debería hacerlo nuestra conciencia de sus implicaciones. Sólo entonces podremos coexistir con ellos de forma segura y responsable.

Por supuesto, las grandes empresas de IA también tienen el deber de implementar medidas y proporcionar herramientas que faciliten la detección de imágenes falsas o manipuladas por IA, como las de Pixel Studio.

Fuente: Android authority

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *