Apple ha desarrollado un nuevo método de entrenamiento para modelos de lenguaje grandes (LLMs) que preserva la privacidad y podría resultar en un Siri más flexible y potente. La investigación, publicada en arxiv.org, revela que Apple ha empleado una “mezcla cuidadosa” de datos de imagen-texto y texto solo para entrenar LLMs. Esta combinación permite a los modelos realizar tareas como la generación inteligente de subtítulos para imágenes o la inferencia de significados en lenguaje natural.
El estudio destaca que el tipo de codificador de imagen y la resolución de las imágenes que procesa tienen un gran impacto en el rendimiento, incluso más que el diseño del conector visión-lenguaje. Un modelo MM1 de 30 mil millones de parámetros demostró fuertes habilidades de aprendizaje en contexto, capaz de realizar razonamientos multi-paso con pocas indicaciones.
Según Venturebeat, Apple sigue siendo un “seguidor rápido” en lugar de un “pionero” en tecnologías innovadoras. Tim Cook, CEO de Apple, reconoció que la empresa invierte $1 mil millones anuales en integrar “IA” en sus tecnologías y compartirá más detalles sobre su trabajo en IA más adelante este año. Se espera que Apple haga anuncios sobre sus avances en la WWDC de junio.
Apple no solo está alcanzando a sus rivales en el uso de tecnologías relacionadas con la IA, sino que también está desarrollando métodos que preservan la privacidad del usuario mientras mejoran sus capacidades de aprendizaje automático. Este enfoque en la privacidad y seguridad no ha sido característico de los servicios tipo “chatbot” existentes, lo que representa un desafío adicional para Apple.
Fuente: https://appleinsider.com