Cuando los teléfonos inteligentes irrumpieron en escena por primera vez, el crecimiento y las mejoras con cada nueva generación fueron tremendos. En estos días, las mejoras se han ralentizado. AI enfrenta un problema similar conocido como «datos pico», pero los investigadores de Google DeepMind parece tener encontré una manera de evitarlo.
¿Qué son los “datos pico”?
El concepto de “datos pico” es similar a cómo avanza la tecnología. Al principio, cuando las cosas son nuevas y en gran medida no se han descubierto, las ganancias con cada nueva generación son enormes. Pero a medida que las cosas empiezan a madurar, esos beneficios se vuelven menores.
Los datos máximos son esencialmente los mismos. Todos los llamados «datos útiles» en Internet ya han entrenado modelos de IA. El cofundador de OpenAI, Ilya Sutskever, dijo durante una conferencia reciente: «Hemos logrado datos máximos y no habrá más». También sugirió que esta era de mejoras «sin duda terminará».
Teniendo en cuenta los miles de millones de dólares que muchas empresas han invertido en esta tecnología, suena bastante aterrador. Pero parece que los investigadores de Google DeepMind podrían haber descubierto una manera de resolver el problema.
La solución de Google
Los investigadores creen que pueden superar este problema cambiando la forma en que “piensan” los modelos de IA. Esto implica un enfoque conocido como cálculo del tiempo de inferencia. Es donde una consulta se divide en tareas más pequeñas, y cada tarea actúa como su propio mensaje. Esto significa que, en lugar de abordar la consulta inicial como un todo, el modelo de IA dividirá la consulta en tareas más pequeñas, las procesará una a la vez y solo pasará a la siguiente tarea una vez que haya solucionado cada parte correctamente.
Podrías pensar en esto como seguir una receta de cocina. Crear un plato implica muchos pasos. Pero en lugar de hacer todo a la vez, se divide el proceso en tareas individuales. Primero se pela el ajo y luego se pica. Después de eso, pasas a las cebollas, seguidas de las zanahorias, y así sucesivamente.
Los investigadores de Google DeepMind publicó un artículo de investigación sobre su enfoque en agosto y descubrió que tenía la potencial para superar el problema de datos de picos de IA. ¿Pero es la solución perfecta? No exactamente.
Según Charlie Snell, uno de los investigadores que contribuyó a la investigación, la computación del tiempo de inferencia funciona con preguntas que tienen una respuesta clara, como un desafío matemático. Para otras consultas que requieren razonamiento, no será tan sencillo. El lado positivo es que hay señales tempranas de éxito, por lo que tal vez haya algo de esperanza.
Fuente: Android Headlines