Un nuevo informe ha revelado unos supuestos cambios en las políticas de evaluación interna de Géminisel chatbot de Google con tecnología de inteligencia artificial, que podría generar respuestas menos precisas. Entre quienes evalúan tales respuestas también se encuentran empleados de contratistas externos que trabajan bajo GoogleLas pautas de. Dicho esto, Google podría estar obligando a los contratistas a calificar las respuestas de Gemini sobre temas para los que no están calificados para responder.
Entrenar chatbots impulsados por IA es un proceso más complejo de lo que piensas. No se trata sólo de agregar tantos datos como sea posible a la base de conocimientos de un modelo de IA. Esos datos deben cumplir ciertos parámetros, como una estructura organizativa adecuada, para que sean útiles. Además, hay cientos (o miles) de humanos evaluando la calidad de las respuestas. Centrado en la IA Las empresas trabajan duro para intentar reducir al mínimo posible el porcentaje de respuestas potencialmente erróneas.
Google podría estar obligando a los contratistas a calificar las respuestas de Gemini en temas fuera de su área de especialización
Sin embargo, un informe de TechCrunch afirma que Google se ha vuelto más laxo con respecto a sus políticas para calificar las respuestas de Gemini. La fuente afirma que los contratistas tenían la opción de omitir la calificación de una respuesta específica si no se sentían calificados para hacerlo. Por ejemplo, podrían haberse saltado la calificación de una respuesta relacionada con problemas de salud.
Más específicamente, las pautas anteriores de Google supuestamente establecían lo siguiente: «Si no tiene experiencia crítica (por ejemplo, codificación, matemáticas) para calificar este mensaje, omita esta tarea..” Eso ha cambiado desde entonces, según correspondencia interna visto por TechCrunch. Ahora, los lineamientos dicen que los contratistas “No debe omitir indicaciones que requieran conocimientos de dominio especializados.”, afirma el medio.
Para obtener respuestas sobre temas sobre los cuales los contratistas no tienen suficientes conocimientos, Google podría instarlos a calificar «las partes del mensaje que entiendes.” En estos casos, también deberán dejar una nota indicando que no tenían suficiente experiencia en el área.
Todavía hay algunas excepciones.
Todavía hay algunas situaciones en las que los contratistas pueden omitir por completo una respuesta. El gigante de Mountain View permite esto cuando hay “información completamente faltante» el informe dice. Es decir, sólo pueden hacerlo cuando falta información clave al punto de hacer que la respuesta o el mensaje sea incomprensible. Otro caso en el que se aplica la excepción es cuando la respuesta incluye contenido potencialmente dañino. Este tipo de respuestas requieren consentimiento adicional a través de formularios.
El supuestas nuevas políticas están generando preocupaciones sobre la calidad de las respuestas de Géminis. El problema podría ser especialmente delicado cuando los usuarios recurren al chatbot para buscar información relacionada con su salud, por ejemplo. En tal caso, la alta precisión es absolutamente clave y el margen de error debería ser prácticamente inexistente.
Todavía no hay noticias oficiales de Google al respecto. Es posible que la compañía también haya modificado algunas cosas adicionales para garantizar que sus supuestas nuevas políticas de revisión de las respuestas de Gemini no afecten su precisión. Sin embargo, esto son sólo especulaciones a la espera de un comunicado de la firma. Esperemos que pronto surjan más noticias.
Fuente: Android Headlines