ChatGPT se está volviendo más tonto: un nuevo estudio revela

Investigaciones recientes han provocado una discusión interesante sobre la competencia de ChatGPT, especialmente las versiones GPT-3.5 y GPT-4. Estas dos iteraciones han dominado el mercado como grandes servicios de modelado de lenguaje.

Sin embargo, con una combinación desconcertante de altibajos en el rendimiento entre marzo y junio de 2023, algunos preguntan: «¿ChatGPT se está volviendo más tonto?»

Las actualizaciones de ChatGPT no superan a las versiones anteriores

Estimados académicos de la Universidad de Stanford y la Universidad de California, Berkeley, escudriñado La experiencia de ChatGPT en diversas actividades. El enfoque de esta evaluación integral fue la dramática inconsistencia observada en su desempeño durante tres meses.

La incongruencia hace más que levantar las cejas; enfatiza la naturaleza de la tecnología y el imperativo de monitorear constantemente su calidad.

“Nuestros resultados muestran que el comportamiento del “mismo” [large language model] El servicio LLM puede cambiar sustancialmente en un espacio de tiempo relativamente corto”, dice el informe.

cryptoshitcompra.com/wp-content/uploads/2023/07/ChatGPT-se-esta-volviendo-mas-tonto-un-nuevo-estudio-revela.webp.webp» alt=»Rendimiento de ChatGPT-4 en comparación con ChatGPT-3.5″ class=»lazy wp-image-354506″/>

Al profundizar en los detalles, las capacidades de resolución de problemas matemáticos de GPT-4 presentaron una caída impactante en la identificación de números primos.

De hecho, las tasas de precisión se desplomaron de un encomiable 97,6 % en marzo a un alarmante 2,4 % en junio. En cambio, su antecesor, GPT-3.5, mostró una mejora sustancial en el mismo lapso de tiempo, pasando del 7,4% al 86,8%.

Leer más: ¿Qué son los complementos de ChatGPT? Echa un vistazo a nuestras 20 mejores selecciones

Los marcados contrastes desconciertan a los expertos de la industria, ya que uno esperaría que los lanzamientos más recientes superaran a sus predecesores. Esto genera preocupaciones sobre cómo las «actualizaciones» y las «mejoras» realmente afectan las capacidades de la IA.

Falta de explicaciones detalladas y generación de código.

Al sondear temas delicados, la investigación presentó otro ángulo intrigante. GPT-4 demostró una reducción significativa en las respuestas directas a preguntas delicadas de marzo a junio. Esto es indicativo de una capa reforzada de seguridad.

Sin embargo, hubo un truncamiento notable en las explicaciones generadas cuando se negó a responder. Esto ha provocado especulaciones de que el modelo se está equivocando por el lado de la precaución a expensas de la participación y la claridad del usuario.

Sin embargo, no todo estaba oscuro. El estudio identificó un área crucial donde GPT-4, y hasta cierto punto GPT-3.5, mostraron mejoras marginales: el razonamiento visual. Si bien las tasas generales de éxito se han mantenido relativamente bajas, ha habido evidencia de una evolución en su desempeño.

Leer más: Las mejores alternativas de ChatGPT que puede usar en 2023

Lo que realmente destaca es la imprevisibilidad de esta tecnología. La capacidad de generación de código de GPT-4 ha mostrado una disminución en la producción de código directamente ejecutable. Esto genera señales de alerta para las industrias que confían en estos modelos, ya que las inconsistencias pueden causar estragos en los ecosistemas de software más grandes.

No se puede conceder complacencia

El punto clave de este análisis en profundidad no son las fluctuaciones de rendimiento de GPT-4 y GPT-3.5, sino la lección general sobre la impermanencia de la eficiencia de la IA.

Con los rápidos avances tecnológicos, existe la suposición implícita de que los modelos más nuevos superarán a sus predecesores. Este estudio desafía esa noción.

El mensaje para las empresas y los desarrolladores que han invertido mucho en ChatGPT es monitorear y evaluar regularmente estos modelos. A medida que la tecnología de inteligencia artificial sigue avanzando, el estudio es un claro recordatorio de que el progreso no es lineal.

Leer más: 21 mejores indicaciones de ChatGPT para explorar en 2023

La suposición de que lo nuevo es invariablemente mejor puede ser una simplificación excesiva, una idea con la que la comunidad tecnológica tiene que lidiar de frente. El comportamiento errático de GPT-4 y GPT-3.5 en unos meses amplifica la urgencia de permanecer alerta, evaluar y recalibrar, asegurando que la tecnología cumpla su propósito previsto con una competencia inquebrantable.