2 IA NLP que superan a GPT-3
Todo ingeniero dedicado a contruir sistemas NLP sabe de la existencia y el hito que ha supuesto GPT-3, así como todo amante de las tecnologías NLP.
GPT-2, creado por OpenAI, ya supuso un hito en su momento, muy importante. Pero GPT-3 marca la diferencia entre chapurrear un poco de lenguaje a veces coherente, a ser coherente casi siempre y respondes preguntas medianamente complejas con acierto, cuando digo acierto me refiero probalístico. Al fin y al cabo, hablamos de predictores de textos, no es la única tecnología que existe en este campo, pero si es el State of Art en el campo del NLP.
Pues bien, GPT-3 ha sido superada, o al menos eso afirman Nvidia y Microsoft en su asociación, y por otr lado DeepMind, empresa británica comprada por Alphabet.
Apenas ha pasado tiempo y ya se ha superado una tecnología como GPT-3 la cual está en el mercado con muchas condiciones, por ejemplo, no se permite publicar en internet más de 4 artículos diarios por persona usando GPT-3, además de avisar explicitamente su autoría. En un intento para parar el spam, que lógicamente solo funcionará a corto plazo.
Estas dos IA superiores a GPT-3 son Gopher, de Deemind y Megatron-Turing de Nvidia y Microsoft.
Aqui os dejo esta gráfica del tamaño de cada modelo:
Mientras que Megatron dice haber conseguido más precisión que GPT-3 a través de un modelo más grande aún que este, siguiendo la tendencia de cada vez modelos más grandes. La IA de Deepmind, Gopher, afirm haber superado a GPT-3 sin aumentar el tamaño del modelo sino usando un método de verificación del contenido que este crea.
Aqui os dejo un gráfico que ha publicado en su estudio Deemind sobre el porcentaje de aciertos de Gopher con respecto a GPT-3.
