Wikipedia

GPT-3

modelo de lenguaje basado en Transformer

Generative Pre-trained Transformer 3 (Transformador preentrenado generativo) , conocida por sus siglas (GPT-3), es un modelo de lenguaje autorregresivo que emplea aprendizaje profundo para producir textos que simulan la redacción humana. Es la tercera generación de los modelos de predicción de lenguaje perteneciente a la serie GPT, creados por OpenAI, un laboratorio de investigación de inteligencia artificial con sede en San Francisco.[1]​ La versión completa de GPT-3 tiene una capacidad de 175.000 millones de parámetros de aprendizaje automatizado, lo cual supera la magnitud de su predecesor, GPT-2. GPT-3 fue introducido en mayo de 2020 y, hasta julio de 2020, se encontraba en fase beta.[2]​ Es parte de una tendencia en sistemas de procesamiento de lenguaje natural (NLP) basados en "representaciones de lenguaje pre-entrenadas".[3]​ Previo a la liberación de GPT-3, el modelo de lenguaje más grande era Turing NLG desarrollado por Microsoft, presentado en febrero de 2020, con una capacidad diez veces menor que el de GPT-3.

Parte de OpenAI API
Información general
Tipo de programa LLM (modelo grande de lenguaje)
Lanzamiento inicial 28 de mayo de 2020
Serie OpenAI API
GPT-2
ChatGPT y GPT-4
Enlaces
[editar datos en Wikidata]

GPT-3 fue presentado oficialmente el 28 de mayo de 2020, a través de la publicación de la investigación realizada en coautoría por 31 investigadores e ingenieros de OpenAI y de la Universidad John Hopkins,[nota 1]​ titulada Language Models are Few-Shot Learners.[3]​

La calidad de los textos generados por GPT-3 es tan alta que es difícil distinguirlos de aquellos escritos por humanos, lo cual ha generado la puntualización de los beneficios y riesgos que esto conlleva. En la publicación del 28 de mayo de 2020, los creadores advierten sobre peligros potenciales de GPT-3 al tiempo que solicitan ayuda para mitigar dichos riesgos. David Chalmers, filósofo australiano, describió a GPT-3 como "uno de los más interesantes e importantes sistemas de inteligencia artificial nunca antes creados.".[4]​

Por otro lado, se ha señalado la carencia de coherencia en algunos textos debido a que el procesamiento de palabras llevado a cabo por GPT-3 es meramente sintáctico, sin atender a la semántica del texto.[5]​

ContextoEditar

Entre las arquitecturas empleadas en procesamiento de lenguaje natural se encuentran las de redes neuronales que utilizan un modelo de aprendizaje profundo denominado Transformer, introducido en 2017. Los modelos GPT-n se encuentran basados en dicha arquitectura de aprendizaje profundo.[6]​

El 11 de junio de 2018, los investigadores e ingenieros de OpenAI publicaron una investigación original sobre modelos generativos aplicados a sistemas de inteligencia artificial para procesamiento de lenguaje, los cuales podrían ser pre-entrenados con enormes cantidades de texto a través de bases de datos, en un proceso al que denominaron "pre-entrenamiento generativo" (generative pre-training o GP).[7]​ Como consecuencia, este modelo podía prescindir de la supervisión humana y eliminaba el tiempo invertido en el etiquetado de los datos.

En febrero de 2020, Microsoft introdujo su modelo llamado Turing Natural Language Generation (T-NLG), el cual se promocionaba como "modelo de lengua más grande nunca publicado con 17.000 millones de parámetros."[8]​ Dicho modelo tenía mejor desempeño que cualquier otro modelo de procesamiento de lenguaje en diversas tareas, como resumir textos y responder preguntas.

CapacidadesEditar

El 28 de mayo de 2020, previo al lanzamiento del modelo, un grupo de 31 ingenieros e investigadores de OpenAI publicaron un artículo donde describían a GPT-3 como un modelo de procesamiento de lenguaje de tercera generación.[3]​ Con GPT-3 el equipo había duplicado la capacidad de su predecesor, GPT-2,[9]​ haciendo del nuevo modelo el más robusto a la fecha.[3]​ [1]​ La gran cantidad de parámetros que posee GPT-3 le otorga un mejor nivel de precisión respecto a anteriores modelos de menor capacidad,[10]​ incluso supera en diez veces la capacidad del modelo Turing NLG de Microsoft.

Sesenta por ciento de los datos de pre-entrenamiento para GPT-3 provienen de una versión filtrada de Common Crawl consistente de 410 mil millones de elementos con codificación de pares de bytes.[3]​ Otras fuentes son WebText2 que aporta 19.000 millones de elementos que representan el 22% del total; 12 mil millones de elementos provienen de Books1, representando el 8%; 55.000 millones elementos de Libros, representando 8%; y 3.000 millones de elementos de Wikipedia, representando el 3%.[3]​ GPT-3 fue entrenado con cientos de miles de millones de palabras y es capaz de codificar en CSS, JSX, Python, entre otros lenguajes de programación.[2]​

En junio de 2020, OpenAI anunció que el público en general podría solicitar acceso a la API de GPT-3 para ayudar a OpenAI a "explorar fuerzas y límites" de esta nueva tecnología.[11]​[12]​ La invitación señalaba que la API posee una interfaz que permite ingresar texto y obtener un texto de respuesta, la cual permite "casi cualquier tarea de lenguaje en inglés".

Debido a que GPT-3 puede "generar notas periodísticas sobre las que evaluadores humanos tendrían problemas para distinguir de artículos creados por otros humanos", se ha descrito que este modelo de inteligencia artificial puede conllevar riesgos o aplicaciones dañinas.[13]​[3]​ En el artículo del 28 de mayo de 2020, los investigadores describieron algunos efectos "potencialmente nocivos" de su modelo que llegaron a identificar entre los que incluían "desinformación, spam, phishing, abuso de procesos legales y gubernamentales, creación de ensayos académicos fraudulentos y pretexting".[3]​ Los investigadores hicieron énfasis en estos peligros a fin de solicitar apoyo en la investigación para mitigar dichos posibles riesgos.[3]​

El 18 de noviembre de 2021, OpenAI anunció que se habían implementado suficientes salvaguardas como para que el acceso a su API no estuviera restringido.[14]​ OpenAI proporcionó a los desarrolladores una herramienta de moderación de contenidos que les ayuda a cumplir con la política de contenidos de OpenAI.[15]​ El 27 de enero de 2022, OpenAI anunció que sus modelos de lenguaje GPT-3 más recientes, conocidos colectivamente como InstructGPT, eran ahora el modelo de lenguaje por defecto utilizado en su API. Según OpenAI, InstructGPT producía contenidos que se ajustaban mejor a las intenciones del usuario al seguir mejor las instrucciones, generar menos hechos inventados y producir contenidos algo menos tóxicos.[16]​

Debido a que GPT-3 puede "generar artículos de noticias que los evaluadores humanos tienen dificultades para distinguir de los artículos escritos por humanos"[17]​, GPT-3 tiene el "potencial de avanzar tanto en las aplicaciones beneficiosas como perjudiciales de los modelos de lenguaje". En su artículo del 28 de mayo de 2020, los investigadores describen en detalle los posibles "efectos perjudiciales de GPT-3", que incluyen "desinformación, spam, phishing, abuso de procesos legales y gubernamentales, redacción fraudulenta de ensayos académicos y pretextos de ingeniería social".

En junio de 2022, Almira Osmanovic Thunström escribió que GPT-3 era el autor principal de un artículo sobre sí mismo, que lo habían presentado para su publicación,[18]​ y que se había prepublicado a la espera de que finalizara su revisión.

El 14 de marzo de 2023 OpenAI lanzó su sucesor GPT-4.[19]​Este consiste en un modelo de lenguaje “multimodal”. Es decir, acepta entradas de documentos con texto y fotografías, diagramas o capturas de pantalla, generando salidas de texto (lenguaje natural, código, etc.). Asimismo, exhibe un rendimiento a nivel humano en varios puntos de referencia académicos y profesionales. Por ejemplo, aprueba un examen de barra simulado con una puntuación de alrededor del 10 % superior de los examinados; por el contrario, la puntuación de GPT-3.5 se situó en torno al 10 % inferior.

También se incluyó el OpenAI Evals, un marco para la evaluación automatizada del rendimiento del modelo de IA, el cual permite que cualquier persona informe las deficiencias en los modelos del chat.

No obstante, todavía no es completamente confiable ("alucina" los hechos y comete errores de razonamiento). Además, GPT-4 generalmente carece de conocimiento de los eventos que ocurrieron después de que la gran mayoría de sus datos se cortaron (septiembre de 2021) y no aprende de su experiencia.[19]​

Revisiones y críticasEditar

El 29 de julio de 2020 el The New York Times publicó la revisión de Farhad Manjoo, que dijo que GPT-3 no es solo "asombrosa", "espeluznante", y "aleccionadora", sino también "un poco más que poco aterradora".[20]​

La revista Wired escribió que GPT-3 estaba "provocando escalofríos por Silicon Valley ".[21]​

Un artículo en el MIT Technology Review declaró que GPT-3 carece de "comprensión del mundo" por lo que realmente "no se puede confiar en lo que dice",[5]​ refiriéndose a que modelos como los de GPT-3 solo analizan la relación entre palabras (sintaxis) sin un análisis del significado de las palabras (semántica).

NotasEditar

  1. ↑ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario

ReferenciasEditar

  1. ↑ a b Shead, Sam (23 de julio de 2020). «Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab». Consultado el 4 de septiembre de 2020.  Se liberaron cuatro preimpresiones entre el 28 de mayo 28 y el 22 julio de 2020
  2. ↑ a b Bussler, Frederik (21 de julio de 2020). «Will GPT-3 Kill Coding?». Towards Data Science. Consultado el 3 de septiembre de 2020. 
  3. ↑ a b c d e f g h i Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario (22 de julio de 2020). Language Models are Few-Shot Learners. arXiv:2005.14165. 
  4. ↑ Chalmers, David (20 de julio de 2020). «GPT-3 and General Intelligence». En Weinberg, ed. Daily Nous. Consultado el 3 de septiembre de 2020. 
  5. ↑ a b Marcus, Gary; Davis, Ernest (22 de agosto de 2020). «GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about». MIT Technology Review. Consultado el 3 de septiembre de 2020. 
  6. ↑ «Natural Language Processing». Consultado el 3 de septiembre de 2020. 
  7. ↑ Radford, Alec (11 de junio de 2018). «Improving Language Understanding by Generative Pre-Training». p. 12. Consultado el 3 de septiembre de 2020. 
  8. ↑ Sterling, Bruce (13 de febrero de 2020). «Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG)». ISSN 1059-1028. Consultado el 3 de septiembre de 2020. 
  9. ↑ Language Models are Unsupervised Multitask Learners. Consultado el 3 de septiembre de 2020. «GPT-2, is a 1.5B parameter Transformer ». 
  10. ↑ Ray, Tiernan (1 de junio de 2020). «OpenAI’s gigantic GPT-3 hints at the limits of language models for AI». ZDNet. Consultado el 3 de septiembre de 2020. 
  11. ↑ «OpenAI API». OpenAI. 11 de junio de 2020. 
  12. ↑ «TechCrunch – Startup and Technology News». TechCrunch. 11 de junio de 2020. Consultado el 31 de julio de 2020. «If you’ve ever wanted to try out OpenAI’s vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on “virtually any English language task.” ». 
  13. ↑ «Language Models are Few-Shot Learners». arXiv:2005.14165. 22 de julio de 2020. 
  14. ↑ «OpenAI’s API Now Available with No Waitlist». OpenAI (en inglés). 18 de noviembre de 2021. Consultado el 16 de diciembre de 2022. 
  15. ↑ «OpenAI API». beta.openai.com (en inglés). Consultado el 16 de diciembre de 2022. 
  16. ↑ «Aligning Language Models to Follow Instructions». OpenAI (en inglés). 27 de enero de 2022. Consultado el 16 de diciembre de 2022. 
  17. ↑ Sagar, Ram (3 de junio de 2020). «OpenAI Releases GPT-3, The Largest Model So Far». Analytics India Magazine (en inglés estadounidense). Consultado el 16 de diciembre de 2022. 
  18. ↑ Thunström, Almira Osmanovic. «We Asked GPT-3 to Write an Academic Paper about Itself—Then We Tried to Get It Published». Scientific American (en inglés). Consultado el 16 de diciembre de 2022. 
  19. ↑ a b «GPT-4». openai.com (en inglés estadounidense). Consultado el 31 de marzo de 2023. 
  20. ↑ Manjoo, Farhad (29 de julio de 2020). «How Do You Know a Human Wrote This?». ISSN 0362-4331. Consultado el 4 de agosto de 2020. 
  21. ↑ Simonite, Tom (22 de julio de 2020). «Did a Person Write This Headline, or a Machine?». ISSN 1059-1028. Consultado el 31 de julio de 2020. 
Obtenido de «https://es.wikipedia.org/w/index.php?title=GPT-3&oldid=151508886»