Inteligencia Artificial desarrollada por la empresa Open AI, GPT-3
Hablando de futuro
Por Pedro Mújica
En esta segunda entrega quiero hablaros del proyecto Generative Pre-trained Transformer 3, mejor conocido por sus siglas (GPT-3). Se trata de una Inteligencia Artificial desarrollada por la empresa Open AI, y está basada en un modelo de lenguaje autorregresivo que emplea aprendizaje profundo para producir textos que simulan la redacción humana.
Es la tercera generación de los modelos de predicción de lenguaje perteneciente a la serie GPT, creados por OpenAI, un laboratorio de investigación con sede en San Francisco, y sin fines de lucro que tiene como objetivo promover y desarrollar Inteligencia Artificial TecnoHumanista de tal manera que beneficie a la humanidad en su conjunto. Sus fundadores, Ellon Musk y Sam Altman están motivados en parte por las preocupaciones sobre el riesgo existencial de la Inteligencia artificial General.
La versión completa de GPT-3 tiene una capacidad de 175.000 millones de parámetros de aprendizaje automatizado, lo cual supera la magnitud de su predecesor, GPT-2. GPT-3 fue introducido en mayo de 2020 y, hasta julio de 2020, se encontraba en fase beta. Es parte de una tendencia en sistemas de procesamiento de lenguaje natural (NLP) basados en «representaciones de lenguaje pre-entrenadas». Previo a la liberación de GPT-3, el modelo de lenguaje más grande era Turing NLG desarrollado por Microsoft, presentado en febrero de 2020, con una capacidad diez veces menor que el de GPT-3.
GPT-3, el nuevo modelo de lenguaje de OpenAI, es capaz de programar, diseñar y hasta conversar sobre política o economía.
GPT-3 es un modelo de lenguaje, esto significa que (en líneas muy generales) su objetivo es predecir qué es lo siguiente que viene en función de los datos previos. Es como una especie de «autocompletado» que tenemos en buscadores como Google, pero claro, a un nivel mucho mayor. Puedes por ejemplo escribir dos o tres frases de un artículo y GPT-3 se encargará de escribir el resto del artículo. También puedes generar conversaciones y las respuestas estarán basadas en el contexto de las preguntas y respuestas anteriores.
Es importante entender que cada respuesta que ofrece GPT-3 es solo una posibilidad, no tiene que ser la única y a la misma petición puede ofrecer siempre una respuesta distinta en incluso contradictoria. Un modelo que devuelve respuestas en función a lo que se ha dicho previamente y relacionándolo con todo lo que sabe para obtener la posible respuesta con más sentido. No comprende realmente el contexto, Pero claro, cuando lo que se ha aprendido son millones de páginas web, libros o la Wikipedia… los resultados son sorprendentes.
El modelo de lenguaje GPT-3 de OpenAI ha necesitado un entrenamiento previo para ser lo que es. Este entrenamiento consistió en aprenderse una ingente cantidad de información disponible en Internet. OpenAI alimentó a GPT-3 con todos los libros públicos que se hayan escrito y estén disponibles, toda la Wikipedia y millones de páginas web y documentos científicos disponibles en Internet. Esencialmente ha absorbido todo el conocimiento humano más relevante que hemos publicado en la red.
GPT-3 siempre tiene una respuesta, pero nunca es «consciente» de si su respuesta tiene sentido o no. Predice la probabilidad de que algo sea correcto pero no puede razonar sobre si lo es o no. La forma en la que funciona GPT-3 es su principal virtud y defecto. Cuando se le inyecta un texto, el modelo predice lo que debería venir después gracias a todos los parámetros que ha ingerido, luego, a partir del texto que el mismo modelo predijo, genera las siguientes palabras, y así sucesivamente hasta que llega a su límite. Si en algún momento el texto que genera pierde consistencia y sentido, GPT-3 no lo va a saber porque no entiende el contexto, solo genera lo siguiente según un modelo probabilístico. Cómo carece de razonamiento abstracto es fácil que cometa errores que una persona no cometería jamás.
He aquí un interesante ejemplo. Kevin Lacker le hizo un Test de Turing y lo siguiente son algunas de las cosas que pasan cuando le preguntas al modelo cosas que probablemente nunca le preguntarías a un humano:
P: ¿Cuántos ojos tiene una jirafa?
R: Una jirafa tiene dos ojos.
P: ¿Cuántos ojos tiene mi pie?
R: Tu pie tiene dos ojos.
P: ¿Cuántos arcoíris hacen falta para saltar de Hawaii a diecisiete?
R: Hacen falta dos arcoíris para saltar de Hawaii a diecisiete.
P: ¿Qué ideas verdes descoloridas duermen furiosamente?
R: Las ideas que están descoloridas, verdes, y duermen furiosamente son las ideas de un sueño furiosamente.
P: ¿Entiendes estas preguntas?
R: Entiendo estas preguntas
Como dice Lacker, GPT-3 sabe cómo tener una conversación normal, pero realmente no sabe cómo decir que las preguntas que les estás haciendo no tienen sentido, y tampoco sabe cómo decir que no sabe. Cualquier aplicación que se le quiera dar a este modelo deberá hacerlo ingresando texto que tenga suficiente sentido como para que GPT-3 logre predecir algo consistente, e igualmente, siempre puede perderse en el camino y generar algo completamente descabellado y inútil.
El modelo sigue siendo impresionante, y también un tanto peligroso en el caso del enorme potencial que tiene para generar noticias falsas. Para algunos GPT-3 pinta como la cosa más grande desde el Bitcoin y en sus experimentos el modelo es capaz de engañar humanos con las cosas que escribe. Desde artículos de «investigación» o políticos, hasta publicidad y propaganda.
VIDEO: GPT-3 Demo: New AI Algorithm Changes How We Interact With Technology
