Loading AI tools
grupo de investigación de inteligencia artificial (IA) de base sin fines de lucro De Wikipedia, la enciclopedia libre
EleutherAI ( /əˈluːθər/[1]) es un grupo de investigación de inteligencia artificial (IA) de base sin fines de lucro. El grupo implementó una versión de código abierto de OpenAI,[2] y se formó en torno a un servidor de Discord en julio de 2020 para organizar una réplica de GPT-3. En enero de 2023, EleutherAI se constituyó formalmente como instituto de investigación sin fines de lucro.[3]
| EleutherAI | ||
|---|---|---|
 | ||
| Información general | ||
| Dominio | eleuther.ai | |
| Tipo |
Software de código abierto Organización sin fines de lucro | |
| Gestión | ||
| Lanzamiento | 25 de enero de 2023 | |
EleutherAI comenzó como un servidor de Discord el 7 de julio de 2020 con el nombre provisional "LibreAI" antes de cambiar su nombre a "EleutherAI" más tarde ese mes.[4]
El 30 de diciembre de 2020, EleutherAI lanzó Pile, un conjunto de datos seleccionados de texto diverso para entrenar modelos grandes de lenguaje.[5] Si bien el documento hizo referencia a la existencia de los modelos GPT-Neo, los modelos en sí no se publicaron hasta el 21 de marzo de 2021.[6] Según una retrospectiva escrita varios meses después, los autores no anticiparon que "la gente se preocuparía tanto por nuestros 'pequeños modelos'".[7] El 9 de junio de 2021, EleutherAI siguió con GPT-J-6B, un modelo de lenguaje de seis mil millones de parámetros que nuevamente fue el modelo similar a GPT-3 de código abierto más grande del mundo.[8]
Tras el lanzamiento de Dall-e por OpenAI en enero de 2021, EleutherAI comenzó a trabajar en modelos de arte de inteligencia artificial. Ya que OpenAI no lanzó DALL-E públicamente, Katherine Crowson de EleutherAI y el artista digital Ryan Murdock desarrollaron una técnica para usar CLIP (otro modelo desarrollado por OpenAI) para convertir modelos regulares de generación de imágenes en modelos de síntesis de texto a imagen.[9][10][11][12] Sobre la base de ideas que se remontan a DeepDream de Google,[13] lograron su primer gran éxito al combinar CLIP con otro modelo disponible públicamente llamado VQGAN. Crowson lanzó la tecnología tuiteando cuadernos que demostraban la técnica de que las personas podían usarlo de forma gratuita sin ningún equipo especial.[14][15][16] El CEO de Stability AI, Emad Mostaque, acredita que este trabajo motivó la fundación de la empresa.[17]
Si bien EleutherAI inicialmente rechazó las ofertas de financiación y prefirió utilizar el programa TPU Research Cloud de Google[18] para obtener su computación,[19] a principios de 2021 habían aceptado financiación de CoreWeave[20] (una pequeña empresa de computación en la nube) y SpellML (una empresa de infraestructura en la nube) como forma de acceso a potentes clústeres de GPU que son necesarios para la investigación de aprendizaje automático a gran escala. El 10 de febrero de 2022 lanzaron GPT-NeoX-20B, un modelo similar a su trabajo anterior pero ampliado gracias a los recursos proporcionados por CoreWeave.[21] Este modelo fue el tercero en tener el título de "modelo de lenguaje estilo GPT-3 de código abierto más grande del mundo". y el primero en ser el modelo de lenguaje de código abierto más grande (de cualquier tipo), superando a un modelo entrenado por Meta AI.[22] El 6 de marzo de 2023, era el segundo modelo de lenguaje de código abierto más grande del mundo.
Según su sitio web, EleutherAI es un "colectivo de base descentralizado de investigadores, ingenieros y desarrolladores voluntarios centrados en la alineación, el escalado y la investigación de IA del sistema de código abierto de IA." [23] Si bien no venden ninguna de sus tecnologías como productos, publican los resultados de su investigación en lugares académicos, escriben publicaciones en blogs que detallan sus ideas y metodologías, y brindan modelos capacitados para que cualquiera los use de forma gratuita.
The Pile es un conjunto de datos de 800 GiB diseñado para entrenar modelos grandes de lenguaje. Originalmente se desarrolló para entrenar modelos GPT-Neo de EleutherAI, pero se ha vuelto ampliamente utilizado para entrenar modelos, incluso por parte de investigadores de Microsoft,[24][25] Meta AI,[26] la Universidad de Stanford,[27] y la Academia de Beijing de Inteligencia Artificial.[28] En comparación con otros conjuntos de datos, las principales características distintivas de Pile son que se trata de una selección de datos elegidos por los investigadores de EleutherAI para contener información que pensaban que los modelos de lenguaje deberían aprender, y es el único conjunto de datos de este tipo que está completamente documentado por los investigadores que lo desarrollaron.[29]
La investigación más destacada de EleutherAI se relaciona con su trabajo para entrenar modelos grandes de lenguaje de código abierto inspirados en GPT-3 de OpenAI.[30] La serie de modelos "GPT-Neo" de EleutherAI ha lanzado 125 millones, 1.300 millones, 2.700 millones, 6.000 millones y 20.000 millones de modelos de parámetros.
Si bien la gran mayoría de los modelos de idiomas grandes se entrenan en inglés o chino, EleutherAI también entrena modelos de lenguaje en otros idiomas como Polyglot-Ko,[35] capacitado en colaboración con la empresa coreana de PNL TUNiB.
El trabajo de EleutherAI para democratizar GPT-3 ha recibido importantes elogios de una variedad de defensores del código abierto. Ganaron el premio a la innovación global Netexplo de la UNESCO en 2021,[36] el premio al mejor software de código abierto de InfoWorld en 2021[37] y 2022,[38] fue nominado para el premio a la innovación en IA de VentureBeat en 2021.[39]
Gary Marcus, científico cognitivo y destacado crítico de empresas de aprendizaje profundo como OpenAI y DeepMind,[40] ha elogiado repetidamente[41][42] la dedicación de EleutherAI a la investigación transparente y de código abierto.
Maximilian Gahntz, investigador principal de políticas de la Fundación Mozilla, aplaudió los esfuerzos de EleutherAI para brindar a más investigadores la capacidad de emplear y evaluar la tecnología de IA. "Si los modelos están abiertos y los conjuntos de datos están abiertos, eso permitirá mucho más de la investigación crítica que señala muchos de los defectos y daños asociados con la IA generativa y que a menudo es demasiado difícil de realizar".[43]
El periodista de tecnología Kyle Wiggers ha expresado su preocupación sobre si EleutherAI es tan independiente como afirma, o "si la participación de empresas con motivaciones comerciales como Stability AI y Hugging Face, ambas respaldadas por un capital de riesgo sustancial, podría influir en la investigación de EleutherAI".[44]
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
