Remove ads
Falcon 180B est un grand modèle de langage (LLM) développé par le Technology Innovation Institute (TII) des Émirats arabes unis, basé à Abu Dhabi. En 2023, c'est le plus grand modèle de langage ouvert, avec 180 milliards de paramètres et entraîné sur un corpus de 3,5 trillions de jetons (tokens) provenant du jeu de données RefinedWeb, disponible au public à l'automne 2023.
Falcon 180B
(pour ‘‘Fast and Large-scale Attention Multi-Queries Network’’)[1].
(pour ‘‘Fast and Large-scale Attention Multi-Queries Network’’)[1].
| Créateur | Technology Innovation Institute (TII) |
|---|---|
| Développé par | Applied AI Research Centre |
| Première version | |
| Dernière version |
Falcon 40B 1er de la série Falcon : () |
| État du projet | publié et en développement |
| Taille des données | 3,5 trillions de jetons (tokens) |
| Langues | Multilingue |
| Type | Grand modèle de langage |
| Politique de distribution | Gratuit sous certaines conditions |
| Licence | Licence TII Falcon 180B |
| Site web | Site officiel |
Remove ads
Le projet Falcon a été lancé en 2022, lorsque le TII a décidé de créer un modèle de langage pouvant rivaliser avec les modèles propriétaires tels que GPT-4 d'OpenAI et PaLM 2 de Google.
Le TII a mobilisé son Centre de recherche en intelligence artificielle appliquée (CAIR) pour concevoir et entraîner ce modèle, en utilisant les infrastructures de calcul d'Amazon Web Services.
Un premier prototype (Falcon 40B) a été dévoilé en avril 2023, 40 y signifiant qu'il était doté de 40 milliards de paramètres (entraîné sur 1 trillion de jetons). Il utilisait une architecture innovante basée sur l'attention multi-requêtes pour améliorer la scalabilité et la performance. Il a produit des résultats impressionnants pour diverses tâches de traitement du langage naturel (compréhension et génération de texte, traduction automatique et réponse aux questions[2].
Falcon 180B a été annoncé en septembre 2023 par le TII, présenté comme une version évoluée et élargie de Falcon 40B, et destiné à démocratiser l'accès à l'IA générative (IAG) pour favoriser l'innovation dans divers domaines[2]. Il comprend 180 milliards de paramètres, est entraîné sur 3,5 trillions de jetons, et utilise (pour ~85 %) le même jeu de données RefinedWeb que LLaMA 2, un autre modèle ouvert développé par Meta AI[3]entrainé après Falcon 40B. RefinedWeb est un corpus géant de données textuel. Falcon 180B a aussi été entrainé sur du code informatique (~3 % de son corpus). Tout ceci le rend polyvalent dans ses modes de sortie, et il peut résoudre des problèmes complexes[2].
À l'automne 2023, c'est le modèle le plus avancé créé par l'institut ; surpassant LLaMA 2 et rivalisant avec les modèles propriétaires tels que GPT-4 et PaLM 2.
Le TII a rendu Falcon 180B accessible au public à l'automne 2023, sous une licence ouverte spécifique, en partie, basée sur la licence Apache (Version 2.0)[4] autorisant- à certaines conditions (excluant toute « utilisation d'hébergement », notamment) - un usage commercial. Falcon est ainsi disponible à partir de la version de transformeur 4.33[2].
Remove ads
En 2023, le modèle de chat, mais aussi le modèle de base (dépourvu de format d’invite car "non-conversationnel", et non-entraîné avec des instructions, et donc utilisable par les seuls initiés)[5] et modèle de chat[6] de Falcon 180B sont disponibles sur la plateforme web Hugging Face où Falcon 180B a été rapidement classé en tête du classement des modèles ouverts. Cette plateforme permet de tester et comparer les modèles de langage[2].
Et chacun peut également interagir avec lui sur l'espace de démonstration[7].
Remove ads
Falcon 180B utilise une architecture basée sur l'attention multi-requêtes. Ceci permet au modèle d'effectuer plusieurs requêtes d'attention simultanément, ce qui réduit le coût computationnel et améliore la qualité des représentations. Le modèle peut aussi gérer des séquences plus longues et de mieux capturer les relations entre les éléments d'une séquence. Le caractère multimodal de son corpus d'entrainement lui permet de traiter et de générer différents types de données (ex : répondre à des questions basées sur des images, générer des descriptions de vidéos, ou créer des graphiques à partir de données numériques…)[2].
Il utilise un mécanisme d'auto-régression pour générer du texte, ce qui signifie qu'il prédit le prochain mot en se basant sur les mots précédents. Cela permet au modèle de produire du texte cohérent et fluide, qui suit une logique et une structure. Le modèle peut également adapter son style et son ton en fonction du contexte et du public cible.
Il utilise un mécanisme d'auto-encodage pour encoder et décoder les données, ce qui signifie qu'il apprend à reconstruire les données d'entrée en sortie. Cela permet au modèle d'apprendre les caractéristiques essentielles des données, et de les transformer selon les besoins. Par exemple, le modèle peut compresser, décompresser, traduire, résumer ou paraphraser les données.
Falcon 180B nécessite pour fonctionner à plein plus de 400 Go de mémoire correspondent (soit plus de 4 Gigaoctets), capacité rarement rencontrée sur les ordinateurs portables.
Remove ads
LLaMA 2 est l'autre grand modèle de langage ouvert disponible la même année, créé par Meta AI et lancé en juin 2023. Ce modèle de 70 milliards de paramètres a été entraîné sur 1 trillion de jetons provenant aussi du jeu de données RefinedWeb. LLaMA 2 s'est formé sur le même corpus que Falcon 180B, mais il est plus petit et bien moins puissant.
Ces deux modèles ont aussi en commun d'être basés sur l'architecture transformeur, qui utilise des couches d'attention pour encoder et décoder les données. Ils peuvent tous deux traiter et générer différents types de données, grâce à leur entraînement sur un corpus multimodal. Ils sont tous deux accessibles au public sous une licence ouverte, qui permet leur utilisation commerciale sous certaines conditions.
Falcon 180B est cependant nettement plus grand et plus puissant que LLaMA 2 : « Le Falcon 180B a été entraîné sur 3,5 trillions de jetons sur un maximum de 4096 GPU simultanément, à l’aide d’Amazon SageMaker pour un total de ~7 000 000 d’heures GPU. Cela signifie que le Falcon 180B est 2,5 fois plus grand que le Llama 2 et qu’il a été entraîné avec 4 fois plus de calcul »)[2]. Et il utilise un système d'attention multi-requêtes (avantageux en termes de scalabilité et de performance). Falcon 180B utilise l'auto-régression pour générer du texte, ce qui lui permet de produire du texte plus cohérent et fluide que LLaMA 2 (qui utilise, lui, l'auto-encodage).
Selon les résultats publiés par le TII, Falcon 180B surpasse LLaMA 2 sur diverses tâches de traitement du langage naturel, telles que la compréhension de texte, la génération de texte, la traduction automatique et la réponse aux questions.
Remove ads
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
Remove ads