Loading AI tools
Из Википедии, свободной энциклопедии
BigScience Large Open-science Multilingual Language Model с открытым доступом ( BLOOM [1] ) — большая языковая модель на основе трансформера. Была создана более чем 1000 исследователями ИИ, чтобы предоставить бесплатную большую языковую модель для всех желающих. Обучена примерно по 176 миллиардам весов с марта по июль 2022 года, считается альтернативой OpenAI GPT-3. BLOOM использует архитектуру модели трансформатора только для декодера, модифицированную от Megatron-LM GPT-2 .
BLOOM | |
---|---|
Тип | языковая модель и большая языковая модель |
Первый выпуск | 2021 |
Лицензия | Responsible AI License[вд] |
Сайт |
bigscience.huggingface.co (англ.) huggingface.co/bi… |
Проект BLOOM [2] был запущен соучредителем Hugging Face. Было задействовано шесть основных групп людей, в том числе команда BigScience HuggingFace, команда Microsoft DeepSpeed, команда NVIDIA Megatron-LM, команда IDRIS/GENCI, команда PyTorch и волонтеры из рабочей группы BigScience Engineering.
BLOOM обучалась на данных 46 естественных языков и 13 языков программирования. В общей сложности 1,6 терабайт предварительно обработанного текста было преобразовано в 350 миллиардов уникальных токенов в качестве обучающих наборов данных BLOOM.
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.