مدل زبانی بزرگ چندزبانه علم کلان با دسترسی آزاد و دانش آزاد (به انگلیسی: BigScience Large Open-science Open-access Multilingual Language Model) به اختصار بلوم (به انگلیسی: BLOOM)[1] یک مدل زبانی بزرگ مبتنی بر ترنسفورمرها است که توسط بیش از ۱۰۰۰ محقق هوش مصنوعی برای ارائه یک مدل زبانی بزرگ رایگان برای همه ایجاد شده‌است. این مدل در طی ماه مارس تا ژوئیه ۲۰۲۲، بر روی حدود ۳۶۶ میلیارد توکن آموزش دیده که به عنوان جایگزین مدل جی‌پی‌تی ۳ با ۱۷۶ میلیارد پارامتر، در نظر گرفته می‌شود. بلوم از معماری مدل ترنسفورمر فقط رمزگشا استفاده می‌کند که از جی‌پی‌تی ۲ اصلاح شده‌است.
پروژه بلوم توسط یکی از بنیانگذاران شرکت Hugging Face آغاز شد.[2] شش گروه اصلی از افراد شامل تیم علم کلام از شرکت هاگینگ فیس، تیم DeepSpeed از مایکروسافت، Megatron-LM از تیم انویدیا، تیم IDRIS/GENCI، تیم پای‌تورچ درگیر بودند.[2] بلوم با استفاده از داده‌های ۴۶ زبان طبیعی و ۱۳ زبان برنامه‌نویسی آموزش داده شد. در مجموع، ۱٫۶ ترابایت متن از پیش پردازش شده به ۳۵۰ میلیارد توکن منحصر به فرد به عنوان مجموعه داده‌های آموزشی بلوم تبدیل شد.[3]
منابع
_artificial_intelligence_icon.png){kind=icon}
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
