BigScience Large Open-science Multilingual Language Model с открытым доступом ( BLOOM ^[1] ) — большая языковая модель на основе трансформера. Была создана более чем 1000 исследователями ИИ, чтобы предоставить бесплатную большую языковую модель для всех желающих. Обучена примерно по 176 миллиардам весов с марта по июль 2022 года, считается альтернативой OpenAI GPT-3. BLOOM использует архитектуру модели трансформатора только для декодера, модифицированную от Megatron-LM GPT-2 .

Проект BLOOM ^[2] был запущен соучредителем Hugging Face. Было задействовано шесть основных групп людей, в том числе команда BigScience HuggingFace, команда Microsoft DeepSpeed, команда NVIDIA Megatron-LM, команда IDRIS/GENCI, команда PyTorch и волонтеры из рабочей группы BigScience Engineering. 

BLOOM обучалась на данных 46 естественных языков и 13 языков программирования. В общей сложности 1,6 терабайт предварительно обработанного текста было преобразовано в 350 миллиардов уникальных токенов в качестве обучающих наборов данных BLOOM.