AudioCraft использует три модели искусственного интеллекта, отвечающие за разные аспекты генерации сигнала. Сообщается, что модель MusicGen генерирует музыку по запросу пользователя, AudioGen создаёт звуки и шумы, в то время как EnCodec убирает артефакты из сгенерированного звукового файла.
По словам представителей Meta*, за счёт открытого исходного кода разработчики со всего мира смогут улучшать нейросеть и обучать её дальше. Согласно описанию проекта, AudioCraft генерирует музыку не только на основе текстовых запросов, но и используя уже существующую музыку и даже записи с диктофона или микрофона.
* Материнская компания Meta и принадлежащие ей социальные сети Facebook (Фейсбук) и Instagram (Инстаграм) внесены в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».
