Posljednjih mjeseci, vještačka inteligencija primijenjena na muziku je doživjela eksploziju , a jedan od alata koji generira najviše pažnje je MusicGen , Metin model sposoban za kreiranje muzičkih isječaka jednostavnim opisivanjem riječima. Ako vas privlači ideja da od vještačke inteligencije zatražite da komponuje muzičku numeru za nekoliko sekundi, ali to želite učiniti lokalno ili uz određenu tehničku kontrolu, ovaj vodič je za vas.
Pogledajmo detaljnije šta je tačno MusicGen, kako interno funkcioniše i kako ga možete besplatno isprobati , kako putem online demo verzije, tako i samostalnim pokretanjem. Vidjet ćete da, iako koncept izgleda vrlo napredno, u praksi je prilično jednostavan za korištenje i ne morate biti profesionalni muzičar da biste izvukli maksimum iz njega.
Šta je MusicGen i šta tačno nudi?
MusicGen je, ukratko, model vještačke inteligencije dizajniran za generiranje muzike iz teksta . Napišete opis pjesme koju želite - na primjer, „mirna melodija klavira s filmskom atmosferom i dodirom gudača“ - a sistem vraća kratki audio klip koji pokušava ispuniti vaš zahtjev.
Umjesto rada s riječima kao što to rade chatbotovi, MusicGen operira s komprimiranim audio fragmentima u obliku "tokena ". Ovi tokeni su male jedinice koje predstavljaju isječke zvuka. Model uči predvidjeti koji tokeni trebaju doći sljedeći, baš kao što model normalnog jezika predviđa sljedeću riječ u rečenici.
Alat je izgrađen na arhitekturi sličnoj Transformeru, vrlo sličnoj onoj koju koriste tekstualni modeli poput onih od Googlea ili OpenAI-a , ali prilagođenoj za rukovanje muzičkim informacijama i kompatibilnoj sa sintisajzerima i dodacima . Meta je razvila varijantu ove arhitekture za istovremeni rad s više komprimiranih audio rendering streamova, čime se koordinirano upravlja ritmom, harmonijom i tembrom.
Jedan od ključnih aspekata projekta je to što je MusicGen objavljen kao model otvorenog koda . To znači da su i kod i prethodno obučeni modeli javno dostupni. Stoga, programeri, istraživači i napredni korisnici mogu ga pregledati, modificirati i integrirati u vlastite projekte bez počinjanja od nule.
Kako je Meta MusicGen obučavao i zašto je to važno
Kako bi osigurali da MusicGen daje konzistentne rezultate, istraživački tim Audiocraft kompanije Meta obučio je model koristeći približno 20.000 sati licencirane muzike . Ovo nije bilo kakva muzika nasumično preuzeta s interneta; to je materijal koji kompanija ima dozvolu za korištenje.
Od tog skupa podataka, 10.000 zapisa su visokokvalitetni snimci iz interne baze podataka . Preostali sati dolaze iz poznatih komercijalnih biblioteka u industriji, koje sadrže hiljade audio zapisa i efekata koji se koriste u filmovima, oglašavanju i produkciji sadržaja.
Sav ovaj materijal je obrađen korištenjem Encodeca, audio kodeka koji je razvila kompanija Meta, a koji omogućava kompresiju zvuka u tokene uz održavanje vrlo visoke kvalitete . Encodec koristi tehnike mašinskog učenja kako bi postigao visok omjer kompresije bez uništavanja audio detalja. Ovo je ključno ako model zatim mora rekonstruirati uvjerljivu muziku iz tih tokena.
Rezultat ove obuke je nekoliko verzija MusicGena, s veličinama u rasponu od 300 miliona do 3.300 milijarde parametara . Što više parametara model ima, to je veći njegov kapacitet renderiranja. I, u principu, to može ponuditi bolji kvalitet, iako zauzvrat troši više računarskih resursa i memorije.
Kako MusicGen funkcioniše iznutra
Kada koristite MusicGen, zapravo koristite jezički model specijaliziran za komprimirane audio sekvence . Umjesto generiranja tekstova pjesama, generira te male, diskretne jedinice koje predstavljaju zvuk. Zatim, drugi modul rekonstruira zvuk iz tih jedinica.
Proces počinje unosom teksta, odnosno upitom. MusicGen analizira opis koji napišete kako bi otkrio najvažnije ključne riječi. To su riječi koje definiraju stil, tempo, vrstu instrumenata ili cjelokupni osjećaj skladbe koju želite: „brzo“, „epsko“, „električna gitara“, „sintisajzeri osamdesetih“, „soundtrack“ itd. Na osnovu ovih ključnih riječi, model prilagođava svoju distribuciju vjerovatnoće za audio tokene koje može generirati.
Ako odaberete da dodate i opcionalnu muzičku referencu – kratki audio klip – MusicGen izdvaja glavnu melodiju i ritmičku strukturu iz tog fragmenta . Ne kopira pjesmu u potpunosti, već koristi njenu melodiju, harmoniju i ritam kao inspiraciju za transformaciju i prilagođavanje onome što ste opisali u tekstu.
Ispod toga, Encodec kodek dijeli zvuk na male fragmente koji se mogu predstaviti kao diskretne sekvence . Ovaj komprimirani prikaz je ono što transformator nauči predvidjeti, osiguravajući da je tada moguće rekonstruirati zvuk s razumno visokim kvalitetom, čak i kada su isječci generirani od nule.
Još jedna stvar koju treba uzeti u obzir je stohastička priroda generiranja: svaki put kada generirate pjesmu pomoću MusicGen-a, rezultat je drugačiji , čak i ako koristite isti prompt. Model ponovo uzorkuje niz tokena od početka. To uzrokuje promjenu specifičnog redoslijeda tokena, a time i same pjesme.
MusicGen, upute i korištenje muzičkih referenci
Suština korisničkog iskustva MusicGen-a leži u njegovim uputama - tekstualnim komandama koje koristite da biste modelu rekli kakvu muziku želite da komponuje . Što ste jasniji, veća je vjerovatnoća da će rezultat biti bliži onome što imate na umu.
Na primjer, vrlo generički upit poput "elektronska muzika" je toliko širok da model može vratiti praktično sve unutar tog žanra , od minimalističkog tehna do melodičnog synthwavea. Međutim, ako upišete "elektronska muzička numera u synthwave stilu, srednjeg tempa, dominantno sintisajzera, s nostalgičnom atmosferom i bez vokala", značajno sužavate vrstu isječka koji će generirati.
Osim toga, možete navesti referentnu melodiju. Na web sučelju Hugging Face vidjet ćete polje pod nazivom "Uslov za melodiju (opciono)" gdje možete prenijeti kratki fragment postojećeg djela. MusicGen će snimiti glavnu melodijsku liniju i prilagoditi je vašem zadatku. Ovo generira nešto novo, ali inspirisano tom referencom.
Ova kombinacija opisnog teksta i audio isječka uglavnom čini rezultate konzistentnijim s onim što želite . Ako navedete samo tekst, model ima više slobode, a izlaz obično bude donekle nepredvidljiviji. Međutim, dodavanje melodije daje mu specifičnu početnu tačku za rad.
U svakom slučaju, ne postoji univerzalni „savršeni podsticaj“. Najbolja strategija je eksperimentisanje . Isprobavanje kombinacija stila, instrumenata, pridjeva i struktura („meki uvod, srednji crescendo, nagli završetak“) pomoći će vam da pronađete formule koje najbolje odgovaraju vašem ukusu.
Trenutna ograničenja MusicGena
Iako su demo snimci veoma impresivni, MusicGen i dalje ima nekoliko važnih ograničenja koja treba razumjeti prije nego što ga smatramo čarobnim metkom za kreiranje gotove muzike. Evo njegovih glavnih trenutnih ograničenja:
- Trajanje dijelova koje generira je oko 12 sekundi. Ako ne izvršite nikakvu naknadnu ručnu intervenciju, alat neće prema zadanim postavkama proizvesti kompletne pjesme u trajanju od nekoliko minuta.
- On nema savršenu kontrolu nad dugim muzičkim strukturamaOno što najbolje radi jeste generiranje motiva, tekstura, malih pasaža koji se mogu koristiti kao osnova ili inspiracija, umjesto složenih pokreta s promjenama tona i produženim razvojem.
- VI ne "razumije" muziku onako kako bi to učinio ljudski kompozitor.Umjesto toga, uči statističke obrasce iz svog skupa za obuku. To znači da, iako rezultati mogu zvučati vrlo uvjerljivo, oni ne uvijek imaju duboko muzičko značenje.
Nadalje, tu su i pravna i etička razmatranja: iako je model obučen korištenjem licencirane muzike, debata unutar industrije je i dalje veoma živa . Postoji zabrinutost zbog potencijalnog utjecaja na kompozitore, producente i umjetnike, kao i pitanje u kojoj mjeri model može imitirati stil određenih kreatora bez kršenja njihovih prava.
MusicGen od Mete i debata u muzičkoj industriji
Meta nije jedina kompanija koja je zaronila u polje generisanja muzike pomoću vještačke inteligencije, ali MusicGen se pozicionirao u centru razgovora kao prijedlog otvorenog koda sa konkurentnim rezultatima u poređenju sa zatvorenim alternativama.
Modeli poput Googleovog MusicLM-a, Riffusion-a ili Musai-ja također generiraju muzičke komade iz promptova , svaki sa svojim vlastitim tehničkim pristupom, ali činjenica da je Metin model dostupan na GitHub-u i u repozitorijima poput Hugging Face-a navela je istraživačku zajednicu da se fokusira na njegovo testiranje i poređenje.
Meta ima znatno povjerenje u svoju tehnologiju. U stvari, objavila je poređenja koja pokazuju da MusicGen može pružiti bolji kvalitet od nekih svojih konkurenata u određenim kontekstima. Na javno dostupnoj stranici s uzorcima, svako može reproducirati različite primjere i odlučiti koji zvuči najprirodnije ili kreativno zanimljivije.
Ovo otvaranje ponovo je pokrenulo debatu koja je već bila u toku: u kojoj mjeri je poželjno da bilo ko može generirati poluprofesionalnu muziku jednim pritiskom na dugme? Za neke, to predstavlja radikalnu demokratizaciju stvaranja zvuka. Za druge, prijeti da zasiti tržište generičkim sadržajem i izvrši pritisak na prihode muzičara i kompozitora.
U međuvremenu, Meta je predstavila druge AI projekte poput LIMA-e, fokusirane na jezik, jasno dajući do znanja da kompanija namjerava u potpunosti ući u utrku za dominaciju na tržištu umjetne inteligencije , čak i dok otpušta hiljade radnika u drugim oblastima svoje radne snage. Osjećaj unutar industrije je da je posvećenost umjetnoj inteligenciji vrlo ozbiljna. I da će transformirati mnoge profesije, uključujući i muzičku industriju.
Kako koristiti MusicGen iz demo verzije Hugging Face-a
Ako želite brzo isprobati MusicGen bez instaliranja ičega na računar, najlakši način je korištenje besplatne demo verzije dostupne na Hugging Face, unutar službenog prostora koji hostuje Meta tim.
- Unesite URL facebook/MusicGen prostora u Hugging Face. Tamo ćete vidjeti prilično jednostavnu stranicu, ali sa svim potrebnim kontrolama. Ne morate se registrovati da biste reprodukovali neke primjere, iako će vam za kreiranje vlastitih klipova možda trebati besplatan račun, ovisno o tome kako je stranica konfigurisana u bilo kojem trenutku.
- U interfejsu idite na opciju „Opišite svoju muziku“.Ovdje biste trebali napisati opis pjesme koju želite da vještačka inteligencija komponuje. Možete kombinirati reference na žanr, instrumente, emocije i strukturu.
- Zatim pristupite odjeljku „Uslov za melodiju (opciono)“. U tom okviru možete postaviti kratki audio isječak koji će služiti kao melodijski vodič. Ovaj dio je potpuno opcionalan.
- Pritisnite dugme „Generiraj“. Sistem će poslati vaš upit MusicGen modelu i započeti proces generiranja, koji može trajati od nekoliko sekundi do nekoliko minuta, ovisno o opterećenju servera i veličini modela koji trenutno koristi prostor.
Nakon što je proces generiranja završen, na dnu će se pojaviti plejer sa rezultirajućim audio klipom . Odatle ga možete slušati direktno u vašem pretraživaču. U mnogim slučajevima, datoteku možete preuzeti i da biste je sačuvali na računaru i kasnije je koristili u vašem DAW-u, u videu, podcastu ili gdje god želite.
Kako koristiti MusicGen lokalno
Ako, umjesto oslanjanja na online demo, radije pokrećete MusicGen na vlastitom računaru radi veće kontrole i privatnosti , činjenica da je riječ o projektu otvorenog koda je velika prednost. Kod i modeli dostupni su na GitHub-u i Hugging Face-u, spremni za preuzimanje.
U tipičnom scenariju, trebat će vam instaliran Python i pristojna grafička kartica, posebno ako želite glatko generirati klipove ili se odlučiti za modele s više parametara. Uprkos tome, manje verzije mogu raditi na moćnim CPU-ima, iako će generiranje biti znatno sporije.
Nakon što pripremite okruženje, opći tok je obično sljedeći:
- Klonirajte repozitorij projekta.
- Instalirajte zavisnosti (obično koristeći pip).
- Preuzmite određeni predložak koji želite koristiti. od Hugging Face-a.
Odatle možete pokrenuti primjere skripti koje prihvataju tekstualni upit i vraćaju audio datoteku.
Lokalni rad vam također omogućava integraciju MusicGena u vlastiti lanac muzičke produkcije . Možete kreirati prilagođene alate koji generiraju petlje za vaše demo snimke, automatizirati kreiranje pozadinske muzike za videozapise ili čak eksperimentirati s vlastitim interfejsima koji kombiniraju tekst, MIDI kontrolu i druge napredne parametre.
Meta MusicGen predstavlja važan korak u evoluciji muzike generirane umjetnom inteligencijom , nudeći otvoren, fleksibilan i relativno pristupačan model koji vam omogućava kreiranje audio klipova iz jednostavnih tekstualnih opisa, s mogućnošću dodavanja referentnih melodija i pokretanja i u oblaku i lokalno, istovremeno ponovo pokrećući debatu o ulozi umjetne inteligencije u muzičkoj industriji i granicama između inspiracije, automatizacije i kreativnog autorstva.
