Korábban csak külön alkalmazások által végzett feladatokat képes megoldani, sőt, olyanokat is, amikre nem tanították be, hanem az ismeretei kombinálásával „emergens módon” lett rá képes – ezt tudja az Nvidia ismertető blogposztja szerint a Fugatto, ezért érdemelte ki a cégtől a „svájci bicska a hangokhoz” leírást.
A Fugatto képes szöveges prompt alapján zenét írni; feltöltött audio- vagy midifájlból egyes hangszereket, énekhangokat kiemelni, vagy azokat új szólamokkal kiegészíteni, effektezni; a zene műfaját, hangzását megváltoztatni; a megszólalást javítani. Mindezek miatt az Nvidia szerint a zenészek kreativitását segítheti; egy-egy ötletből például gyorsan képes vázlatot készíteni, így kipróbálható, hogy egy dallamötlet különféle műfajokban hogyan hangozna.
Széles körű képességei vannak hangok, pl. természeti vagy mesterséges hangtájképek létrehozásában. Az Nvidia többek között a következő példákat hozza: vihar, amiből aztán hajnali madárcsicergés bontakozik ki; morajló basszus pulzálás és időnkénti magas digitális csipogások: mintha egy hatalmas, érző gép ébredne fel; ugató trombita, nyávogó szaxofon. Mint ezek is mutatják a Fugatto képes egyrészt korábban nem hallott hangokat létrehozni, illetve átmeneteket létrehozni. Ezeket a képességeket használhatják például filmesek vagy videojáték-fejlesztők – utóbbiak nemcsak új hangokat hozhatnak létre, hanem a meglévő hangkészletet is hozzáigazíthatják ahhoz, ami éppen a játékban történik.
Az emberi beszéd terén nemcsak hangot ad a beírt szövegnek, hanem részletesen paraméterezhető, hogy milyen akcentussal és milyen érzelmekkel beszéljen; ezek egy már létező beszédben is változtathatók. Ez hasznos lehet abban, hogy egy reklámkampányt különféle helyi igényekre szabjanak, vagy akár a nyelvtanulásban is alkalmazható.
A Fugatto betanításához „több millió” felvételből álló adathalmazt használtak – a Billboardnak az Nvidia azt nyilatkozta, hogy ezek szabad hozzáférésű adatbázisok voltak, a cég betartja a szerzői jogi törvényeket.
Arról nincs információ, hogy mikorra tervezik, hogy a nagyközönség számára is hozzáférhetővé teszik a modellt.
Categories: Hírek