Přestaňte vyplňovat nudné dotazníky a zahrajte si raději videohru! To je premisa projektu Symphony of Adventure, novátorské bakalářské práce Reut Tal, která spojuje sběr dat s hudbou a hraním her. Absolventka Matfyzu vytvořila počítačovou hru, která je nejen zábavná, ale taky užitečná. Slouží totiž jako efektivní nástroj pro sběr a třídění dat pro umělou inteligenci.
Čemu se věnuje vaše bakalářská práce?
Můj projekt zkoumá průnik umělé inteligence (AI), hudby a emocí. Nové aplikace v oblasti umělé inteligence se opírají o data, která zachycují interakci hudby s lidskými emocemi. Příkladem jsou systémy generování afektivní hudby (AI-AMG), systémy rozpoznávání emocí a vyhledávání hudebních informací (MIR). Emoce jsou ovšem složité a těžko se popisují, a proto je většina existujících datových sad příliš malá nebo obsahuje šum. Navíc úkoly na vyžádání nevyvolávají nutně stejné reakce jako spontánní události. Když uživatele požádáte o pozorování emocí, mohou se emoce neúmyslně změnit a shromážděná data pak neodrážejí přirozené poslechové zážitky.
Jako řešení problému jsem navrhla Symphony of Adventure – videohru, která zahrnuje sběr dat. Místo vyplňování formulářů poskytují hráči štítky implicitně prostřednictvím herních akcí. Cílem mého přístupu je simulovat scénáře z reálného života, kde lidé přirozeně spojují hudbu s náladami, v naději, že se zlepší ekologická validita a sníží se zaujatost introspekce. Shromážděná data klasifikují hudbu na základě emocionálního obsahu a mohou sloužit jako základ pro úkoly strojového učení nebo pro studium vztahu mezi emocemi a hudbou obecně.
Co vás inspirovalo k tomu, abyste se zaměřila zrovna na tohle téma?
Při výběru tématu diplomové práce jsem věděla, že to musí být něco, co mě opravdu zajímá, abych měla dostatek motivace vedle mnoha dalších kurzů a povinností. Kladla jsem si otázku, jak bych mohla spojit své další zájmy (hudbu a videohry) s informatikou a vytvořit projekt, který by mě bavil. Můj původní nápad byl studovat vliv hudby na zapojení hráčů, ale díky konzultaci se svým vedoucím dr. Janem Hajičem jsem pochopila, jak je pro výzkum umělé inteligence důležité shromažďovat spolehlivá emocionální data.
Můžete vysvětlit, jaké konkrétní přínosy nebo využití vaše práce má?
Hlavním účelem projektu je poskytnout výzkumníkům nástroj, který si mohou přizpůsobit na základě svých vlastních hudebních dat. Během hraní hry se reakce uživatelů automaticky exportují a projekt se stává praktickým systémem pro sběr anotací emocí spojených s hudbou pro libovolné výzkumné účely. To má ve srovnání s tradičními přístupy rovnou několik výhod:
• Lepší ekologická validita: hra se snaží simulovat přirozené
poslechové prostředí.
• Snížení kognitivní zátěže: anotace je integrována do hraní.
• Širší dosah: hra sama o sobě slouží jako motivace k zapojení.
Navíc ukazuji, jak lze pomocí této tzv. gamifikace zajistit, aby byly anotace, které jsou nezbytnou součástí umělé inteligence, zábavnější.
S jakými technologiemi jste pracovala a jaké metody jste použila?
Projekt je vyvinutý v jazyce C# pomocí enginu Unity. Vybrala jsem tento herní engine, protože jde o známý a spolehlivý vývojový nástroj, který se používá jak ve velkých komerčních projektech, tak v těch nezávislých (menších).
K designu příběhu jsem využila Yarn Spinner, který zjednodušil tvorbu rozvětvených dialogů.
Na správu shromážděných dat a maximalizaci použitelnosti tohoto nástroje pro laiky jsem integrovala API Google Sheets. Umožňuje výzkumníkům importovat metadata a automaticky exportovat odpovědi hráčů v reálném čase. Data tak mohou být organizovaná a připravená k analýze.
K optimalizaci výkonu jsem na načítání hudby za běhu z (potenciálně rozsáhlé) sady na základě konfiguračního souboru použila systém Addressables od Unity. Zabrání se tak zbytečně velkým buildům. Vyvinula jsem i vlastní řešení, jako jsou trvalé skriptovatelné objekty pro uchování stavu, která naplnila jedinečné požadavky projektu.
Co bylo při psaní práce nejnáročnější? Je něco, co byste teď s odstupem času udělala jinak?
Největší výzvou pro mě bylo vyvážit dva cíle: vytvořit poutavou hru a zároveň zachovat vědeckou přesnost v modelech emocí a procesu anotace. Každý narativní prvek (postavy, mise a dialogy) musel být navržen tak, aby odrážel pečlivě vybraný model emocí, nikoli čirou fantazii. To bylo zásadní, protože získání smysluplných výsledků závisí na systematickém a empirickém přístupu k měření emocí.
Vedle toho jsem však musela čelit také výzvám, které běžně vznikají, když celou hru vyvíjí pouze jeden člověk, a to jak skloubit práci v několika oblastech, jako je programování, grafický design, zvukový design, design příběhu a dialogů, fyziky či zajištění kvality a optimalizace. Bylo obtížné zajistit, abych žádnou z těchto oblastí neopomíjela.
Z technického hlediska byla obzvláště složitá integrace autentizace Google pro bezpečný export dat. Každá instance hry poskytuje data a potřebuje přístup k tabulce Google, která nepatří danému uživateli. Jediným schůdným řešením bylo použití účtu Google Service, ale klíče účtu Service představují bezpečnostní riziko, pokud nejsou správně spravovány. Implementovala jsem šifrování, což byla další nečekaná práce.
Jak jste ověřovala výsledky své práce?
Provedla jsem několik testovacích iterací s kolegy, přáteli a rodinou, kteří hru hráli a vyplňovali dotazníky. To mi poskytlo přehled o tom, jak atraktivní a zajímavá hra je, a současně jak přesný a efektivní je mechanismus sběru dat. Tento cyklus vývoje hry, tedy prezentace jejího aktuálního stavu testerům, získávání zpětné vazby a aplikování zpětné vazby a řešení chyb, byl neoddělitelnou součástí mé práce.
Neocenitelným zdrojem pro mě byla nová výzkumná skupina Prague Music Computing Group (PMCG) zaměřená na výpočetní zpracování a modelování hudby. Umožnila mi ověřit platnost konceptu a získat zpětnou vazbu od odborníků a studentů v oboru.
Co považujete za nejdůležitější výsledek nebo závěr své práce?
Tento projekt dokazuje, že sběr emocionálních anotací prostřednictvím hry je proveditelný. Ukazuje kreativní a praktickou alternativu k tradičním metodám anotace, které jsou často nákladné, obsahují šum a postrádají ekologickou platnost.
Myslíte si, že vaše práce může inspirovat ostatní studenty nebo odborníky?
Můj projekt ukazuje, že je možné spojit své záliby, a to i ty, které spolu zdánlivě nesouvisejí, a vytvořit něco nového. Doufám, že to studenty povzbudí k nekonvenčnímu uvažování o tom, jak propojit informatiku s hudbou nebo jakýmkoli jiným oborem, který je zajímá. Navíc doufám, že lidé uvidí potenciál gamifikace jako cenného nástroje ve výzkumu, a ne jen v zábavě.
Jaké jsou vaše plány do budoucna?
Ráda bych pokračovala v práci na pomezí umělé inteligence, videoher a hudby. Dalším krokem v tomto projektu je použití nástroje k jeho zamýšlenému účelu – shromáždění datového souboru a natrénování modelu generování afektivní hudby. Moje vize je vydat jej jako balíček Unity Asset Package pro nezávislé vývojáře her, kteří často nemají dostatek zdrojů na vytváření hudby založené na emocích.
Proč jste se rozhodla studovat na Matematicko-fyzikální fakultě UK? Doporučila byste ji dalším zahraničním studentům?
Rozhodla jsem se studovat Matfyz, abych si splnila sen o životě a studiu v zahraničí, poté co jsem na střední škole objevila svou lásku k informatice. Po zvážení několika možností v Evropě jsem si vybrala tento program kvůli dobré pověsti fakulty, dostupnosti života v Praze, vstřícnosti českých lidí vůči cizincům a krásnému prvnímu dojmu, který na mě město udělalo během návštěvy.
Tento program bych doporučila anglicky mluvícím studentům, kteří hledají náročnou, ale obohacující zkušenost. Fakulta nabízí možnost plně se věnovat danému oboru a rychle se rozvíjet. Mně poskytla i neocenitelnou příležitost připojit se ke zmíněné Prague Music Computing Group – něco takového jsem si nedokázala představit, protože jsem si původně myslela, že můj zájem o hudbu a umělou inteligenci je příliš okrajový. Být obklopena lidmi, kteří sdílejí stejnou vášeň a přinášejí tolik znalostí, bylo inspirující. To vše díky skvělé iniciativě vedoucího mé práce dr. Jana Hajiče, který tuto skupinu založil.
Odkazy
Repozitář
UK
GitHub
– Symphony of Adventure
Prague Music Computing Group
