Hledají nové principy, objevují nečekané souvislosti, propojují teoretické poznatky s praxí a posouvají hranice lidského poznání. Řeč je o mladých vědkyních z Informatické sekce Matfyzu, které svými příběhy boří mýty o tom, že informatika není pro holky. V dalším díle nás do svého badatelského světa, do oblasti hledání architektur neuronových sítí, zavede Gabriela Kadlecová.
| Výzkumný svět: | Neural Architecture Search |
|---|---|
| Největší úspěch: | Článek na konferenci ICML a bakalářský titul na Mafyzu |
| Vědecký zlozvyk: | Odkládání začátku a finiše projektu |
| Co dělám, když nedělám vědu: | Sporty (běh, hiking, plavání, ...), birdwatching, DnDčko |
| Kdybych nebyla vědkyní, byla bych: | Software engineer jako moji kamarádi, nebo bych dělala něco s cizími jazyky |
Co vás přivedlo k informatice a co vás na ní nejvíc baví?
K počítačům jsem měla blízko už od dětství – v rodinném albu máme fotku, kde jako osmiletá sedím u počítače (akorát jsem neprogramovala, ale hrála hry). Měla jsem velkou podporu rodiny – táta mě učil například příkazovou řádku, mamka mě zase podporovala v logickém myšlení.
Na střední škole jsem si nejdříve myslela, že budu studovat chemii, ale bohužel nejsem vůbec manuálně šikovná, což není úplně slučitelné s prací v laborce… Pak jsem se rozhodovala mezi matematikou a informatikou. Rodiče, učitelé a přítel (dnes již manžel) mě přesvědčovali, že mi informatika bude sedět víc, já se ale bála toho, jestli studium zvládnu, když jsem tehdy neuměla moc programovat. Na dni otevřených dveří Matfyzu jsem navštívila přednášku Martina Mareše, prezentoval v ní různé algoritmy a hádanky. Vůbec jsem si tenkrát nedovedla představit, že bych něco podobného zvládla sama vyřešit. Proto jsem za dr. Marešem po přednášce zašla a zeptala se ho, jestli je to překážka ve studiu Matfyzu. Uklidnil mě, že se v prváku postupně všechno naučím – a měl pravdu! Matfyz je sice těžká škola, ale se začátečníky se počítá, takže díky individuálnímu přístupu jsem to rychle dohnala. A nebyla jsem sama – mám kamarádku, která před Matfyzem vůbec neprogramovala a aktuálně dokončuje doktorské studium v neurovědě...
Na informatice mě nejvíc baví proces přemýšlení nad problémy. Je to práce, kde je výhodou systematičnost, ale která zároveň nabízí i velký prostor pro nápaditost. A občas je to taky práce detektivní, když je potřeba najít skrytou chybu v kódu. Navíc, v IT jsem potkala skvělé lidi s podobným smyslem pro humor, jako mám já. Myslím si, že jít na Matfyz bylo jedno z mých nejlepších rozhodnutí (i když to občas bylo těžké).
Proč jste se rozhodla pro vědeckou dráhu v tomto oboru?
Měla jsem zajímavé téma diplomky, navíc u skvělého vedoucího, a přišlo mi škoda ho po magistru jen tak opustit. V oblasti machine learning vůbec nejsem vyhraněná – někdo se věnuje jednomu typu dat, například obrázkům nebo dnes populárnímu přirozenému jazyku, pro mě je ale zajímavé, pokud člověk může být při návrhu modelu kreativní nebo se snaží analyzovat problém tak dlouho, dokud nenajde nějaké souvislosti. Moje zaměření na hledání architektur neuronových sítí mi přesně tohle umožnilo.
Na jakém výzkumu nebo projektu aktuálně pracujete? Jaké jsou hlavní výzvy ve vašem oboru?
Tématem mého doktorátu je neural architecture search (zkráceně NAS), česky hledání architektur neuronových sítí. Cílem je najít pro nový problém, například rozpoznání objektu na obrázku, co nejlepší architekturu neuronové sítě. Neuronky mohou být různě hluboké a široké nebo mohou mít tzv. reziduální spoje, které spojují vrstvy neuronů, jež na sebe nenavazují přímo. To vše má vliv na to, jak dobré výsledky bude síť mít.
Například, často je klíčový velký počet konvolučních vrstev. To platí například pro dataset CIFAR-10, jeden z nejčastěji používaných datasetů, kde je cílem zařazení obrázků do 10 skupin typu pes, letadlo apod. Pro jiný problém, například odstranění šumu, to ale platit vůbec nemusí. Můj výzkum konkrétně pomohl vysvětlit, jaké vlastnosti grafu sítě mají vliv na její úspěšnost na datech, a jak se to liší v závislosti na typu dat.
Jednou z hlavních výzev v NASu je velká výpočetní náročnost – abychom věděli, jak dobrá je síť, musíme ji natrénovat a vyhodnotit na zadaném problému. Během doktorátu jsem zkoumala metody, které snižují výpočetní náročnost – místo tréninku sítě odhadneme, jaká bude přibližně její úspěšnost. Odhad je sice méně přesný, ale v praxi i tak šetří čas výpočtu nebo pomáhá najít energeticky méně náročné sítě.
Jaké metody, nástroje a data ve svém výzkumu nejčastěji využíváte?
Nejčastěji používám programovací jazyk Python (jako většina lidí, co se věnuje strojovému učení) a knihovnu PyTorch pro návrh a trénink neuronových sítí. Data pro svůj výzkum si připravím tak, že sítě natrénuji na datasetu (např. na zmíněném CIFAR-10) a zaznamenám výslednou úspěšnost sítí. Vzniklá data následně analyzuji – můj článek na konferenci ICML v podstatě vznikl tak, že jsem několik dní pozorovala grafy závislosti struktury architektury a její úspěšnosti, a snažila se v nich najít vzory.
Jaký máte názor na využití umělé inteligence ve vědeckém výzkumu?
Myslím, že v mnohém může pomoci. Já například používám velké jazykové modely (LLM) na přeformulování textu, aby lépe plynul. Nedávno jsem ho použila při psaní recenze, abych si potvrdila, že jsem správně pochopila slabiny článku a na nic nezapomněla. Také mohou pomoci při literární rešerši, hodně se mi osvědčila kombinace LLM s vyhledáváním, kdy umělá inteligence zvládla najít i hodně čerstvé články. LLM také používáme přímo ve výzkumu – nedávno jsme je použili pro odhad výkonu architektur neuronových sítí.
Nicméně je potřeba brát jejich výstupy s rezervou. Stejně jako my se mohou LLM splést a najít nepřesné informace. Určitě by neměly nahradit kvalitní peer-review. Pokud vědec nechá LLM napsat celou recenzi bez kontroly, je to špatně. LLM nemají obsáhlou znalost každé vědecké oblasti. Myslím, že umělá inteligence je skvělý nástroj, ale neměli bychom zapomenout na naši schopnost kritického myšlení a kreativity.
Spolupracujete na výzkumu s vědci z jiných institucí nebo s průmyslem?
V průběhu doktorátu jsem měla štěstí hned na několik spoluprací. Díky svému vedoucímu jsem se zapojila do skupiny, která modelovala šíření COVIDu a dnes se věnuje výzkumu šíření dezinformací. Spolupracovala jsem například s lékaři, biology či statistiky. Tato zkušenost mě naučila nahlížet na vědu z širší perspektivy.
Před dvěma lety jsem byla na stáži na univerzitě ve Freiburgu ve skupině prof. Franka Huttera. Tato stáž trvala sice jen tři měsíce, ale se skupinou a dalšími vědci z Německa spolupracuji dosud. Komunita okolo mé výzkumné oblasti je skvělá a našla jsem v ní spoustu skvělých přátel. No a nakonec, nyní jsem na půlroční stáži v turínském Amazonu.
Právě tyto spolupráce vnímám jako jedno z největších pozitiv mého doktorského studia.
Jaký dopad může mít váš výzkum na společnost nebo technologie? Jak by vypadal ideální scénář, ve kterém by vaše práce měla největší dopad?
Dnešní trend není hledat unikátní síť pro každý problém, nýbrž použít velkou „předtrénovanou“ síť a adaptovat ji na nový problém. Takže dnes se výzkumníci NASu často zabývají kompresí velkých modelů tak, aby odpovídaly rychleji a spotřebovaly méně energie. To je podle mě velmi důležité, protože sítě jako velké jazykové modely spotřebují energie opravdu mnoho. Můj výzkum s tím může pomoci tak, že odhadneme energetickou náročnost sítě spolu s její úspěšností na datech. Díky tomu si pak místo náročné sítě můžeme vybrat méně náročnou síť se stejně dobrými výsledky.
Největším úspěchem by potom bylo, pokud by se podařilo nalézt pomocí NASu úplně novou architekturu, výrazně lepší, než jsou ty současné. Dosud byly úspěšné architektury nalezeny výzkumníky a NAS je pouze upravoval a vylepšoval jejich vlastnosti. Pokud se chceme posunout k hledání opravdu unikátních sítí, je potřeba prohledávat hodně široký prostor možných architektur. Náš aktuální výzkum šel trochu tímto směrem, je to však teprve začátek a velká výzva.
Jak vidíte budoucnost vašeho výzkumného oboru v příštích 5–10 letech?
V AI je aktuálně těžké něco předpovídat i v horizontu měsíců – vše se rychle mění! Myslím, že důraz na LLM ještě nějakou chvíli potrvá, a pokud se jejich schopnosti ještě zvýší, možná budou sama LLMka hledat neuronové sítě. NAS také může pomoci se snížením energetické náročnosti, což bude podle mě klíčový problém příštích let.
Na druhou stranu je také možné, že NAS objeví alternativu k jazykovým modelům nebo objeví úspěšnou síť pro úplně jinou oblast, například určování chemické struktury.
Vědecká práce je náročná a dokáže poměrně snadno přesáhnout do dalších oblastí lidského života. Pociťujete, že by nějak limitovala váš osobní život?
Věda mi toho hodně dala – umožnila mi účastnit se konferencí a zahraničních stáží. Díky vědě mohu nějaký čas strávit v cizí zemi, což je přínosné jak po profesní, tak osobní stránce. Tlak na výkon je ale ve vědě velký, obzvlášť pokud je člověk ambiciózní, a je těžké vyhradit si prostor na odpočinek. Navíc, zatímco v soukromé sféře se vám každý měsíc počítá do praxe, ve vědě můžete strávit měsíce na slepé cestě, a pokud hypotéza nefunguje, není ani výsledek – ve strojovém učení se dnes negativní výsledky v podstatě nepublikují.
Bylo tedy pro mě občas náročné skloubit vědu s osobním životem – mám skvělého a podporujícího manžela, ale i pro něj bylo těžké, když jsem třeba týden před deadlinem pracovala do pozdních večerních hodin na home office v malém bytě (nedoporučuju!). Abych však nebyla jen negativní – přesně tohle mi pomohlo nastavit si do budoucna zdravější přístup k práci a naučit se time managementu.
Co byste poradila těm, kteří zvažují vědeckou kariéru v informatice?
Doporučila bych udělat si důkladný průzkum místa – jak je to s financováním (budu mít příjem z grantu, nebo od instituce?) a jestli má vedoucí i jiné doktorandy. Já jsem byla zpočátku dost osamocená, protože po covidu moc doktorandů nebylo. Někomu to nevadí, ale obecně si myslím, že je lepší výzkum strojového učení dělat ve skupině. Téma by vás mělo bavit, ale dobrý školitel a spolupracovníci jsou základ.
Velmi doporučuji výjezdy do zahraničí. I když jsem se toho zpočátku bála, na popud svého školitele jsem nakonec vycestovala a jsem za to velmi ráda – opravdu mi to hodně dalo.
A poslední rada by byla – řešte věci včas a ptejte se, když něco nevíte. Je to lepší, než se ve výzkumu týdny točit v kruhu. My matfyzáci máme občas pocit, že musíme věci vyřešit sami (a co nejlépe), což vždycky není nejlepší přístup – fail fast!
