Ocenění Nadačního fondu Bernarda Bolzana za rok 2025 získal v oblasti informatiky Mgr. Tomáš Sourada z Ústavu formální a aplikované lingvistiky.
Jeho oceněná práce Corpus Frequencies in Morphological Inflection: Do They Matter? zlepšuje hodnocení kvality automatických systémů skloňování a časování napříč různými jazyky.
Dnes se věnuje také hudbě v kontextu velkých jazykových modelů, když předtím na Matfyzu propojil v odborné práci své dva velké zájmy, matematiku a jazyky. Čím ho zaujala počítačová lingvistika a proč v letadle oslovuje neznámé spolucestující?
Co vás především motivuje k vědecké práci v oblasti počítačové lingvistiky?
Prvotním impulzem bývá situace, kdy něco nefunguje a já cítím, že by to fungovat mohlo. Například Facebook neumí skloňovat vlastní jména, a tak je používá v základních tvarech i v kontextech, kde čeština vyžaduje vyskloňovaný tvar. Třeba když vás René pozve na nějakou oslavu, Facebook napíše „Dejte René vědět, zda dorazíte“, namísto správného „Dejte Renému vědět...“ To byl jeden z důvodů, proč jsem se začal zabývat automatickým skloňováním.
Když už se pak na daný problém podívám blíže, původní motivace se mění, už není tolik inženýrská ve smyslu „rozchodit to, aby to fungovalo“, ale hlubší s cílem zjistit, jak dobře to funguje nebo jak správně vyhodnotit, zda a jak dobře to funguje. Často se pak setkám se skutečností, že co mně připadá jako zcela intuitivní východisko a řešení, nezkusil ještě nikdo přede mnou udělat. A pak mám jasnou motivaci se tímto směrem vydat.
K počítačové lingvistice jsem se konkrétně dostal skrze svoji lásku k matematice a jazykům. Kvůli matematice jsem šel studovat informatiku a záliba v jazycích pak podmínila volbu lingvistické specializace. Řekl bych, že počítačová lingvistika momentálně představuje jeden z nejživějších oborů. Její důležitost pro mě zvyšuje i fakt, že nabízí tolik práce v tolika výzkumných tématech. Právě u nás se mimo jiné dělají velké jazykové modely, kterým se dnes lidově říká „AI“.
Ve své oceněné práci se věnujete především principům skloňování nebo časování napříč jazyky. Obvyklý pohled však doplňujete o faktor četnosti výskytu jednotlivých tvarů. Jaká nová zjištění tento přístup přináší?
Zejména jsem poukázal na to, že pokud nás zajímá, jak dobře nějaký systém funguje, tedy jak dobře skloňuje nebo časuje, měli bychom v hodnocení zohlednit frekvenci skutečného výskytu slov, na kterých jeho kvalitu testujeme.
Například systém, který špatně časuje velmi časté sloveso „být“ a naopak v podstatě nepoužívané sloveso „vykřemenit“ časuje správně, by měl být vyhodnocen jako horší než systém s opačným chováním. Chyba v časování slovesa „vykřemenit“ jednoduše není tak významná.
Důležitým přínosem je tedy lepší schopnost vzájemného rozlišení různě funkčních systémů. Dále jsem se věnoval trénování skloňovacích systémů a hledal odpověď na otázku, zda má smysl v průběhu jejich učení dávat různě častým slovům také různý důraz. V tomto případě však byly výsledky nejednoznačné, některým jazykům tento přístup pomáhal, jiné to naopak poškodilo.
Pro jaké aplikace může být tento přístup důležitý?
Pro jakékoliv aplikace, kde potřebujeme skloňovat slova. Pokud by například už zmíněný Facebook chtěl skloňovat vlastní jména, mohl by při rozhodování o volbě použitého systému hledět na to, jak častá vlastní jména skutečně jsou, tedy kolik uživatelů s daným jménem či přezdívkou Facebook má.
Pokud by mělo být vaše řešení součástí širších aplikací, jak moc je výpočetně zatíží?
Samotný systém pro skloňování, který jsem v rámci práce vyvinul, je velmi nenáročný. Jde o malou neuronovou síť architektury Transformer, která může běžet na jednom procesoru a nepotřebuje mnoho operační paměti.
Kdo nebo co vás na tuto zdánlivě jednoduchou myšlenku přivedl?
Popravdě už netuším. Velmi pravděpodobně jsme k tomu došli v dlouhých diskusích s mojí tehdejší vedoucí Janou Strakovou.
Budete tuto práci dále rozvíjet, nebo už se pro vás dané téma vyčerpalo?
Je to trochu smutné, ale ukazuje se, že vědecká komunita kolem skloňování tak nějak ochladla. Věnuje se mu už velmi málo lidí. Nevadilo by mi to, pokud bychom už automatické skloňování mohli považovat za vyřešený problém. Zatím ale vyřešený není, protože Facebook nás pořád oslovuje nevyskloňovanými vlastními jmény.
Nicméně sám jsem se ve svém výzkumu posunul dál a momentálně se ve výzkumné skupině Prague Music Computing Group pod vedením Honzy Hajiče mladšího věnuji hudbě ve velkých jazykových modelech. Zkoumám, jak dobře velké jazykové modely (např. ChatGPT, Gemini, Claude) rozumí hudbě v různých podobách, jejím nahrávkám, naskenovaným notovým zápisům nebo symbolickým reprezentacím jako MIDI nebo MusicXML.
Kudy vedla vaše cesta na Matfyz?
Odjakživa mě bavila matematika, během střední školy jsem řešil matematickou olympiádu a korespondenční semináře, takže bylo vlastně dost jasné, že skončím na Matfyzu. Jen to zpočátku vypadalo, že hlavním zájmem bude matematika. Nakonec ale zvítězila informatika, kterou jsem v danou chvíli vnímal jako matematiku aplikovanou na celou škálu různých oblastí.
Jak hodnotíte zázemí fakulty pro studenty?
Rozhodně bych chtěl pochválit menzu v podzemí budovy na Malostranském náměstí. Možná to vypadá jako vtip, ale já to myslím vážně. Menza v budově Informatické sekce, kde se navíc výborně vaří, je prostorem k setkávání studentů i vědeckých pracovníků v neformálním duchu. Můžeme tu diskutovat o svém výzkumu s lidmi, s nimiž bychom se jinak na chodbě do řeči nedali. A rozšiřujeme si tak obzory.
Jak hodnotíte Matfyz a Ústav formální a aplikované lingvistiky v kontextu mezinárodního výzkumu?
Fakultu asi moc hodnotit nedokážu, ale můj pohled na ÚFAL snad vystihne následující historka. Právě jsem se vrátil z konference v Maroku a cestou tam jsem v letadle potkal dva Španěly s posterem přes rameno. Rovnou jsem se jich zeptal, jestli taky letí na konferenci. Řekli, že ano, a ptali se, odkud jsem. Když jsem řekl, že z České republiky, následovala otázka, zda jsem z ÚFALu. V oblasti počítačové lingvistiky je tedy Česká republika synonymem pro ÚFAL, a to rozhodně v tom nejlepším slova smyslu.
Jaké máte další kariérní plány? Chcete i nadále dělat vědu?
Pro tuto chvíli zůstávám ve vědě. V září jsem na Matfyzu nastoupil na doktorát, takže ještě tak tři a půl roku ve vědě s jistotou budu. Co potom, uvidím. Věda mě v tuto chvíli hodně láká, ale je možné, že mě něco jiného zláká víc. Třeba i život na maloměstě, odkud se mi nebude chtít dojíždět...
Jak vnímáte ocenění od NFBB?
Vnímám ho jako dobrou příležitost poděkovat mé bývalé vedoucí Janě Strakové. Ocenění sice přebírám jako student za článek, jehož jsem hlavním autorem, nicméně ten by bez jejího vedení nikdy nevznikl. Ona mě provedla náročným vědeckým polem k diplomové práci a dvěma článkům, a nakonec velkou měrou přispěla k tomu, kde teď jsem. Kdyby mě totiž vědecká práce s ní nebavila, rozhodně bych nikdy na doktorát nešel.
Nadační
fond Bernarda Bolzana funguje od roku 1999 při Matematicko-fyzikální
fakultě UK. K jeho úkolům patří mimo jiné nevýdělečná podpora
vědecké a pedagogické činnosti na Univerzitě Karlově v oborech fyziky,
matematiky a informatiky, rozšiřování úrovně experimentálních možností a teoretických postupů nebo zprostředkování širšího mezinárodního
uplatnění vědeckých výsledků dosažených v daných oborech na
UK.
