Na příběhu diplomové práce Tomáše Součka z Matfyzu je vidět, jak se akademický výzkum může proměnit v celosvětově uznávaný standard. Vše začalo v roce 2020 jako studentský projekt pod vedením Jakuba Lokoče, který se posléze přes dílčí úspěchy dostal až do laboratoří výzkumníků technologického giganta. Matfyzácký nástroj TransNet V2 dnes využívá firma NVIDIA pro přípravu dat na trénování nejmodernějších modelů umělé inteligence v oblasti autonomní robotiky.
Výzkumný tým NVIDIA v nedávno publikované studii představitelných modelů pro roboty popsal proces zpracování miliard obrázků a videí z různorodých zdrojů. Při rozdělování dlouhých záznamů na časově konzistentní sekvence bez rušivých střihů nasadili výzkumníci nástroj TransNet V2, jehož autorem je absolvent Matfyzu Tomáš Souček a jeho někdejší vedoucí Jakub Lokoč z Katedry softwarového inženýrství MFF UK.
„Pro předzpracování obřího množství video dat potřebovali v NVIDIA spolehlivě detekovat střihy a přechody mezi scénami. Nezůstalo tak jen u teoretické citace v odborném článku, firma náš model nasadila do produkčního řetězce pro přípravu dat, na kterých trénuje sítě pro robotiku,“ vysvětluje doc. Jakub Lokoč.
Od diplomky k mezinárodnímu standardu
Příběh nástroje TransNet V2 začal jako diplomová práce Tomáše Součka zaměřená na detekci střihů ve videu pomocí hlubokých neuronových sítí. Vývoj probíhal za výrazné podpory juniorského grantu GA ČR (Flexible models for known-item search in large video collections, GAČR 19-22071Y), který doc. Lokoč v letech 2019–2021 vedl.
Autor spolu s vedoucím publikovali výsledky jako volně dostupný open-source software na platformě GitHub a v archivu vědeckých prací arXiv. Reakce komunity na sebe nenechala dlouho čekat a algoritmus si díky vysoké přesnosti a rychlosti rychle získal oblibu mezi výzkumníky z celého světa. Projekt na GitHubu nasbíral přes 1 000 komunitních hodnocení („stars“) a samotný výzkumný text zaznamenal stovky citací. Zásadní vědecké potvrzení kvality celého softwaru přišlo v roce 2024, kdy byla práce přijata na prestižní vědeckou konferenci kategorie A* (ACM Multimedia v sekci Open Source Software).
Když teorie pomáhá v praxi
Případ TransNet V2 ukazuje, jaký dopad může mít kvalitně vedený akademický výzkum s podporou národních grantových agentur. To, co začalo jako fakultní zadání pro studenta, se postupně proměnilo v mezinárodně uznávaný model, který dnes usnadňuje vývoj autonomních robotů schopných chápat fyzický svět kolem nás. Zároveň se ukazuje, jak důležitá je spolupráce a sdílení informací. Model, který byl původně efektivně trénovaný díky grafické kartě, se nyní u jejího výrobce úspěšně zapojuje do nových projektů. Můžeme říci, že se kruh uzavírá.
Tomáš Souček vystudoval Umělou inteligenci a Obecnou informatiku na MFF UK. Jako student bakalářského studia vyhrál v roce 2018 společně s Gregorem Kovalčíkem pod vedením dr. Jakuba Lokoče z KSI prestižní mezinárodní soutěž Video Browser Showdown zaměřenou na vyhledávání v multimédiích. V současnosti působí jako Senior Research Scientist v laboratoři Meta FAIR v Paříži, kde se věnuje pokročilému výzkumu v oblasti generování a zabezpečení obrazu/videa (např. digitální vodoznaky a Content Seal).
Odkazy & zdroje:
● Diplomová práce Tomáše Součka: TransNet V2: Shot
Boundary Detection Network
● Publikace na ACM
Multimedia 2024
● Open-source kód
● Článek NVIDIA (s využitím
TransNet V2)
Projekt byl finančně podpořen Grantovou agenturou ČR (GA ČR 19-22071Y).
Původní materiál Informatické sekce.