Před rokem se jim podařilo vytvořit jeden z historických milníků vývoje umělé inteligence. Martin Schmid a Matej Moravčík, doktorandi z Matfyzu, se jako členové mezinárodního výzkumného týmu podíleli na vývoji programu DeepStack, který jako první porazil profesionální lidské hráče v pokeru. Oba mladí vědci teď dokončují studia a současně od října pracují v kanadském Edmontonu na umělé inteligenci pro společnost Google DeepMind.
Pokerem jste se začali zabývat už na Matfyzu. Co vás k jeho zkoumání přivedlo? Byla to hráčská vášeň?
Matej Moravčík (M.M.): Na úplném začátku trochu ano, ale celkově šlo spíš o náhodu. S Martinem jsme nastupovali na Matfyz v době, kdy bylo velmi populární hrát poker přes internet. Oba dva jsme internetový poker zkoušeli, ale rychle jsme zjistili, že z nás úspěšní hráči asi nebudou. Zaujala nás však matematická stránka hry. Když jsme se pak dozvěděli, že existuje pokerový turnaj určený pro počítačové programy, domluvili jsme se, že jeden program zkusíme vytvořit.
Jak jste v turnaji dopadli?
M.M.: S prvním programem, který se jmenoval Nyx, jsme v roce 2013 obsadili třetí a čtvrté místo na soutěži Annual Computer Poker Competition (ACPC). O rok později, v roce 2014, jsme byli třetí. Měli jsme tenkrát o poznání méně zkušeností a znalostí než dnes. Museli jsme toho hodně zvládnout za běhu a dost jsme se díky tomu zlepšili v programování a naučili se psát vědecké články.
Takže z původního koníčku vznikl odborný zájem...
M.M.: Nejdřív to byla jen taková naše volnočasová aktivita. Postupně jsme se ale pokerem a hlavně teorií her, která je s ním spojená, začali zabývat také v rámci našeho výzkumu na Matfyzu.
Na konferenci v Montrealu jste se setkali s prof. Bowligem z University of Alberta, který vás pak přizval do svého týmu v Kanadě. Jaké programátorské a výzkumné zkušenosti jste v té době už měli za sebou?
Martin Schmid (M.S.): Kromě účasti na ACPC jsme za sebou měli pár publikací pod hlavičkou asociace AAAI, která je pořadatelem jedné z předních světových konferencí zaměřených na umělou inteligenci. Oba jsme zároveň při škole pracovali pro IBM Watson, odkud jsme pro změnu měli praktické zkušenosti s neuronovými sítěmi, které jsme posléze využili při navrhování DeepStacku.
Měli jste už od počátku spolupráce s kanadským týmem ambici vytvořit program, který by v pokeru dokázal porazit profesionálního lidského hráče?
M.S.: Věřili jsme, že se nám něco takového může podařit. Náš projekt hned na začátku podpořila newyorská pobočka IBM a sebevědomí nám dodal také úspěch AlphaGo, počítačového programu, který vyvinula společnost Google DeepMind. Jejich umělá inteligence jako první porazila člověka v deskové hře go a s naším projektem měla několik společných rysů.
V souvislosti s DeepStackem se často skloňuje slovo „přelomový“. V čem se tak liší od podobných předchozích programů?
M.S.: V tom, jakým způsobem algoritmus funguje. Předchozí programy, ať už hrály dámu, šachy nebo zmiňované go, se nemusely potýkat se situací, kdy soupeři není vidět do karet.
M.M.: Algoritmus navíc výpočty provádí v průběhu hraní, až když je to potřeba. Předchozí programy potřebovaly spočítat strategii pro všechny možné situace předem. V pokeru tohle není možné, protože počet situací, které v něm mohou nastat, je vyšší než počet všech atomů ve vesmíru.
Program disponuje také něčím, čemu říkáte počítačová intuice. Jak funguje?
M.M.: Kvůli obrovskému množství pokerových situací není program schopen vybrat vhodnou strategii pomocí přesného výpočtu. Proto jsme DeepStack naprogramovali tak, aby se správnou hodnotu naučil sám odhadovat. Rozhoduje se na základě svých předchozích zkušeností, resp. vychází ze situací, které jsme mu předtím ukázali. Tento přístup se do velké míry podobá intuici, kterou využívají pokeroví hráči. Celý proces stojí na umělých neuronových sítích.
Jak dlouho už se vůbec vědci o poker zajímají?
M.S.: Jedním z prvních, kdo zkoumal matematické vlastnosti pokeru, byl John von Neumann. To bylo v první polovině minulého století. Cílený výzkum algoritmické teorie her a pokeru probíhá zhruba posledních dvacet let, především na kanadské University of Alberta a americké Carnegie Mellon University.
Teorie her, která patří mezi disciplíny aplikované matematiky, nezkoumá pouze hry v tom běžném slova smyslu. Jaké jevy je možné popisovat a studovat jako hru?
M.M.: Teorie her analyzuje široké spektrum rozhodovacích situací, které mohou nastat tam, kde dochází ke střetu zájmů. Takové situace analyzuje a hledá optimální řešení. Tato disciplína má skutečně velký rozsah, tradičně se využívá například jako základ ekonomických a biologických modelů. Jeden ze zakladatelů moderní teorie her, John Forbes Nash, dostal za svoji práci Nobelovu cenu za ekonomii.
Jaké využití by mohl mít program, jako je DeepStack?
M.M.: Samotný DeepStack je algoritmus aplikovatelný na širokou třídu her, takže šanci na praktické využití má. Pomocí teorie her se dá popisovat a řešit mnoho reálných problémů. V současnosti se její postupy využívají například při plánování tras pobřežní stráže, plánování bezpečnostních prohlídek na letištích anebo třeba pro plánování tras revizorů v metru.
Co je po pokeru další výzvou pro umělou inteligenci?
M.M: Jednou odnoží výzkumu je testování umělé inteligence na počítačových hrách. K tomu se v současnosti asi nejvíc používají staré hry od Atari. Společnosti DeepMind a OpenAI zase pracují na hrách jako StarCraft a DOTA.
Jaký význam mají testy na hrách pro další výzkum a praxi?
M.S.: Všechny tyto hry v mnoha ohledech slouží jako měřítko pokroku algoritmů. Pokud umělá inteligence zvládne složitou hru nebo simulaci, je to důležitý krok pro praktické aplikace. Není těžké si pak představit použití stejných mechanismů třeba v robotice nebo automatizaci.
Konkrétním příkladem jsou samořiditelná auta, na kterých v současnosti pracuje obrovské množství firem. Po technické stránce je v tomto směru jednoznačně nejdále Google. Jeho stávající aplikace, jako jsou třeba mapy nebo hlasoví asistenti v telefonu, se za posledních pár let neuvěřitelně zlepšily, takže se dá očekávat, že podobným tempem bude pokračovat i vývoj autonomních vozidel.
Pro Google, resp. jeho firmu DeepMind specializující se na vývoj umělé inteligence, teď pracujete. Můžete říct na jakém výzkumu?
M.S.: Pracovní smlouva nám zakazuje hovořit o projektech, na kterých zrovna pracujeme. Můžu ale říct, že nás výzkum hodně baví. Možnost věnovat se něčemu, co nás baví, a k tomu mít ještě celodenní přísun jídla zdarma, to je prostě splněný sen.