O víkendu 4.–5. října proběhla v pražských Dejvicích tradiční konference LinuxDays 2025, která každoročně přitahuje odborníky a nadšence do otevřeného softwaru, Linuxu a souvisejících technologií. Na akci nechyběl ani stánek e-INFRA CZ, kde naši specialisté po oba dny odpovídali na dotazy návštěvníků ohledně výkonného počítání (HPC), ukládání a správy dat, zabezpečení síťového provozu či nástrojů umělé inteligence a velkých jazykových modelů (LLM) provozovaných na národní infrastruktuře e-INFRA CZ.
Součástí programu byly i dvě odborné přednášky zástupců e-INFRA CZ:
Velké jazykové modely v praxi
Lukáš Hejtmánek z CERIT-SC představil prezentaci „Velké jazykové modely v praxi: zkušenosti z provozu e-INFRA CZ“.
V rámci ní seznámil účastníky s více než půlročními zkušenostmi s provozem vlastních instancí velkých jazykových modelů určených pro vědecký výzkum. Vysvětlil, proč se e-INFRA CZ rozhodla pro vlastní provoz LLM namísto využívání komerčních řešení, a přiblížil i teoretické aspekty, jako je vztah mezi počtem parametrů a výkonem modelu, princip kvantizace či význam KV cache.
Hlavní část prezentace byla věnována praktickým zkušenostem z provozu, optimalizacím a řešení problémů, se kterými se tým setkal – například potíže s alokací paměti v některých verzích Linuxových jader nebo provozem více modelů na jednom GPU. Prezentace ukázala, že velké modely lze efektivně provozovat i na přiměřeně výkonném hardwaru.
XDP – programovatelný síťový stack
Druhou přednášku přednesl Richard Hyroš z CESNETu na téma „XDP – programovatelný síťový stack“.
Představil technologii XDP (eXpress Data Path), která využívá eBPF (extended Berkeley Packet Filter) integrovaný v jádře Linuxu k výraznému zvýšení propustnosti síťového stacku. Umožňuje zpracování síťových paketů přímo v kernelu ještě předtím, než jsou předány vyšším vrstvám, čímž zásadně snižuje latenci a zvyšuje výkon. Hyroš popsal i pokročilé režimy, jako je AF_XDP (zero copy), které umožňují obejít klasický síťový stack a efektivně směrovat pakety přímo do uživatelských aplikací – alternativně k frameworkům typu DPDK.
