Evals.cz

Evaluace AI aplikací, nejen modelů.

Evals.cz je pražský meetup pro lidi, kteří staví nebo zkoumají produkty poháněné AI. Benchmarky modelů na leaderboardech jsou zajímavé, ale jak zhodnotit konkrétní RAG pipeline v produkci?

Další meetup: 14. ledna ve Filevine — program a registrace brzy

Odebírat kalendář akcí na Luma

Co řešíme

Kvalita RAG systémů

Hodnocení kvality retrievalu a celkových RAG pipeline v produkci

Regrese v produkci

Jak odhalit a opravit problémy v nasazených AI systémech

Human-in-the-loop

Evaluační přístupy kombinující lidskou expertízu s automatizací

Vývojový lifecycle

Integrace evaluací do vývoje a CI/CD pipeline

Pro koho je to

ML/AI inženýři

Nasazujete a monitorujete modely v produkci

Backend vývojáři

Integrujete LLM nebo RAG do existujícího produktu

Datoví vědci

Měříte a vylepšujete výkon AI systémů

Produktoví manažeři

Potřebujete rozumět kvalitě AI funkcí

Výzkumníci AI

Studujete spolehlivost a bezpečnost AI

Začátečníci vítáni

Praktický zájem a zvědavost jsou vítány

Formát meetupu

Místo Filevine (Praha)
Formát 1-3 krátké přednášky + diskuse
Jazyk Především angličtina
Atmosféra Neformální, přátelská, praktická
"Co se pokazilo v produkci a jak jsme to opravili" — žádné sales pitche

Podpořili nás

Vzdělávání

Intro

AI Evals 101

Dvouhodinová online session o základech evaluací. Koncepty, živé demo a Q&A.

2 hodiny liveOnline3 000 CZK
Více informací
Metodologie

Co se naučíte

  • Error analysis a failure taxonomy
  • Assertion-based evaluace
  • LLM-as-Judge framework
  • RAG-specifické metriky
  • Evaluace agentů & tool-use
  • Human evaluace & anotační design
  • Integrace evaluací do CI/CD