Dopo aver concluso la carriera da calciatore, vestendo anche le maglie di Dukla Praga - con cui vince un campionato nazionale nel 1969 - e Sparta Praga, inizia ad allenare i club cecoslovacchi. Nel 1988 guida per un paio d'anni lo Sparta Praga, vincendo due campionati consecutivi (1989 e 1990), una coppa della Cecoslovacchia (1989) e una Coppa Piano Rappan (1989). In seguito passa un anno in Turchia, quindi allena gli spagnoli del Real Betis, raggiungendo il quarto posto nella seconda divisione e perdendo gli spareggi play-off contro il Deportivo La Coruña per la promozione nella Liga. Nel 1992 torna in patria con lo Slavia Praga, cogliendo un paio di successi nella Coppa Piano Rappan (1992 e 1993). Allena il Cheb, quindi fa ritorno allo Sparta Praga nel marzo 1995, andando a vincere il campionato ceco a fine stagione. Nell'agosto 1995 lascia il club e passa ad allenare tra Grecia e Turchia. Nella stagione 2001-2002 guida il Baník Ostrava, nell'estate 2002 torna allo Sparta ma a dicembre è licenziato dall'incarico. Nel 2004 è sulla panchina del Baník, con cui vince la coppa della Repubblica Ceca 2005.
Wikimedia Commons contiene immagini o altri file su Jozef Jarabinský