Kolb fu scelto nel Draft NFL 1969 dai Pittsburgh Steelers[1], giocandovi per tutta la carriera fino al 1981. Nelle prime due stagioni non disputò alcuna partita come titolare. Lo divenne stabilmente nel 1971, sostituendo Mike Haggerty, non abbandonando quel ruolo fino al ritiro, anche se negli ultimi due anni lo condivise con Ted Petersen (1980) e Ray Pinney (1981). Con gli Steelers vinse quattro Super Bowl, nelle stagioni 1974, 1975, 1978 e 1979.
Durante i suoi giorni da giocatore, Kolb era classificato come uno degli uomini più forti fisicamente della NFL, proteggendo il lato debole di Terry Bradshaw e aprendo spazi per i running backFranco Harris, Rocky Bleier e John Fuqua. Come molti giocatori degli Steelers degli anni settanta, Kolb ebbe un suo personale seguito di tifosi, conosciuti come "Kolb's Kowboys".