Irvin dal 1938 al 1948 giocò nelle Negro League, venendo convocato per cinque All-Star Game e vincendo le Negro League World Series con i Newark Eeagles nel 1946. Nel 1949 divenne uno dei primi giocatori afroamericani a passare nella MLB dopo che Jackie Robinson ruppe la barriera razziale nel 1947. Debuttò con i New York Giants l'8 luglio 1949. Due anni dopo guidò la National League con 121 punti battuti a casa (RBI), contribuendo a raggiungere le World Series. Quell'anno assieme a Hank Thompson e Willie Mays formò il primo gruppo di esterni interamente composto da giocatori afroamericani della storia della lega. A fine anno si classificò al terzo posto nel premio di MVP della National League. Sempre nel 1951, gli fu chiesto dal manager Leo Durocher di fare da mentore alla futura superstar Mays, che in seguitò lo ricordò "come un fratello".[1]
Irvin fu convocato per il suo unico All-Star Game nella MLB nel 1952, malgrado l'avere subito una frattura a una gamba ad aprile. Disputò solo 46 gare quell'anno, con una media battuta di .310, 4 fuoricampo e 21 RBI.[2] Batté con .329 con 21 home run e 97 RBI nel 1953. L'anno successivo i Giants vinsero le World Series in quattro partite, dove fece registrare due valide in nove turni in battuta.[3]
Nel 1956, Irvin passò ai Chicago Cubs.[4] Con essi disputò 111 gare, battendo con .271 e 15 home run.[5] L'anno successivo fu costretto al ritiro da un infortunio alla schiena.
^ Chris Haft, Irvin played big part in Mays' ascension, su m.giants.mlb.com, MLB.com, 13 aprile 2012. URL consultato il 20 giugno 2017 (archiviato dall'url originale il 4 marzo 2016).