Peter Larsson speelde in zijn jeugd bij IF Hallby. In 1981 vertrok hij naar Halmstads BK, alvorens hij zich voegde bij de Zweedse topclub IFK Göteborg. Hiermee won hij tweemaal het Zweedse landskampioenschap en in 1987 de UEFA cup. Hij werd uitgeroepen tot Zweeds voetballer van het jaar en maakte in datzelfde jaar de overstap naar Ajax.
Hij speelde als centrumverdediger en als linksback tot 1991 bij de Amsterdamse club. Met Ajax speelde Larsson in de verloren Europa cup II finale tegen KV Mechelen. Met Ajax werd hij landskampioen in 1990. In 1991 keerde hij terug naar Zweden en speelde bij AIK Solna. Met deze club won hij voor de derde maal het Zweedse landskampioenschap.