José Sá werd geboren in Braga en speelde in de jeugd van Palmeiras Braga, Merelinense, SL Benfica en CS Marítimo. Op 23 januari 2013 debuteerde hij in het B-elftal van CS Marítimo in de Segunda Liga tegen União Oliveirense.[3] Op 18 augustus 2013 maakte Sá zijn debuut in het eerste elftal. In de openingswedstrijd van het seizoen 2013/14 mocht hij in het basiselftal starten tegen Benfica en hielp hij zijn team mee aan een 2–1 overwinning.[4] In zijn debuutjaar kwam Sá tot een totaal van acht competitieduels. In 2016 vertrok Sá naar FC Porto, waar hij in het begin vooral in het B-elftal moest aantreden. Uiteindelijk kwamen er voor Sá ook optredens in het eerste van de club. In juli 2019 verhuisde Sá naar Olympiakos Piraeus. Met de Grieken werd hij twee keer landskampioen en won hij een keer de Griekse voetbalbeker. In juli 2021 tekende Sá een contract tot medio 2026 bij Wolverhampton Wanderers.