Die Eltern von Fritz d’Orey stammten aus Portugal. Sein für einen Brasilianer untypischer Vorname Fritz verweist auf seinen Großvater, der Deutscher war. Seine Eltern führten eine Packard-Vertretung in São Paulo, und d’Orey kam so früh mit dem Motorsport in Berührung. Sein erstes Fahrzeug war ein Porsche Spyder. Später kaufte er sich von seinem Landsmann Chico Landi dessen Formel-1-Ferrari, mit dem er in den späten 1950er-Jahren begann in Brasilien, Argentinien und Uruguay regelmäßig Rennen zu fahren.
1959 kam er nach Europa und startete für den kleinen italienischen Rennstall Scuderia Centro Sud in der Formel-1-Weltmeisterschaft. Gleich beim Debüt beim Großen Preis von Frankreich hatte er einen schweren Unfall. Nach einem weiteren Kurzauftritt beim Großen Preis von Großbritannien fuhr er für Camoradi Racing mit deren Tec-Mec-Maserati noch den Großen Preis der USA. In keinem der drei Grands Prix konnte er sich platzieren und seine Formel-1-Karriere blieb unvollendet.
Parallel zu den Monposti fuhr d’Orey aber auch Sportwagenrennen, und diese so erfolgreich, dass Ferrari ihm für 1960 einen Werksvertrag anbot, den er annahm. Aber schon beim ersten Rennen in Monza hatte d’Orey, der von sich sagte, „Ich bin ein großes ungezogenes Kind geblieben“, einen schweren Unfall nach einer Kollision mit seinem Teamkollegen Phil Hill.
Fritz d’Oreys Karriere (er fuhr fast immer über seine Verhältnisse) endete 1960 beim Training zu den 24 Stunden von Le Mans. Er raste in den frühen Morgenstunden mit einem Ferrari der Scuderia Serenissima gegen einen Baum und zog sich so schwere Verletzungen zu, dass er acht Monate im Krankenhaus verbringen musste. D’Orey konnte zwar völlig genesen, fuhr aber nie wieder ein Rennen.