Parmezán sajt gyártó fiaként született 1924. július 13-án, mindössze egy kilométerre a Verdi-villától. Eredetileg is muzsikusnak készült, zongorázott, párhuzamosan énekelni is tanult, de színpadi karrierje előtt a második világháborúban katonaként, mint légelhárító szolgált.
Majd Hitler Németországában volt munkaszolgálatos, büntetésül antifasiszta meggyőződése miatt. Immár szabadon folytatta zenei tanulmányait, különös módon azonban a színpadokon még baritonként kezdte.
Figaro volt Rossini borbélyában, Schaunard zenész a Bohéméletben, még a Traviatában is az öreg Germont, és nem Violetta nagy szerelme. Aztán 1950.-ben a Rigolettóban már ő volt a mantuai herceg, ezt követően aztán örökre tenor maradt. Nemzetközi pályafutása a New York-i Metropolitanben indult 1956.-ban az Aida Radameseként.
Ettől kezdve a Met egyik sztárja, harminchárom évadban kétszázötvenszer énekelt mintegy húsz szerepben. Utoljára 1988.-ban Donizetti Lammermoorijában. Bejárta az egész világot, Bécs, Tokió, Berlin, Madrid, San Francisco, Barcelona, Buenos Aires színpadait. John Kennedy emlékére Solti György vezényletével a Verdi Requiem tenorja volt.
Legnagyobb szakmai sikerének a színhelye mégis Párizs volt l964.-ben, ahol a Toscában Maria Callas partnereként Cavaradossit énekelte. A szopránok királynője így kiáltott föl: "Micsoda hang ez a Carlo! Hihetetlen, hogy valaki ilyen tökéletes legyen!".
Egyesek szerint túlságosan későn búcsúzott 1994.-ben koncert sorozattal, Bécsben, New Yorkban és a milánói Scalában. Hatalmas életpályájának a tragédiája 2000.-ben érte a New York-i Carnegie Hallban, Verdi Otellójának a címszerepében. A második fölvonás után rosszul lett, Desdemonát már nem tudta megfojtani.
