Costello urodził się w Paterson w stanie New Jersey w rodzinie włoskich imigrantów. Karierę w showbiznesie rozpoczął jako nastolatek, występując w wodewilu i burlesce. Spotkał Buda Abbotta w 1936 roku i obaj utworzyli zespół komediowy. Szybko stali się jednym z najpopularniejszych zespołów komediowych na świecie, występując w nocnych klubach, w radiu i w filmach.
Komedia Abbotta i Costello charakteryzowała się slapstickowymi rutynami, wysokim głosem Costello i przesadną mimiką. Razem wystąpili w 36 filmach, w tym w „Jednej nocy w tropikach” (1940), „Buck Privates” (1941) i „Abbott i Costello spotykają Frankensteina” (1948).
Zdrowie Costello zaczęło się pogarszać na początku lat pięćdziesiątych i przeszedł kilka operacji serca. Zmarł na atak serca w 1959 roku w wieku 52 lat.
Pomimo przedwczesnej śmierci Costello uważany jest za jednego z najbardziej wpływowych komików XX wieku. Jego praca z Budem Abbottem pomogła zdefiniować gatunek komedii i zainspirowała niezliczoną liczbę innych komików.