Prawdą jest jednak, że spotkał się z krytyką i kontrowersjami przez całą swoją karierę, co prowadzi do napięcia z sieciami i widzami.
Oto kilka przykładów tego, co mogło przyczynić się do tego postrzegania:
* krytyka sportowców: Cosell był znany z krytyki występów sportowców, często z tępym i niefiltrowanym stylem. Czasami doprowadziło to do publicznych starć z graczami.
* komentarze rasowe i społeczne: Był również znany z rozwiązywania problemów społecznych i rasowych, czasem w sposób uznany za niewrażliwy lub ofensywny.
* Związanie z sieciami: Miał nieco bojowy związek z sieciami, często kwestionując ich autorytet i przekraczając granice swoim komentarzem.
Chociaż nigdy nie było ani jednego incydentu, który doprowadził do jego usunięcia z nadawania, czynniki te przyczyniły się do postrzegania go jako kontrowersyjnej postaci. Ostatecznie wycofał się z nadawania w 1985 roku, ale było to bardziej ze względu na jego wiek i zdrowie niż jakiekolwiek konkretne kontrowersje.