Bununla birlikte, kariyeri boyunca eleştiri ve tartışmalarla karşılaştığı ve ağlar ve izleyicilerle biraz gerginliğe yol açtığı doğrudur.
İşte bu algıya neyin katkıda bulunabileceğine dair bazı örnekler:
* Sporcuların Eleştirisi: Cosell, sporcuların performansını, genellikle künt ve filtrelenmemiş bir tarzla eleştirdiği biliniyordu. Bu bazen oyuncularla halka açık çatışmalara yol açtı.
* Irksal ve Sosyal Yorum: Ayrıca, bazen duyarsız veya saldırgan olarak kabul edilen bir şekilde sosyal ve ırksal sorunları ele almasıyla da biliniyordu.
* Ağlarla çatışma: Ağlarla biraz savaşçı bir ilişkisi vardı, genellikle otoritelerine meydan okuyor ve yorumlarıyla sınırları zorladı.
Yayınlardan çıkarılmasına yol açan tek bir olay olmasa da, bu faktörler tartışmalı bir figür olarak algılanmasına katkıda bulundu. Nihayetinde 1985'te yayın yapmaktan emekli oldu, ancak yaşı ve sağlığı nedeniyle belirli bir tartışmadan daha fazlaydı.