Terrell Philadelphia, Pensilvanya'da doğdu ve kariyerine gençken çeşitli yerel gruplarda şarkı söyleyerek başladı. 1961'de Motown Records ile sözleşme imzaladı ve ilk solo single'ı "Beni Sevdiğine İnanamıyorum"u çıkardı. Şarkı küçük bir hit oldu ama Terrell'in Motown organizasyonu içinde tanınmasına yardımcı oldu.
1964'te Terrell, Marvin Gaye ile "Yeterince Yüksek Dağ Yok" düetini kaydetti. Şarkı büyük bir hit oldu, Billboard Hot 100 listesinde bir numaraya yükseldi ve iki Grammy Ödülü kazandı. Terrell ve Gaye işbirliğine devam ettiler ve aralarında "Kıymetli Aşkınız", "Geçmem Gereken Tek Şey Sensin" ve "Tüm Dünyamı Senin Etrafında Kurabilseydim" dahil olmak üzere birkaç başarılı düet daha yayınladılar.
1967'de Terrell'e beyin kanseri teşhisi konuldu. Ameliyat edildi ve tedavi gördü, ancak kanser 1969'da geri döndü. Terrell, 16 Mart 1970'te Philadelphia'da 24 yaşındayken öldü.