Johnson Indianapolis, Indiana'da doğdu. 11 yaşında trombon çalmaya başladı. Arthur Jordan Müzik Konservatuarı ve Indiana Üniversitesi Müzik Okulu'nda okudu.
Johnson, 1942'de New York'a taşındı ve kısa sürede şehrin en çok aranan tromboncularından biri oldu. Charlie Parker, Dizzy Gillespie, Bud Powell ve diğer bebop efsaneleriyle oynadı.
1950'lerde Johnson, cazın daha yeni, daha agresif bir tarzı olan hard bop'u keşfetmeye başladı. Kendi gruplarıyla "The Eminent Jay Jay Johnson Volume 1" (1954) ve "Jay Jay Johnson with Clifford Brown" (1955) dahil olmak üzere birçok etkili albüm kaydetti.
Johnson 1960'lar ve 1970'ler boyunca turneye çıkmaya ve kayıt yapmaya devam etti. Ayrıca Berklee College of Music ve Manhattan School of Music'te ders verdi.
Johnson 2001 yılında Indianapolis'te kalp krizinden öldü. 77 yaşındaydı.
Johnson trombonun ustasıydı. Hemen tanınabilen benzersiz bir sesi vardı. Aynı zamanda yetenekli bir doğaçlamacı ve besteciydi. Müziği dünya çapında sayısız tromboncuyu etkiledi.
İşte Johnson'ın en ünlü bestelerinden bazıları:
* "Ağıt"
* "Ezz-tetik"
* "Bilmece"
* "Yıldız tozu"
* "Mavi Funk"