Johnson urodził się w Indianapolis w stanie Indiana. Zaczął grać na puzonie w wieku 11 lat. Studiował w Arthur Jordan Conservatory of Music i Indiana University School of Music.
Johnson przeprowadził się do Nowego Jorku w 1942 roku i szybko stał się jednym z najbardziej poszukiwanych puzonistów w mieście. Grał z Charliem Parkerem, Dizzym Gillespie, Budem Powellem i innymi legendami bebopu.
W latach pięćdziesiątych Johnson zaczął eksplorować hard bop, nowszy, bardziej agresywny styl jazzu. Nagrał kilka wpływowych albumów z własnymi zespołami, w tym „The Eminent Jay Jay Johnson Volume 1” (1954) i „Jay Jay Johnson with Clifford Brown” (1955).
Johnson kontynuował tournee i nagrywanie w latach sześćdziesiątych i siedemdziesiątych. Wykładał także w Berklee College of Music i Manhattan School of Music.
Johnson zmarł na atak serca w Indianapolis w 2001 roku. Miał 77 lat.
Johnson był mistrzem puzonu. Miał wyjątkowe brzmienie, które było natychmiast rozpoznawalne. Był także utalentowanym improwizatorem i kompozytorem. Jego muzyka wywarła wpływ na niezliczoną liczbę puzonistów na całym świecie.
Oto niektóre z najsłynniejszych kompozycji Johnsona:
* „Lament”
* „Ezz-tetyczny”
* „Zagadka”
* „Gwiezdny pył”
* „Niebieski Funk”