Johnson urodził się w Canton w Południowej Dakocie i wychował na farmie. W 1982 roku ukończył studia na Uniwersytecie Dakoty Południowej, uzyskując dyplom z nauk politycznych. Po kilku latach pracy jako doradca legislacyjny, w 1986 r. został wybrany do Izby Reprezentantów Dakoty Południowej. Pełnił tę funkcję przez sześć lat, w tym dwa lata jako spiker.
W 1996 roku Johnson został wybrany do Senatu Stanów Zjednoczonych, pokonując urzędującego republikanina Larry'ego Presslera. W 2002 został wybrany na drugą kadencję, a w 2008 na trzecią kadencję.
Johnson był znany ze swoich umiarkowanych poglądów politycznych i chęci współpracy zarówno z Republikanami, jak i Demokratami. Był także zdecydowanym zwolennikiem rolnictwa i rozwoju wsi.
W 2014 roku Johnson ogłosił, że nie będzie ubiegał się o czwartą kadencję w Senacie. Jako powód swojej decyzji podał problemy zdrowotne, w tym udar, którego doznał w 2006 roku.
Johnson opuścił Senat w 2015 r. Obecnie jest na emeryturze i mieszka w Vermillion w Południowej Dakocie.