Johnson Canton, Güney Dakota'da doğdu ve bir çiftlikte büyüdü. 1982 yılında Güney Dakota Üniversitesi'nden siyaset bilimi bölümünden mezun oldu. Birkaç yıl yasama yardımcısı olarak çalıştıktan sonra 1986 yılında Güney Dakota Temsilciler Meclisi'ne seçildi. Temsilciler Meclisi'nde iki yılı konuşmacı olmak üzere altı yıl görev yaptı.
1996 yılında Johnson, görevdeki Cumhuriyetçi Larry Pressler'ı yenerek Amerika Birleşik Devletleri Senatosu'na seçildi. 2002'de ikinci, 2008'de ise üçüncü dönem seçildi.
Johnson, ılımlı siyasi görüşleri ve hem Cumhuriyetçiler hem de Demokratlarla çalışma isteğiyle tanınıyordu. Aynı zamanda tarımın ve kırsal kalkınmanın güçlü bir destekçisiydi.
Johnson, 2014 yılında Senato'da dördüncü dönem aday olmayacağını açıklamıştı. Kararının nedeni olarak 2006 yılında geçirdiği felç de dahil olmak üzere sağlık sorunlarını gösterdi.
Johnson 2015 yılında Senato'dan ayrıldı. Kendisi şu anda emekli ve Güney Dakota'nın Vermillion kentinde yaşıyor.