İşte bildiklerimiz:
* Spor Kanıtı Yok: Madison'un herhangi bir organize spor veya fiziksel aktiviteye katıldığına dair hiçbir tarihsel kayıt yok.
* Sınırlı Boş Zaman Aktiviteleri: Madison'ın hayatı büyük ölçüde politika ve entelektüel uğraşlarla geçti. O doymak bilmez bir okuyucuydu, hükümetin keskin bir gözlemcisiydi ve kendini tarih ve felsefeye adamış bir öğrenciydi.
* Binicilik: Bir spor olmasa da, Madison'ın muhtemelen ulaşım ve eğlence amaçlı ata binmekten hoşlandığı biliniyordu.
* Bahçecilik: Madison ayrıca çiftçiliğe ve bahçeciliğe de büyük ilgi duyuyordu ve çoğu zaman kendi mülkünü yönetiyordu.
Sonuç olarak, James Madison'ın hayatı entelektüel uğraşlara ve kamu hizmetine odaklanmıştı; önemli atletik veya eğlence amaçlı hobilere dair sınırlı kanıt vardı.