Ailesi nesillerdir Amerika'da olmasına rağmen sonuçta İngiliz kökenliydi. Babası Joseph Allen Connecticut'ta doğmuştu ama büyükbabası İngiltere'den Amerika'ya gelmişti.
Allen'ın ailesi ve hayatı Amerikan kolonilerine derinden bağlı olsa da onun ataları İngiltere'ye sıkı sıkıya bağlı.