Chociaż jego rodzina przebywała w Ameryce od pokoleń, ostatecznie byli pochodzenia angielskiego. Jego ojciec, Joseph Allen, urodził się w Connecticut, ale jego dziadek przybył do Ameryki z Anglii.
Chociaż rodzina i życie Allena były głęboko związane z koloniami amerykańskimi, jego przodkowie pozostają mocno zakorzenieni w Anglii.