كان جيمس ماديسون أقصر رؤساء الولايات المتحدة قامةً، إذ بلغ طوله ٥ أقدام و٤ بوصات، أي نحو ١.٦٣ متر. وقد عُرف ماديسون، إلى جانب مكانته السياسية البارزة، بهذا التفصيل الجسدي الذي جعله يتصدر قائمة الرؤساء الأميركيين من حيث القصر، من دون أن ينتقص ذلك من حضوره في التاريخ السياسي للبلاد.
