Urodził się na wyspie Bequia na Saint Vincent i otrzymał kolonialną szkołę podstawową. W 1930 roku Palmer otrzymał stypendium do nauki w szkole średniej w Londynie. Dzięki dodatkowym stypendiom kontynuował studia medyczne na Uniwersytecie w Birmingham, które ukończył w 1941 roku.
Wrócił do Indii Zachodnich i pracował na Jamajce, Trynidadzie i Tobago oraz na Saint Lucia. W 1950 roku Palmer wrócił do Saint Vincent, aby ćwiczyć. W 1954 roku Palmer był współzałożycielem Ludowej Partii Politycznej (PPP) i został wybrany jako ustawodawca do Rady Legislacyjnej. W 1967 roku został wybrany na stanowisko głównego ministra.
W 1979 roku Palmer poprowadził Saint Vincent i Grenadyny do niepodległości od Wielkiej Brytanii. W tym samym roku otrzymał tytuł szlachecki od królowej Elżbiety II.
W 1984 roku Palmer wycofał się z polityki, a jego następcą na stanowisku premiera został James Fitz-Allen Mitchell. Zmarł w dniu swoich 92. urodzin.