Jego najbardziej zauważalna współpraca miała miejsce w latach 70. z Cannonball Adderley Quintet, ale współpracował także z wieloma innymi znaczącymi muzykami jazzowymi, w tym z Theloniousem Monkiem, Milesem Davisem, Dizzym Gillespie, Dexterem Gordonem i Herbie Hancockiem.
Oprócz swojej pracy jako sideman, Poole wydał także kilka albumów solowych, w tym „The Essence of John Poole” (1977), „Sweet Lucy” (1978) i „Blue Planet Man” (1980).
Poole jest także kompozytorem i aranżerem, napisał muzykę dla filmu i telewizji. Prowadził także zajęcia z jazzu i muzyki latynoskiej na Uniwersytecie Południowej Kalifornii oraz w California Institute of the Arts.
Poole otrzymał nagrodę „Drummer of the Year” przyznawaną przez Stowarzyszenie Dziennikarzy Jazzowych w latach 2004 i 2005. Jest także członkiem Narodowej Akademii Sztuki i Nauki Nagrań (NARAS).