Terrell urodziła się w Filadelfii w Pensylwanii i rozpoczęła karierę jako nastolatka, śpiewając w różnych lokalnych grupach. W 1961 roku podpisała kontrakt z Motown Records i wydała swój debiutancki solowy singiel „I Can't Believe You Love Me”. Piosenka okazała się niewielkim hitem, ale pomogła Terrellowi zdobyć uznanie w organizacji Motown.
W 1964 roku Terrell nagrał duet „Ain't No Mountain High Enough” z Marvinem Gaye. Piosenka stała się wielkim hitem, osiągając pierwsze miejsce na liście Billboard Hot 100 i zdobywając dwie nagrody Grammy. Terrell i Gaye kontynuowali współpracę i wydali kilka bardziej udanych duetów, w tym „Your Precious Love”, „You're All I Need to Get By” i „If I Could Build My Whole World Around You”.
W 1967 roku u Terrella zdiagnozowano raka mózgu. Przeszła operację i leczenie, ale w 1969 roku rak powrócił. Terrell zmarł w Filadelfii 16 marca 1970 roku w wieku 24 lat.