Joachim był cudownym dzieckiem i zadebiutował w wieku siedmiu lat. Studiował u Stanisława Serwaczyńskiego, a później u Ferdynanda Davida w Konserwatorium w Lipsku. Studiował także kompozycję u Moritza Hauptmanna.
Kariera Joachima jako solisty poprowadziła go po całej Europie, występował z wieloma czołowymi orkiestrami tamtych czasów. Był także muzykiem kameralnym i występował z wieloma czołowymi muzykami swoich czasów, w tym z Clarą Schumann, Johannesem Brahmsem i Josephem Hellmesbergerem seniorem.
Joachim był także oddanym pedagogiem, wykładał w Konserwatorium Wiedeńskim od 1869 do 1907. Był także założycielem Joachim Quartet, jednego z najsłynniejszych kwartetów smyczkowych tamtych czasów.
Joachim wywarł ogromny wpływ na rozwój gry na skrzypcach, a jego nauki wywarły ogromny wpływ na skrzypków na całym świecie. Uważany jest za jednego z najwybitniejszych skrzypków wszechczasów, a jego dziedzictwo do dziś inspiruje i kształci muzyków.