Joachim dahi bir çocuktu ve ilk çıkışını yedi yaşında yaptı. Stanisław Serwaczyński ile ve daha sonra Leipzig Konservatuarı'nda Ferdinand David ile çalıştı. Ayrıca Moritz Hauptmann'dan kompozisyon eğitimi aldı.
Joachim'in solist olarak kariyeri onu Avrupa'nın her yerine götürdü ve zamanın önde gelen orkestralarının çoğunda sahne aldı. Aynı zamanda bir oda müzisyeniydi ve Clara Schumann, Johannes Brahms ve Joseph Hellmesberger, Sr. dahil olmak üzere zamanının önde gelen müzisyenlerinin çoğuyla birlikte sahne aldı.
Joachim aynı zamanda kendini işine adamış bir öğretmendi ve 1869'dan 1907'ye kadar Viyana Konservatuarı'nda ders verdi. Aynı zamanda zamanın en ünlü yaylı çalgılar dörtlüsünden biri olan Joachim Quartet'in de kurucusuydu.
Joachim'in keman çalmanın gelişmesinde büyük etkisi oldu ve öğretileri dünyanın her yerindeki kemancılar üzerinde derin bir etki yarattı. Tüm zamanların en büyük kemancılarından biri olarak kabul ediliyor ve mirası bugüne kadar müzisyenlere ilham vermeye ve onları eğitmeye devam ediyor.