Tanzánia (még Tanganyika néven) 1964-ben vett részt először az olimpián, azóta valamennyi nyári játékokon jelen volt, kivéve az 1976-ost, amelyiket a legtöbb afrikai államhoz hasonlóan bojkottált. Az ország sportolói még nem vettek részt téli olimpián.
Tanzánia két olimpiai érmet nyert, mindkettőt atlétikában.
A Tanzániai Olimpiai Bizottság 1968-ban alakult meg, a NOB még ebben az évben felvette tagjai közé. A bizottság jelenlegi elnöke Gulam A. Rashid.