Ausztria az 1896-os kezdetektől résztvevője volt a modern kori olimpiai játékoknak, és csak egyetlenegy alkalommal nem vett részt a sportünnepen, 1920-ban, mert akkor az első világháborúban vesztes többi országhoz hasonlóan nem is hívták meg. Az ország két alkalommal rendezett téli olimpiát Innsbruckban, 1964-ben és 1976-ban.
Az osztrák sportolók összesen 94 érmet szereztek a nyári olimpiai játékokon és 250 érmet a téli olimpiai játékokon, a legtöbb érmet alpesisíben nyerték. Norvégia és Liechtenstein mellett Ausztria a harmadik olyan állam, amelynek sportolói több érmet gyűjtöttek a téli olimpiákon, mint a nyári játékokon.
Az Osztrák Olimpiai Bizottság1908-ban alakult meg, a NOB hivatalosan 1912-ben vette fel tagjai közé, a bizottság jelenlegi elnöke Leo Wallner.