1995-ben befejezte aktív játékosi pályafutását, és a VfL Bochum edzői stábjának tagja lett. Az évek során Klaus Toppmöller, Ernst Middendorp és Bernard Dietz mellett másodedzőként dolgozott, majd 1999 decemberében ő lett a csapat első számú edzője.
Első edzői évadában sikerült a Bochumot visszavezetnie az élvonalba. Ennek ellenére a 2000–2001-es bajnokság ideje alatt, 2001. február 12-én leváltották. Helyére Rolf Schafstall került, akinek azonban nem sikerült a Bundesligában való bennmaradást elérnie. Bochumi évei alatt egy hageni műfüves labdarúgócsarnok tulajdonosa lett.[2]2003-ban a ghánaiAsante Kotoko edzője lett, majd ugyanabban az évben a ghánai felnőtt válogatott és az olimpiai csapat élére is kinevezték.
2003 decemberében a HSV Hamburger másodedzője lett Thomas Doll vezetőedző mellett. 2007. január 31-én a klub megvált az egész szakmai stábtól, mivel a csapat a bajnokság utolsó helyére csúszott.
2007 márciusától Zumdick Thomas Doll segítőjeként dolgozott a Borussia Dortmundnál, majd 2009-ben ugyancsak Doll másodedzője lett az ankaraiGençlerbirliğinél. Doll 2010 októberében távozott a török klubtól, helyére pedig Zumdick került. 2011 áprilisában közös megegyezéssel szerződést bontott a klubbal.[3]2011 augusztusában az irániPersepolis Teherán sportigazgatója lett.[4] Ugyanazon év decemberében rövid ideig elvállalta a klub edzői feladatait is. 2012 áprilisában befejezte tevékenységét az iráni klubnál.
2012 júliusában három hónapig a hivatásos labdarúgókat tömörítő szervezet, a VTV (Vereinigung der Vertragsfußballspieler) által szervezett edzőtáborát vezette, amelyben éppen szerződés nélküli és sérülésből felépülő labdarúgókkal foglalkozott.[5]
2013 októberében ideiglenes edző lett a bochumi DJK TuS Hordel csapatánál.[6]2013 decemberétől a Ferencváros új edzőjét, Thomas Dollt segíti másodedzőként.[7]