Von 1951 bis 1959 sammelte er zwölf DDR-Meistertitel im Sprint, 1000-Meter-Zeitfahren, Tandem und mit dem Bahnvierer, mit dem er allein sechs Mal Gold gewann. 1956 startete er im gesamtdeutschen Vierer bei den Olympischen Sommerspielen in Melbourne. Das Team mit Rolf Nitzsche, Manfred Gieseler, Siegfried Köhler und Werner Malitz schied jedoch in den Vorkämpfen aus.

Bei den Olympiaausscheidungen 1959 in Mailand half er der DDR, den knappen Sieg zu erringen, doch bei den Spielen in Rom 1960 war Nitzsche zwar nominiert, aber nur als Ersatzmann dabei. Seine Mannschaft gewann Silber, die allererste internationale deutsche Medaille in dieser Disziplin.

Nach seiner aktiven Laufbahn wurde Rolf Nitzsche Nachwuchstrainer im SC Dynamo Berlin. Er war der Entdecker von Guido Fulst, der 1989 mit 19 Jahren in Lyon erstmals Weltmeister wurde und als Olympiasieger und viermaliger Gewinner des Regenbogentrikots erfolgreich an der deutschen Chronik Mannschaftsverfolgung mitschrieb.