Josef Kaltenbrunner war am 8. September 1911 bei Rapids erstem Meisterschaftsspiel (4:1 Auswärtssieg gegen Amateure am WAC Platz im Wiener Prater) als Torhüter mit dabei. Kaltenbrunner war damals 23 Jahre alt und zählte schon zu den erfahrenen Kräften in der doch noch jungen Rapid Mannschaft.
Josef Kaltenbrunner kam 1907 als 19-jähriger zu Rapid als sich die Heimstätte der Grünen noch in Rudolfsheim befand. Nach der großen Rapid Krise 1910 – die späteren Hütteldorfer standen vor dem finanziellen Ruin – wurde er Rapid untreu und wechselte zur Vienna. Rechtzeitig zum Start der ersten österreichischen Fußballmeisterschaft 1911/12 kehrte er allerdings zurück und hatte als Stammtorhüter sein Fixleiberl.
Der Ausbruch des Ersten Weltkrieges im Sommer 1914 beendete schließlich seine Karriere, denn er wurde sofort eingezogen und verwundet. Der Heilungsprozess nahm viel Zeit und Energie in Anspruch und nach seiner Genesung wurde er sofort wieder in den Krieg geschickt. Für den Fußball hatte er daher keine Zeit und auch wahrscheinlich keine Lust mehr.
Ohne Josef Kaltenbrunner hatte Rapid in der folgenden Saison 1914/15 ein Torwartproblem, dass erst mit der Verpflichtung von Theodor Mantler im Sommer 1915 gelöst wurde.
Sein Spitzname war „eiserner Seppl“. Er gehörte in seiner Blütezeit – den Saisonen 1911/12 und 1912/13 – zu Österreichs besten Torhütern.
