Als bereits gestandener 31-jähriger Fußballer kam Grosser 1969 von 1860 München zum damaligen Nationalliga-Club Austria Salzburg. Dort spielte er noch sechs Jahre lang, war die prägende Figur der Mannschaft und kam auf 164 Ligaspiele für die Violetten. Der Legende nach war 1860 so froh, seinen "Oldie" loszuwerden, dass der Club dessen erstes Jahresgehalt in Salzburg (300.000 Schillling) zahlte. Grosser wurde mit seinen Dribbling zum Publikumsliebling am Ausweich-Spielort Itzling und danach im neuen Lehener Stadion. In einer ersten Hochphase, geprägt auch durch Grossers Kollegen Karl Kodat, Heinz Libuda und Artur Kibler, verpasste der Club 1971 nur knapp den Meistertitel.
Mit den 60ern war Grosser 1966 Meister geworden und hatte 1965 das Europacupfinale der Pokalsieger erreicht. Höchst ungewöhnlich: Ursprünglich war Grosser Spieler des Lokalrivalen Bayern München gewesen.
Zwei Länderspiele für Deutschland stehen ebenfalls in der Vita des begnadeten Mittelfeldspielers. Beim Debüt gegen Schweden 1965 bestritt ein weiterer Münchner ebenfalls sein erstes Länderspiel: Franz Beckenbauer sollte später noch Welt- und Europameister werden. Grosser hingegen, obwohl frischgebackener Meisterkapitän unter Trainer Max Merkel, wurde zu seiner Enttäuschung nicht in den Kader für die WM 1966 in England einberufen.
Grosser, der nach der aktiven Karriere im Amateurbereich als Trainer tätig war, fungierte auch lange als Vizepräsident des zeitweiligen Bundesligisten Unterhaching. Seine zwei Söhne starben früh, Thomas kam mit 42 Jahren bei einem Hallentraining ums Leben, Peter jun. starb mit 19 Jahren an den Folgen eines Verkehrsunfalls.