Wildgruber gewann bei den Junioreneuropameisterschaften 1977 in Kranjska Gora die Bronzemedaille in der Abfahrt. Im Weltcup ging er ab 1976 an den Start, Erfolge blieben aber zunächst aus. Der Hauptgrund dafür war der frühe Tod seines Vaters und seines Bruders. Er übernahm den elterlichen Bauernhof und arbeitete im Sommer als Landwirt, so dass er die Saisonvorbereitung auf den Gletschern vernachlässigen musste. Die Sporthilfe entzog ihm außerdem zwischenzeitlich die finanzielle Unterstützung für eine Aushilfskraft.
Die ersten Weltcuppunkte gewann Wildgruber am 14. Dezember 1980 als 15. der Kombination in Madonna di Campiglio. Etwas mehr als zwei Jahre später folgte in der Abfahrt von Sarajevo die erste Platzierung unter den besten zehn. Die Abfahrt der Olympischen Winterspiele 1984 am selben Ort beendete er als Siebter. Das war zugleich die beste Klassierung des gesamten deutschen Männerteams.
1984/85 war Wildgrubers erfolgreichste Saison, wobei er besonders gegen Saisonende zu überzeugen wusste. Am 2. März 1985 fuhr er in Furano auf den zweiten Platz und erzielte das beste Ergebnis seiner Karriere, eine Woche später folgte ein dritter Platz in Aspen. Im Dezember 1985 gelang ihm auf der Saslong in Gröden nochmals eine Podestplatzierung.
In der Abfahrt der Weltmeisterschaften 1987 in Crans-Montana fuhr Wildgruber auf den zehnten Platz. Kurz vor den Olympischen Spielen 1988 zog er sich bei einem Sturz eine Gehirnerschütterung zu. Zwar war er rechtzeitig wieder genesen, wurde aber dennoch nicht nominiert. Nach der verpassten Qualifikation für die Weltmeisterschaften 1989 trat Wildgruber zurück. Seither ist er wieder als Landwirt tätig.