Frei war in den späten 1960er und frühen 1970er Jahren erfolgreich als Skirennfahrer, vor allem in den Slalomwettbewerben, aktiv. Bei den Olympischen Winterspielen 1968 von Grenoble nahm er am Slalomwettbewerb teil und wurde bei den Wettkämpfen in Chamrousse Zehnter. Im Weltcup konnte er sich zwischen Januar 1968 und Februar 1971 in den Punkterängen platzieren. Sein bestes Resultat im Weltcup schaffte der Schweizer als Drittplatzierter im Slalom von Wengen in der Saison 1968/69. In derselben Saison erreichte Frei mit Platz 23 im Gesamtweltcup und Rang 12 im Slalom-Weltcup seine besten Ergebnisse in diesen Wertungen. Auch bei den Alpinen Skiweltmeisterschaften 1970 in Gröden trat Frei im Slalom an und wurde Siebter. 1971 gewann er den Titel des Schweizer Meisters im Slalom.