Zoller kam im Alter von elf Jahren zum Salzburger Landesskiverband. Schon von Beginn an konzentrierte er sich auf die technischen Disziplinen Slalom und Riesenslalom. Später wurde er in den Jugendkader des Österreichischen Skiverbandes aufgenommen und nach einigen Jahren im C- und B-Kader stieg er Anfang der 1980er-Jahre in den A-Kader auf. Seinen ersten Einsatz im Weltcup hatte er bereits am 5. Jänner 1978 im Slalom von Oberstaufen. Vorerst erreichte er bei seinen wenigen Weltcupeinsätzen aber noch nicht die Punkteränge. Im Europacup gelangen ihm in der Saison 1980/81 die ersten beiden Siege im Slalom von Mellau und im Riesenslalom von Villach. Im nächsten Winter feierte er zwei Siege in den beiden Europacupslaloms von Mehlmeisel und schaffte damit die Aufnahme ins ÖSV-Nationalteam. Im Großteil der Saison 1982/83 fiel er jedoch wegen einer schweren Knieverletzung (Seiten- und Kreuzbandriss) aus, die er im Training erlitt.
Im Winter 1983/84 schaffte Zoller auch im Weltcup den Anschluss an die Spitze. Am 20. Dezember 1983 erreichte er mit der hohen Startnummer 38 hinter dem Schweden Ingemar Stenmark den zweiten Platz im Slalom der 3-Tre-Rennen von Madonna di Campiglio und gewann damit seine ersten Weltcuppunkte. Die Aufnahme ins Team für die Olympischen Winterspiele im Februar 1984 gelang ihm damit aber nicht. Zwei Wochen nach den verpassten Spielen gewann er im Slalom von Vail sein erstes und einziges Weltcuprennen und Ende März folgte in Oslo noch ein sechster Slalomrang, womit er in der Saison 1983/84 den achten Platz im Slalomweltcup erreichte. In der Saison 1984/85 gelangen Zoller im Dezember und Jänner drei Top-10-Plätze in den Slaloms von Sestriere, Madonna di Campiglio und Wengen, wodurch er sich einen Startplatz bei den Weltmeisterschaften 1985 in Bormio sicherte. Dort gewann er hinter dem Schweden Jonas Nilsson und dem für Luxemburg startenden Marc Girardelli die Bronzemedaille im Slalom. Zu Saisonende schaffte er mit Rang drei im Slalom von Heavenly Valley auch im Weltcup noch einen Podestplatz und wurde damit punktegleich mit dem Italiener Alex Giorgi Zwölfter im Slalomweltcup. In der Saison 1985/86 konnte Zoller verletzungsbedingt nicht ganz an die Vorjahresergebnisse anschließen. Sein bestes Ergebnis war der siebente Platz im Slalom von Lillehammer. Am Ende des Winters zog er sich vom Weltcup zurück und nahm bis 1989 an Profirennen teil. Zoller absolvierte die Ausbildung zum staatlichen Diplom-Skilehrer und übernahm die Leitung einer der beiden Skischulen in Mühlbach am Hochkönig. Er ist auch als Trainer in Hugo NindlsAustria Racing Camps tätig.