Olsen, der für den Oslo SK startete, belegte bei der Mehrkampf-Weltmeisterschaft 1922 in Oslo den zehnten Platz. Im folgenden Jahr wurde er Achter bei der Mehrkampf-Europameisterschaften in Hamar, Siebter bei der Mehrkampf-Weltmeisterschaft in Stockholm und Dritter bei den norwegischen Meisterschaften. Im Winter 1923/24 holte er bei der Mehrkampf-Europameisterschaft in Oslo die Bronzemedaille und errang bei den norwegischen Meisterschaften den vierten Platz. Beim Saisonhöhepunkt, den Olympischen Winterspielen 1924 in Chamonix, lief er auf den sechsten Platz über 1500 m und gewann die Silbermedaille über 500 m. Im folgenden Jahr holte er bei der Mehrkampf-Europameisterschaft in St. Moritz erneut die Bronzemedaille. Seine letzten Wettbewerbe absolvierte er in der Saison 1927/28. Dabei kam er bei den Olympischen Winterspielen 1928 in St. Moritz auf den neunten Platz über 500 m und bei der Mehrkampf-Europameisterschaft in Oslo auf den achten Platz. Danach wurde er Sportjournalist bei Sportsmanden und Präsident des Norwegischen Eislaufverbandes, zunächst im Jahr 1931 und erneut von 1949 bis 1952. Sein Bruder Henning Olsen war ebenfalls Eisschnellläufer und wurde im Jahr 1911 Dritter bei der Weltmeisterschaft.