Sein internationales Debüt hatte Ramsfjell bei der Curling-Weltmeisterschaft 1976 in Duluth, er blieb aber ohne Medaille. 1978 gewann er bei der WM in Winnipeg mit der Silbermedaille sein erstes Edelmetall. Im Folgejahr wurde Ramsfjell erstmals Curling-Weltmeister.
Ramsfjell spielte als Skip der norwegischen Mannschaft bei den Winterspielen 1988 in Calgary und gewann die Goldmedaille. Da Curling damals noch eine Demonstrationssportart war besitzt die Medaille allerdings keinen offiziellen Status. Ebenfalls als Skip spielte Ramsfjell der norwegischen Mannschaft bei den XVIII. Olympischen Winterspielen in Nagano im Curling. Die Mannschaft gewann die olympische Bronzemedaille nach einem 9:4-Siege im Spiel um den 3. Platz gegen die USA um Skip Tim Somerville.