Ivarsson gewann 1996 den Gesamt-Weltcup im Orientierungslauf. 1998 kam er hinter dem Dänen Chris Terkelsen auf den zweiten Platz in der Gesamtwertung. 1995 und 1999 gewann er mit der schwedischen Staffel zwei Bronzemedaillen bei Weltmeisterschaften, 1997 auch bei den Nordischen Meisterschaften. Bei den Nordischen Meisterschaften 1995 in Skellefteå wurde er auf der Klassikdistanz Dritter hinter seinen Landsmännern Jörgen Mårtensson und Lars Holmquist und mit der Staffel Erster. 1998 und 2001 siegte Ivarsson beim Mehrtage-OL O-Ringen.
Bei schwedischen Meisterschaften gewann Ivarsson 15 Titel. Ivarsson lief für die Vereine IK Hakarpspojkarna, OK Illern, SOL Tranås und Bækkelagets SK. 1992, 1999 und 2002 gewann er beim Jukola-Staffellauf, 1995, 1997 und 2001 bei der Tiomila.