In den 1970er Jahren war er einer der erfolgreichsten Ruderer der Welt. Bei Weltmeisterschaften zwischen 1974 und 1979 gewann er zusammen mit seinem älteren Bruder Frank Hansen im Doppelzweier drei Gold- und eine Silbermedaille. Der größte Erfolg war jedoch die Goldmedaille bei den Olympischen Spielen von 1976 in Montreal. Bei den Spielen in Moskau 1980 konnte er diesen Erfolg aufgrund des Olympiaboykotts von 64 Staaten, dem sich auch Norwegen anschloss, aber nicht wiederholen. Sein Bruder Frank beendete danach seine Karriere, Alf Hansen setzte seine Sportlaufbahn jedoch mit einem neuen Partner erfolgreich fort. Zwischen 1981 und 1983 gewann er zusammen mit Rolf Bernt Thorsen drei Medaillen im Doppelzweier, davon die Goldmedaille bei der Weltmeisterschaft 1982. Bei den Olympischen Spielen 1988 in Seoul war Hansen Mitglied der norwegischen Mannschaft im Doppelvierer und gewann, wie schon ein Jahr zuvor bei den Weltmeisterschaften, Silber. Nach der Weltmeisterschaft von 1991 beendete er seine Karriere im Alter von 43 Jahren.