Rose errang bei den Olympischen Spielen 1904 in St. Louis als bisher jüngster Kugelstoßer die Goldmedaille, mit neuem Weltrekord von 14,81 m. Hinzu kam der Gewinn der Silbermedaille im Diskuswurf und der Bronzemedaille im Hammerwurf. Im selben Jahr verlor er seinen Kugelstoß-Weltrekord an den Iren Denis Horgan, holte sich diesen aber 1907 zurück. Bei den Olympischen Spielen 1908 in London wiederholte er seinen Olympiasieg im Kugelstoßen. Während der Eröffnung der Londoner Spiele trug er die US-Flagge und sorgte für einen diplomatischen Eklat, weil er sich als einziger Flaggenträger der Zeremonie weigerte, die Flagge seines Landes vor dem britischen König zu verneigen. Ihm war aufgefallen, dass unter den rund um das Stadion gehissten Flaggen jene der Vereinigten Staaten fehlte. 1909 übertraf er als erster Athlet mit 51 Fuß (= 15,54 Meter) die 50-Fuß-Marke. Dieser Weltrekord hielt 16 Jahre. Weitere zwei Medaillen gewann er bei den Olympischen Spielen 1912 in Stockholm, Gold im beidhändigen Kugelstoßen und Silber im Kugelstoßen.
1913 erkrankte Rose an Typhus und starb im Alter von 28 Jahren. 1976 wurde er postum in die „Hall of Fame“ des US-Leichtathletikverbandes aufgenommen.