Chaffee trat sechs Jahre für das US-amerikanische Nationalteam im Weltcup an. Während dieser Zeit erreichte er drei Mal das Podium, immer im Slalom, sowie weitere 23 Mal einen Platz unter den besten 10. Seine beste Platzierung war ein zweiter Platz im März 1970 in Heavenly Valley, Kalifornien, nachdem er 1968 bereits zwei dritte Plätze erreichen konnte. Des Weiteren hatte Chaffee 1968 in Grenoble im Slalom und Riesenslalom teilgenommen. Er kam dabei auf die Plätze neun und 15. Vier Jahre später in Sapporo wurde er im Riesenslalom 30. und schied im Slalom bereits im ersten Finaldurchgang aus.
Chaffee kommt aus einer sehr skiinteressierten Familie: seine Schwester Suzy trat ebenfalls im alpinen Skirennlauf bei den Olympischen Winterspielen 1968 an. Sein Cousin Jonathan war Biathlet und zusammen mit seiner Schwester Kim ebenfalls Skirennläufer für die Harvard University.