Raffort stammt aus Les Contamines-Montjoie. Nachdem er bei französischen Jugendbewerben (Ecureuils d’Or) erfolgreich gewesen war, bestritt er im Alter von 15 Jahren seine ersten FIS-Rennen. Am 9. Februar 2010 gab er im Slalom von Méribel sein Europacup-Debüt. In den folgenden Wintern hatte er immer wieder mit Rückenproblemen zu kämpfen,[2] wodurch er zahlreiche Rennen, unter anderem mehrere Juniorenweltmeisterschaften, verpasste. Erst in der Saison 2012/13 konnte Raffort im Europacup durchgehend starten. Die folgende Saison verlief für ihn sehr erfolgreich. Im Dezember gewann er bei der Universiade am Passo San Pellegrino hinter seinem Landsmann Blaise Giezendanner die Silbermedaille im Super-G. Am 21. Januar 2014 feierte er im Super-G von Val-d’Isère seinen ersten Europacupsieg. Zwei Jahre später gewann er in Sarntal auch eine Abfahrt.
Seinen ersten Einsatz im Weltcup hatte Raffort am 23. Februar 2013 in der Abfahrt von Garmisch-Partenkirchen. Nach zahlreichen Platzierungen jenseits der besten 30 konnte er im Dezember 2016 in Gröden mit Rang 24 erstmals Punkte einfahren. Sein einziges Ergebnis unter den besten zehn gelang ihm mit Rang neun in der Abfahrt von Kvitfjell im März 2020. Ansonsten fuhr er zwar regelmäßig in die Punkteränge, jedoch nie in der Nähe der Weltspitze. Mehrere kleinere Verletzungen verhinderten eine kontinuierliche Entwicklung. Aus diesem Grund konnte er sich nie für Weltmeisterschaften oder Olympische Winterspiele qualifizieren. Nachdem er im Winter 2021/22 nur einen Weltcuppunkt geholt hatte, erklärte er im Mai 2022 seinen Rücktritt vom Spitzensport.[3]
Am 7. Juni 2022 gab Raffort jedoch überraschend bekannt seine Karriere doch fortzusetzen, allerdings als Skicrosser.[4]