Von Allmen stammt aus Boltigen im Kanton Bern, erlernte das Skifahren am Jaunpass und ist gelernter Zimmermann.[1] Als 16-Jähriger bestritt er im November 2017 erstmals FIS-Rennen, wobei er zunächst in allen Disziplinen an den Start ging. Der erste Sieg auf dieser Stufe gelang ihm Mitte Januar 2021. Unmittelbar darauf debütierte er im Europacup, wobei er sich am 19. Januar im Super-G von Zinal erstmals in den Punkterängen klassierte. Zwei Monate später gewann er am selben Ort den ersten von drei Schweizer Juniorenmeistertiteln. Nach einem Abstecher zum Nor-Am Cup, der ihm im Dezember 2021 einen zweiten Platz einbrachte, konnte sich von Allmen allmählich auch im Europacup etablieren und fuhr mehrmals unter die besten zehn. Bei den Juniorenweltmeisterschaften 2022 im kanadischen Panorama gewann er in der Abfahrt, im Super-G und in der Kombination jeweils die Silbermedaille.
Sein erster Sieg in einem Europacuprennen gelang von Allmen am 29. Januar 2023 in der Abfahrt von Orcières-Merlette. Daraufhin erhielt er seine erste Startgelegenheit im Weltcup, wobei er am 4. März in der Abfahrt von Aspen den 46. Platz belegte.[2] Am Ende der Europacupsaison 2022/23 belegte er den zweiten Platz in der Abfahrtswertung, wodurch er einen Fixstartplatz für die kommende Weltcupsaison erhielt. Bei der ersten Abfahrt auf der Saslong in Gröden am 14. Dezember 2023 fuhr von Allmen trotz einem Stockbruch unmittelbar beim Start auf Platz 35 und verpasste die ersten Weltcuppunkte um lediglich neun Hundertstelsekunden. Einen Tag später fuhr er im Super-G bei seinem erst dritten Weltcupeinsatz als Neuntplatzierter mitten in die Weltspitze.[3] Am 28. Januar 2024, in seinem erst vierten Weltcup-Super-G, erzielte er mit Platz 3 in Garmisch-Partenkirchen seine erste Podestplatzierung.[4]