Józef Rubiś startete zu seiner aktiven Zeit zunächst für TS Wisła Gwardia Zakopane, später für WKS Legia Zakopane . Er nahm erstmals 1956 in Cortina d’Ampezzo als Skilangläufer an Olympischen Winterspielen teil und wurde 34. über 15 Kilometer, 23. über 30 Kilometer und an der Seite von Józef Gąsienica Sobczak, Tadeusz Kwapień und Andrzej Mateja im Staffelrennen Neunter. Als zu Beginn der 1960er Jahre Biathlon wichtiger wurde, wechselte Rubiś zu dieser neuen Sportart. 1964 trat er in Innsbruck im Einzel bei den Olympischen Spielen an und belegte Platz sechs. Bei der Biathlon-Weltmeisterschaft 1965 in Elverum gewann er mit Stanisław Szczepaniak und Gąsienica Sobczak hinter den Mannschaften aus Norwegen und der Sowjetunion die Bronzemedaille im letztmals inoffiziell ausgetragenen Staffel-Wettbewerb. Ein Jahr später konnte er mit Szczepaniak, Gąsienica Sobczak und Stanisław Lukacztzyk hinter Norwegen die Silbermedaille mit der Staffel gewinnen. Nach seiner aktiven Karriere wurde er Trainer.