Kitson nahm an den Olympischen Sommerspielen 1908 in London teil, bei denen er im Einzel in der ersten Runde ausschied und im Doppel das Viertelfinale erreichen konnte. Vier Jahre später trat er bei den Olympischen Sommerspielen 1912 in Stockholm erneut an. Er gewann im Alter von 37 Jahren im Einzelwettkampf die Silbermedaille. Zusammen mit Charles Winslow konnte er zudem im Doppel die Goldmedaille gewinnen. Im Einzelfinale hatte er zuvor gegen seinen Doppelpartner verloren.
Kitson war Sieger der Südafrika-Meisterschaft im Tennis in den Jahren 1905, 1908, 1911 und 1913 und stand in den Jahren 1909 und 1910 im Finale, wo er jeweils einmal gegen Reginald Doherty und Anthony Wilding verlor.