Im Osten wird Rossmore vom Kemps Creek, im Westen vom South Creek begrenzt. Die Verbindungsstraße von Bringelly mit Horningsea Park ist gleichzeitig die Hauptstraße von Rossmore, sie verläuft mitten durch das Zentrum.
Früher war Rossmore unter dem Namen Cabramatta, nach der Kirchengemeinde von Cabramatta, bekannt. Im Jahr 1856 wurde die Eisenbahnlinie von Granville nach Liverpool verlängert und an der Stelle des heutigen Cabramatta eine Haltestelle eingerichtet. Bereits früher gab es in der Gegend einen bekannten Deckhengst namens Rossmoor Stud, der wiederum seinen Namen von einer bekannten Deckerei, der Rossmore Lodge im irischen Kildare, bezieht. Um Verwechslungen zwischen der neuen Bahnstation und der alten Stadt Cabramatta zu vermeiden, wurde die alte Stadt unter dem Namen Rossmore bekannt. Um diese Zeit war es außerdem der Mittelpunkt einer Novelle, genannt The Cabramatta Store, von Mary Theresa Vidal, von der heute angenommen wird, dass dies die erste Novelle einer Frau war, die in Australien veröffentlicht wurde.[2]