Archeologie hovoří o poměrně hustém osídlení zdejšího kraje v době pravěku. Název Žarošice ukazuje o existenci osydy již v době velkomoravské.

Nejstarší písemná zpráva o Žarošicích se datuje v roce 1220, kdy část tehdejší osady Žarošice patřila klášteru cisterciaků na Velehradě.
Celá vesnice se později stala majetkem Elišky Rejčky, vdovy po českém králi Václavovi II. a Rudolfu Habsburském.
Eliška Rejčka darovala Žarošice roku 1323 řádu cisterciaček na Starém Brně.
1782 za vlády císaře Josefa II. byl řád zrušen a Žarošice prodány nejprve rodu Schaafgotschů. Ten je prodal Lichtenštejnům.