Nejvýznamnější historickou památku ve Vyšehoří, kostel Všech svatých, zasáhl v roce 1957 blesk a oheň rychle pohltil dřevěnou část stavby. V letech 1963 až 1964 byl kostel rekonstruován, a tak byla tato původně raně gotická architektura s pozdějšími úpravami zachována; památkově je chráněna i ohradní zeď s bránou kolem bývalého hřbitova z počátku 19. století. Kostelík několikrát inspiroval malíře a ilustrátora Adolfa Kašpara.