Zámek byl založen jako tvrz v XV. Století pány Berky z Dubé.
V dnešní podobě byl postaven v letech 1577-1580 od Adama Bohdaneckého, rytíře z Hodkova. Po roce 1620 měnil často majitele, až byl v roce 1655 koupen Vilémem Krakovským z Kolovrat, v jehož rodu zůstal až do jeho vymření roku 1770.
Kolem roku 1800 patřil hrabatům z Blümegen, po nichž dědil jej hrabě Hartmann z Klaršteinu, který jej dal v roce 1825 obnovit. Na to se dostal ruskému generálu šl. Z Elsenwangen a od roku 1828 do roku 1945 baronům Nádherným z Borutína.
Při obnově v roce 1886 byl přistaven na hlavním průčelí balkon.

DALŠÍ INFORMACE: http://www.skalyadrspach.cz