Původně hrad založený ve 13. století, v 16. století za Robmhápů ze Suché přestavěn na zámek.
Z významných majitelů uveďme rod Španovských z Lisova a Zikmunda Myslíka z Hyršova, císařského polního maršálka a válečného radu. Roku 1708 přicházejí do Pacova bosí karmelitáni a šlechtické sídlo po roce 1718 postupně mění v klášter s kostelem sv. Václava. Plány na další stavební akce navrhl v roce 1739 slavný architekt a stavitel Kilián Ignác Dientzenhofer. Za Josefa II. byl klášter zrušen (1787) a budova znovu užívána jako zámek. Kvadratický uzavřený půdorys otevřela demolice východního křídla v r. 1884.