Počátky vzniku původní fortifikace s trojnásobným vodním příkopem na jižní straně je nutné hledat v souvislosti s dobou založení první osady, která dala vzniknout pozdějšímu městu. Je to období kolonizace v polovině 13. století, kdy byla celá oblast pohraničních hvozdů osídlena novými osadníky. Původně věžovitá stavba byla vystavěna patrně právě již koncem 13. století. V průběhu 14. a 15. století byla postupně v držení světských majitelů a později vratislavských biskupů, kteří ji definitivně získali roku 1547 (tvrz byla jedinou záštitou města, které nikdy nemělo právo vybudovat hradby). Zřejmě na konci 15. století byla původní obytná věž stržena, protože již nevyhovovala zvyšujícím se požadavkům komfortního bydlení. Nynější podobu tvrz získala kolem roku 1730 díky zásahu falckraběte rýnského, biskupa Františka Ludvíka, který financoval celou přestavbu.
Koncem 18. století se tvrz stala dočasným domovem hudebního skladatele Karla Ditterse z Dittersdorfu, který zde působil jako biskupský hejtman. V biskupském držení zůstala budova až do roku 1945 (v tomto roce prostory tvrze sloužily jako sklad válečných konfiskátů). Dnes je majetkem státu pod správou Lesů ČR.
Webová stránka: http://www.muzeum.jesenik.net/
