Podle lidové pověsti zvolily místo pro hradní stavení samy pekelné mocnosti. Práce na velkolepém díle byla započata původně na Skuhrovském vrchu, avšak čerti odtud každou noc neúnavně odnášeli na nynější místo vše, co dělníci přes den vystavěli. S těžkými břemeny démoni odpočívali na Drahách u Počepic. Na tuto skutečnost poukazovalo lidové označení “Čertovo sedlo”. Stavitelé pekelníkům dlouho vzdorovat nevydrželi a podřídili se jejich vůli. Hrad tedy vyrostl na vrchu Chlumci.Původní chlumecký hrad se od své současné podoby lišil. Střecha na hlavní budově byla mnohem vyšší a značně špičatá a štíhlé tvary hlásky se opakovaly i na ostatním stavení. Po třicetileté válce byly sníženy zdi a krov byl postaven nový, nižší. Tím hrad přišel o svůj starodávný ráz.
Hradní sídlo nejspíše vystavěl v druhé polovině 14. století Purkart Strnad z Janovic, jeden z nejoblíbenějších dvořanů krále Václava IV. Později hrad krátce vlastnil Ojíř z Očedělic, od něhož ho v roce 1474 koupila Anna Švihovská, vdova po Janu Popelu z Lobkowicz, se svými třemi syny Děpoltem, Václavem a Ladislavem. Tak se dostalo chlumecké panství na dlouhá staletí do rukou šlechtického rodu Lobkowiczů.

