Krzysztof Ossoliński, brat słynnego Jerzego, wojewoda sandomierski postanowił zbudować w Ujeździe siedzibę, która miała przyćmić wszystkie magnackie pałace owych czasów. Planów imponującej budowli -pałacu w fortecy (pałano in forteca) - dostarczył włoski architekt Wawrzyniec Senes. Budowo, przy olbrzymich nakładach, miała trwać kilkanaście lat. od 1627 do 1644 r. Owocem proc była potężna bastionowa twierdza, założona na planie regularnego pięcioboku. 0 oryginalnym założeniu budowli krążyły legendy: miała mieć tyle okien (365), ile dni w roku; tyle komnat (53), ile tygodni; sal (12), ile miesięcy; wież (4), ile kwartałów. Umieszczona w wieży sala jadalna nakryta była kryształowym stropem, który stanowił zarazem dno ogromnego akwarium. Znajdujące się w przyziemiu stajnie miały być wyposażone w marmurowe żłoby i... lustra! Zamek posiadał doskonały system wentylacyjny i grzewczy. W portalu bramy wjazdowej umieszczono kamienną tablicę z krzyżem (symbólem wiary) i toporem - herbem rodu Toporczykńw, z którego wywodzili się Ossolińscy. Stąd też wzięła się nazwa rezydencji: Krzyżtopór.

Dalsze dzieje wojewody i jego wspaniałej rezydencji potoczyły się tragicznie. Niecały rok po ukończęniu budowy, w wieku 58 lat zmarł na febrę Krzysztof Ossoliński. Zamek przeszedł w posiadanie jego jedynego syna, Krzysztofa Baldwina. I on jednak niedługo cieszył się Krzyżtoporem. Zmarł 5 lat później, przeszyty tatarską strzałą podczas wyprawy na Podole (1650). Jako że nie posiadał on potomków, pałac przeszedł w ręce krewnych. W 1655 r. swoiste fatum wiszące nad zamkiem dopełniło się. Twierdza została podstępnie zdobyta przez Szwedów, którzy urządzili tu swoją kwaterę. Po ustąpieniu najeźdźców, ograbiony i zdewastowany zamek użytkowany był już tylko częściowo przez około 100 lat. Wreszcie opuszczony, popadł w ostateczną ruinę.

Taki był los budowli, która miała przyćmić wszystkie inne w Rzeczypospolitej. Jaśniała świetnością zaledwie 11 lat. Niektórzy powiadają, że w ruinach zamku w księżycową noc można zobaczyć ducha: to Baldwin w husarskiej zbroi ze skrzydłami. Czyżby chciał nas przed czymś przestrzec?