Na južnej strane nezalesneného hradného vrchu sa nachádza jednoposchodový menší kaštieľ s viacerými vežičkami, vsadený do úbočia tohto vrchu. Je postavený v duchu renesancie. Druhý, väčší rokokový kaštieľ sa nachádza na juhovýchodnej strane blízko umelého koryta Váhu. Vpravo od kaštieľa stojí menší objekt, zrejme hospodárska budova. Medzi obidvoma kaštieľmi stáli nižšie stavby, asi domky želiarov, či panských sluhov. V blízkosti kaštieľov boli údajne cintorín a krypty rodiny Balassovcov, o čom svedčal kamenný kríž, na ktorý si pamätníci dobre spomínali. Rozprávali, že v trávniku na pravej strane smerom k domu Vavríkovcov bolo dlho poznať máličko vyvýšené miesta ako hroby, ba aj veľký náhrobný kameň kryjúci hrob alebo hrobku.

Kto dal postaviť obidva kaštiele nie je zatiaľ známe. Pravdepodobne ich dal postaviť Štefan Balassa. Starší tzv. „burg“ v r. 1631. Na nádvorí bola postavená fara i škola. Po 1.svetovej vojne r. 1919 prišiel do rúk štátu a odvtedy chátral. Neskôr bol opravený a slúžil ako sklad CO. V súčasnosti je v správe súkromného majiteľa. O tom, že rozkvitá, sa však nedá hovoriť.

Novší kaštieľ bol postavený pravdepodobne v r. 1676. Prvým majiteľom o ktorom hovorí kronika mesta Považská Bystrica bol rod Balassovcov, alebo Peter Szapáry. Vo vnútri kaštieľa bola kaplnka, ktorá slúžila pre bohoslužby, na ktorých sa zúčastňoval i ľud z Považského Podhradia.

V roku 1712 a 1832 vypukol v Bystrici veľký požiar, pri ktorom zahynulo 20 ľudí a zhorelo aj veľa dokumentov z tohto obdobia. Týka sa to aj dokumentácie, vzťahujúcej sa na oba kaštiele.

Najväčší rozkvet dosahovali obidva kaštiele za vlády rodiny Szapáry. Pod hradom sa rozprestieral veľkolepý anglický park, ktorý sa postupne smerom proti prúdu Váhu ako kopce ustupovali od brehov zväčšoval. Dnes z neho zásluhou zubu času a nemilosrdných ľudských rúk, nezostalo nič. V parku priamo pri kaštieli rástol i jeden zvláštny strom, na ktorom rástol „svätojánsky chlieb“. Tento neobyčajný strom nazývaný Gledíčia trojtŕňová dorastajúci do výšky 30 m pochádza zo Severnej Ameriky a rastú na ňom 30 – 40 cm dlhé a 3 cm široké červenohnedé struky menovitého tvaru, ktoré sa pri dozretí špirálovite stáčajú. Na konároch mal trojdielny, až 10 cm dlhý tŕň.

Poslednou majiteľkou oboch kaštieľov bola do r 1918 barónka Popperová, ktorá dala opraviť burg s úmyslom, že v ňom zriadi lovecký zámok. Búrlivé časy 1. svetovej vojny však nedovolili opravu úplne dokončiť.

Ukončenie vojny v r. 1918 prinieslo zánik Rakúsko – Uhorskej monarchie a to bolo príčinou, že majitelia ušli do cudziny a obidva kaštiele zostali bez gazdov.

Dňa 4. novembra 1918 sa dohnala ku spodnému kaštieľu lavína rozzúrených, po rabovaní túžiacich ľudí, z ktorých veľká väčšina bola z Papradna, Brvnišťa a Stupného. Ku nim sa pridalo i veľa obyvateľov z Podhradia. Brány a vchodové dvere boli násilím vypáčené hrubými brvnami, rozvášnený dav vtrhol do kaštieľa a ničil a rozbíjal čo mu prišlo pod ruky. Mnohé veci, medzi nimi i knihy, vynášali pred kaštieľ, kde ich s jasotom pálili. Mená rabujúcich dlho dobre známe sa nikde neuvádzajú, aby táto smutná epocha v dejinách Považského Podhradia bola zabudnutá.

Ďalší osud spodného kaštieľa:

V lete r. 1919 boli na poschodí kaštieľa ubytovaní vojaci z 21.pešieho pluku.

V roku 1927 bola správkyňa kaštieľa Hana Gregorová, spisovateľka, ktorá tam aj bývala, kým jej muž Jozef Gregor – Tajovský, tiež spisovateľ, býval celé leto na poschodí domu Badačovho.

V roku 1932 tu bol zriadený ústav pre duševne choré deti.

V roku 1939 bol z kaštieľa urobený dievčenský internát, dovtedy už bol nejaký rok prázdny.

V roku 1946 prevzala kaštieľa Liga proti tuberkulóze.

V rokoch 1950 – 1955 slúžil ako internát.

V rokoch 1958 – 1975 tu bola umiestnená Materská škola.

Nakoniec slúžil ako sklad rôznym podnikom, ktoré sa veľkou mierou zaslúžili o jeho spustošenie. Súčasný majiteľ nám nie je známy.

Historický komplex budov dopĺňa kostol. Je zasvätený sv. Ladislavovi. Jeho základy boli položené v roku 1843 a staval sa 18 rokov. Pri požiari domu Jána Vavríka, 4. septembra 1888, zhorel. Obnovený bol až roku 1929. So stavbou kostola bola prevedená aj stavba súčasnej fary.