Na južnej strane nezalesneného hradného vrchu sa nachádza jednoposchodový menší kaštieľ s viacerými vežičkami, vsadený do úbočia tohto vrchu. Je postavený v duchu renesancie. Druhý kaštieľ, ktorý je väčší a v rokokovom slohu, sa nachádza na juhovýchodnej strane blízko umelého koryta Váhu. Vpravo od kaštieľa stojí menší objekt, zrejme hospodárska budova. Medzi obidvoma kaštieľmi stáli nižšie stavby, asi domky želiarov, či panských sluhov. V blízkosti kaštieľov boli údajne cintorín a krypty rodiny Balassovcov, o čom svedčal kamenný kríž, na ktorý si pamätníci dobre spomínali. Rozprávali, že v trávniku na pravej strane smerom k domu Vavríkovcov bolo dlho poznať máličko vyvýšené miesta ako hroby, ba aj veľký náhrobný kameň kryjúci hrob alebo hrobku.
Kto dal postaviť obidva kaštiele nie je zatiaľ známe. Pravdepodobne ich dal postaviť Štefan Balassa. Starší tzv. „burg“ v roku 1631. Na nádvorí bola postavená fara i škola. Po 1.svetovej vojne v roku 1919 prišiel do rúk štátu a odvtedy chátral. Neskôr bol opravený a slúžil ako sklad CO. V súčasnosti je v správe súkromného majiteľa. V roku 2012 bola dokončená jeho rekonštrukcia.
Novší kaštieľ bol postavený pravdepodobne v roku 1676. Prvým majiteľom, o ktorom hovorí kronika mesta Považská Bystrica, bol rod Balassovcov. Vo vnútri kaštieľa bola kaplnka, ktorá slúžila pre bohoslužby, na ktorých sa zúčastňoval i ľud z Považského Podhradia.
Najväčší rozkvet zaznamenali obidva kaštieľe, keď boli majetkom rodiny Szapáry. Pod hradom sa rozprestieral veľkolepý anglický park, ktorý sa postupne smerom proti prúdu Váhu, ako kopce ustupovali od brehov, zväčšoval. Dnes z neho zásluhou zubu času a nemilosrdných ľudských rúk nezostalo nič. V parku priamo pri kaštieli rástol i jeden zvláštny strom, na ktorom rástol tzv. „svätojánsky chlieb“. Bol to neobyčajný strom s názvom Gledícia trojtŕňová, ktorá dorastá až do výšky 30 metrov a pochádza zo Severnej Ameriky. Je typický aj tým, že na ňom rastú 30-40 cm dlhé a 3 cm široké červenohnedé struky, ktoré sa pri dozretí špirálovite stáčajú. Je typický tým, že má na konároch trojdielny tŕň, až 10 cm dlhý.
V rokoch 1712 a 1832 vypukli v Bystrici veľké požiare, pri ktorých zahynulo 20 ľudí a zhorelo veľa dokumentov z tohto obdobia. Týka sa to aj dokumentácie vzťahujúcej sa na oba kaštieľe.
Poslednou majiteľkou oboch kaštieľov pred 1. svetovou vojnou bola do roku 1918 barónka Popperová, ktorá dala opraviť burg s úmyslom, že v ňom zriadi lovecký zámok. Búrlivé časy vojny však nedovolili opravu úplne dokončiť.
Ukončenie vojny v roku 1918 prinieslo zánik Rakúsko – Uhorskej monarchie, čo bolo príčinou, že majitelia ušli do cudziny a obidva kaštiele zostali bez gazdov.
Dňa 4. novembra 1918 sa dohnala ku spodnému kaštieľu lavína rozzúrených, po rabovaní túžiacich ľudí, z ktorých veľká väčšina bola z Papradna, Brvnišťa a Stupného. K nim sa pridalo i veľa obyvateľov z Podhradia. Brány a vchodové dvere boli násilím vypáčené hrubými brvnami, rozvášnený dav vtrhol do kaštieľa a ničil a rozbíjal čo mu prišlo pod ruky. Mnohé veci, medzi nimi i knihy, vynášali pred kaštieľ, kde ich s jasotom pálili. Mená rabujúcich, dlho dobre známe, sa nikde neuvádzajú, aby táto smutná epocha v dejinách Považského Podhradia bola zabudnutá.
Ďalší osud spodného kaštieľa:
V lete r. 1919 boli na poschodí kaštieľa ubytovaní vojaci z 21.pešieho pluku.
V roku 1927 bola správkyňa kaštieľa Hana Gregorová, spisovateľka, ktorá tam aj bývala, kým jej muž Jozef Gregor – Tajovský, tiež spisovateľ, býval celé leto na poschodí domu Badačovho.
V roku 1932 tu bol zriadený ústav pre duševne choré deti.
V roku 1939 bol z kaštieľa urobený dievčenský internát, dovtedy už bol nejaký rok prázdny.
V roku 1946 prevzala kaštieľa Liga proti tuberkulóze.
V rokoch 1950 – 1955 slúžil ako internát.
V rokoch 1958 – 1975 tu bola umiestnená Materská škola.
Historický komplex budov dopĺňa kostol. Je zasvätený sv. Ladislavovi. Jeho základy boli položené v roku 1843 a staval sa 18 rokov. Pri požiari domu Jána Vavríka, 4. septembra 1888, zhorel. Obnovený bol až v roku 1929. So stavbou kostola bola uskutočnená aj stavba súčasnej fary.
