V duchu raného baroka Tovarnícky kaštieľ postavili Beréniovci v rokoch 1600 – 1610 na základoch staršej renesančnej stavby zo 16. storočia. Dodnes nie je jasné, kto bol realizátorom stavby. Uvádza  sa F.A. Hillebrandt alebo J. Thaller. Neskôr prešiel rozsiahlou prestavbou, ktorú realizovali Forgáchovci, ktorí v Topoľčanoch pôsobili v 17. a 18. storočí. Odstránili juhovýchodné krídlo, čím vzniklo barokové nádvorie. Interiér bol upravený v rokokovom štýle. Počas prestavby boli vytvorené aj základy parku. Vybudoval sa vodný systém, ktorého zdrojom bol potok Chocina.

Roku 1951 rozhodlo MNV Tovarníky s odborníkmi, že objekt kaštieľa sa dá zrekonštruovať do pôvodného stavu pred vyhorením. Namiesto rekonštrukcie došlo v rokoch 1952 – 1953 k rozobratiu časti kaštieľa pre stavbu JRD Ludanice a JRD Tovarníky. Súhlas na to poskytla ONV v Topoľčanoch. Dňa 3. 12. 1970 iniciatívou Slovenského pamiatkového ústavu, stredisko v Bratislave, bola vypracovaná správa, doplnená o návrh rámcového lokalitného programu ako i návrh nutných opatrení pre zahájenie realizačných prác. Kaštieľ bol rekonštruovaný do dnešnej podoby. Donedávna patril kaštieľ obci, no od roku 1996 ho odkúpila súkromná firma.

Kaštieľ je jedinečný najmä svojim interiérom. Už teraz sa v kaštieli konajú dni otvorených dverí spojené s prehliadkou.