De Hoge Heerlijkheid Poederoijen en het Geslacht Viruly

In de omgeving van het kasteel heeft tot het eind van de vorige eeuw ook een aanzienlijk huis gestaan dat in bezit was van de familie Viruly. Deze familie had op hun terrein een stoomaardappelmeel- en een stijfselfabriek, terwijl in de tijd van de vorige bezitter Rom door een zekere Olivier in 1829 een aardappelmoutbranderij en in 1836 een Bierbrouwerij annex azijnmakerij opgericht werd. Vijfentwintig jaar was er op deze plek industrie.

Uit een brief van 20 juni 1876, gericht aan M.J.E. Viruly van Poederoyen te Amersfoort, afkomstig van De Commissie van Watersnood voor Brakel en Poederoyen blijkt dat het Heerenhuis toen gebruikt was als huisvesting voor degene die hun woning verloren hadden. De brief was ondertekend door de voorzitter Van Dam en de secretaris penningmeester de heer L. W. Loysen Dillié, geneesheer te Brakel.

Ook uit een krantenbericht van het Vaderland van 28 maart 1976 blijkt dat met name de geredden van de Vleugeldijk voor het grootste gedeelte opgenomen waren in het Heerenhuis. Ruim honderd vluchtelingen vonden daar onderdak. Bij een bezoek van de krant aan het herenhuis bleek dat de huisgezinnen over de verschillende kamers waren verdeeld. Iedere kamer was van een kookkachel voorzien. De oudere vrouwen bereidden het middagmaal en de jongere vrouwen waren aan het schrobben en wassen. De mannen moesten zich, wanneer de omstandigheden en het weer dat gedoogden, buiten het huis ophouden, een uitmuntende maatregel om de lucht binnenshuis zolang en zoveel mogelijk fris te houden. De voorraadkamers van het Heerenhuis waren door de zorg der Gorinchemse commissie een aanzienlijke hoeveelheid van allerhande levensmiddelen bijeengebracht. Er lagen stapels broden, tonnen met scheepsbeschuit, spek, kaas, en bussen met verduurzaamde spij­zen waaronder zelfs enkele met doperwten. Ook aan brandstoffen en veevoerder was evenmin geen gebrek. Het vee was ondergebracht in de stallen en gedeeltelijk in een loods. De heren van Andel en Brienen, beide leden van de Brakelse commmissie waren belast met de dagelijkse uitdeling van levensmiddelen en verdere behoeften. Het huis is waarschijnlijk door een brand verwoest en in 1885 volledig afgebroken.