Agnes Wilhelmina woonde op Kasteel Asten in aanzienlijke luxe en ze had veel personeel. Ze tobde met haar gezondheid en reisde vrijwel nooit, behalve naar Brussel. Haar man was militair, en deze was vaak gedurende langere tijd afwezig. In 1643 kreeg Agnes Wilhelmina een bericht dat haar man gesneuveld was in de Slag bij Rocroi. De omstandigheden van zijn dood werden pas later bekend, toen zijn knecht en zijn tamboer in Asten arriveerden.
In 1656 droegen zij de heerlijkheid Asten over aan Everard van Doerne, maar het echtpaar mocht de titel vrouwe en heer van Asten blijven voeren. Na het overlijden van Agnes Wilhelmina in 1671 is Willem van Oetelaar waarschijnlijk uit het kasteel vertrokken. Van Doerne bezat het Blokhuis te Liessel en claimde de heerlijkheidsrechten van dat dorp. Van zijn tante Agnes, die zelf overigens een schoondochter van Margaretha van Doerne en Walraven van Wittenhorst was, erfde hij de heerlijkheid Asten. De families Van Merode en Van Doerne waren door minstens drie huwelijken met elkaar verstrengeld.
.svg)