Hovedbygningen blev bygget i 1848 og er tegnet af Carl Georg Brunius. De to længer, der er fra 1790'erne, er ombygget for at passe til hovedbygningens stil.
Herregården blev anlagt i 1560'erne af rigsrådAxel Tønnesen Viffert, som opkaldte gården efter sig selv.
Gården var derefter i familierne Ulfstands og Urnes eje. Isaac von Linde købte godset i 1699, og den forblev i hans families eje til 1961, hvor medlemmer af familien Wachtmeister arvede ejendommen. Gradvist erhvervedes flere omkringliggende fæstegårde som de tidligere klostergårde. Möllarp i Kågeröd, var længe underlagt Axelvold som ladegård.
