De eerst bewezen stamvader is Aert Claussone die voor 7 februari 1527 zou zijn overleden. Zijn directe nageslacht was woonachtig in Vlissingen, zijn kleinzoon Abraham (begraven 1638) werd in 1601 poorter van Middelburg en trad nog op onder patroniem. De leden van de familie behoorden tot de plaatselijke doopsgezinde gemeente. De zoon van Abraham, Christiaen Abrahamsz. (begraven 1652) noemde zich als eerste Van Nispen. In de zeventiende eeuw ging Christiaen van Nispen (1653-1703) aan de Universiteit van Leuven studeren en bekeerde zich tot het katholicisme. Zijn nazaten huwden met telgen uit andere rooms-katholieke regenten- en adelsgeslachten.
Bij Koninklijk Besluit van 1 juli 1816 werden Hermanus Carolus Casper Bartholomaeus van Nispen van Pannerden (1764-1829) en diens neef (oomzegger) Lodewijk Carel Jacob Christiaan Frans van Nispen tot Velde (1790-1872) benoemd in de Ridderschap van Gelderland en verkregen het adellijke predicaat jonkheer; andere leden van het geslacht bleven ongeadeld. De familie bestaat uit verschillende takken, waarvan sommige de toevoegingen aan hun naam ontlenen aan landgoederen die in hun bezit waren of zijn:
Van Nispen tot (of van) Sevenaer, ontleend aan Huis Sevenaer;
Van Nispen tot (of van) Pannerden, ontleend aan Pannerden.
Enkele telgen
Oudste tak
Christianus Franciscus van Nispen (1724-1765), landrentmeester van het graafschap Bergh
Mr. Jacobus Johannes van Nispen (1758-1794), advocaat
Jhr. mr. Lodewijk Carel Jacob Christiaan Frans van Nispen, heer van 't Velde (1790-1872), administrateur van huis Bergh, schout van Bergh, lid Ridderschap, Provinciale en Gedeputeerde Staten van Gelderland, in 1816 opgenomen in de adelstand
Jhr. Reginald Alphons van Nispen (1832-1874), landdrost van Waterberg en stamvader van de bloeiende Zuid-Afrikaanse tak die tevens de chef de famille levert
Arnoldus Joannes Antonius van Nispen, heer van Sevenaar (1761-1795), sinds 1785 heer van Sevenaer en stamvader van de niet-adellijke tak
Everhard Çhristiaan van Nispen, heer van Sevenaar (1784-1842), adjunct-maire van Zevenaar, verkoopt Sevenaer in 1824 aan een verwant
Jhr. Hermanus Carolus Casper Bartholomaeus van Nispen van Pannerden, heer van Pannerden (1764-1829), in 1816 opgenomen in de adelstand, stamvader van de jongste tak
Jongste tak
Jhr. Hermanus Carolus Casper Bartholomaeus van Nispen van Pannerden, heer van Pannerden (1764-1829), militair, landrentmeester van het huis Bergh, hoofdschout van Zevenaar, lid Ridderschap en Provinciale Staten van Gelderland, sinds 1803 heer van Pannerden
Jhr. mr. Paulus Josefus Aloijsius Anacletus Maria van Nispen tot Sevenaer (1856-1944), lid gemeenteraad van Arnhem, lid Provinciale en Gedeputeerde Staten van Gelderland
Jhr. Otto Carel Jan Christiaan Lodewijk Marie van Nispen van Pannerden, heer van Pannerden, de Berenclauw en Rijswijk (Duiven) (1844-1905), lid gemeenteraad en wethouder van Zevenaar, lid van Provinciale Staten van Gelderland
Jkvr. Wilhelmina Louise Hubertha Maria van Nispen van Pannerden (1910-1996); trouwde in 1937 met Gellius Lodewijk Godfried Maria Cremers (1896-1947), burgemeester
Jkvr. Louise Ernestine Johanna Maria van Nispen van Pannerden (1915-2004); trouwde in 1936 met mr. Pieter Frans Gabriel Alphons Geradts (1909-2001), burgemeester
Jhr. mr. Herman Karel Marie van Nispen van Pannerden (1875-1963), advocaat en procureur, lid Provinciale en Gedeputeerde Staten van Gelderland
Jkvr. Aloysia Theresia Alphonsa Isla Maria (Wisia) van Nispen tot Pannerden (1923-2013); trouwde in 1952 met mr. Louis Joseph Marthe Corten (1922-1990), burgemeester
C.C.C.M. van Nispen tot Sevenaer genaamd Ruijs de Beerenbrouck, 'Aanvullingen en verbeteringen op het Nederland’s Adelsboek ', in: De Nederlandsche Leeuw CXXXVII (2020) 3 (september), p. 141-142.