Rabens forældre tilhørte inderkredsen omkring kong Frederik V og selv efterlod han sig en dagbog, Livsjournal for Otto Ludvig de Raben, greve til Christiansholm., der blev fundet på Aalholm i 1990'erne. Bogen giver et værdifuldt indblik i det aristokratiske liv i Danmark i 1700-tallet og hans egne oplevelser – den store tur til Paris, hvor han kom i de fornemste saloner, forelskede sig ulykkeligt og red på hjortejagt med Ludvig XV, forestod godsdriften på Aalholm, opdragede sine børn, spillede fløjte, gik til bondebryllup, lod sig årelade, var sin hustru utro og begravede sine forældre etc.
Han blev 29. maj1757 gift med Anna Catharina Henningia von Buchwald. Ud af ni børn fik han to sønner, hvoraf kun Frederik Christian Raben nåede voksenalderen og arvede grevskabet.