Hendes bror, Christian Voigt, var ven og studiekammerat med den unge digter, og det var ham der inviterede Andersen på besøg i familiens hjem i sommeren 1830.[4] Efter at have mødt hende, skrev han de to digteMin Tankes Tanke ene Du er vorden og To brune Øjne, inspireret af hende. Han friede til hende, men da hun allerede var blevet forlovet med skovridder Poul Jacob Bøving, afslog hun hans frieri.[4] Hun skrev et afskedsdigt til ham, som han bar om halsen i en pung ved sin død. Brevet blev efterfølgende brændt, efter Andersens ønske.[5] Riborg Voigt og hendes mand fik sammen ni børn.[3]
Da Voigt selv døde i 1883, fandt man i et hemmeligt rum i hendes chatol de digte, H.C. Andersen havde skrevet til hende, sammen med en buket og et fotografi af Andersen.[5]
