Hij was de jongste zoon van groothertog August van Oldenburg en Cecilia van Zweden, die aan de gevolgen van de geboorte van Elimar zou overlijden. Zijn oudere halfbroer was Peter II van Oldenburg. Van de drie zoons die werden geboren uit het derde en laatste huwelijk van zijn vader, was Elimar de enige die de kindertijd overleefde.
Elimar trad op 9 november1876morganatisch in het huwelijk met Natalie baronesse Vogel von Friesenhof. Met haar kreeg hij twee kinderen.
