Verheiratet war Ljungberg mit der Künstlerin Ann Margret Dahlquist-Ljungberg, ihr gemeinsamer Sohn Pontus Ljungberg wurde Architekt und entwarf zusammen mit Dahlquist-Ljungberg ein Museum zu Ehren seines Vaters, welches nach zwölfjähriger Bauzeit 2002 eröffnet wurde.