Sylwander byl synem velkoobchodníků Ernsta Augusta Sylwandera a Louise Rohdeové. Po škole se stal studentem fotografa Alfreda J:son Dahlöfa v roce 1900, dělal stáž v Gävle u Carla Larssona 1901–1902, s fotografem Andersem Wiklundem ve Stockholmu 1903–1904 studoval v Berlíně, Paříži a Londýně během období 1904–1905. V roce 1905 se stal ředitelem tradičního ateliéru Jaeger a od roku 1908 až do své smrti v roce 1948 jediným vlastníkem společnosti. Stal se dvorním fotografem královny Viktorie v roce 1927, Gustava V. v roce 1919, korunního prince Gustafa Adolfa v roce 1911 a korunní princezny Louisy v roce 1928. Byl rytířem řádu Vaasa.[3]
Poprvé se oženil s Götou Rydebergovou (nar. 1889), která byla tetou herce Georga Rydeberga. Spolu měli syna Georga Sylwandera (1909–1998), který se stal stavebním inženýrem a vedoucím obchodu.[4][1][5] Podruhé se oženil v roce 1913 s herečkou Torou Teje (1893–1970) a spolu měli syna Claese Sylwandera (1924–2013), který se stal hercem a divadelním režisérem.[3][6]