I 1871 blei Kviteseid bryggje (før kalla Kyrkjebøbryggja) utbygd for dampskipstrafikken som hadde starta på Vestvatna i 1852. Brygga vart ytterlegare utvida i 1894 og 1912.
I 1892 vart Bandak-Norsjøkanalen opna og trafikken. Det blei starten for eit snøgt oppveksande byliknande lite samfunn, som på folkemunne blei kalla Hyttebyen fordi husa var små og tettliggande.
I 1911 brann heile byen ned. Før han blei gjenreist blei staden regulert med breie gater, slik att husa ikkje skulle stå så tett som tidlegare, og dermed minke brannfaren.