Finne började sin litterära bana med några böcker, som chockerade med sin dristighet: Filosofen (1889), D:r Wangs børn (1890) och Unge syndere (1890). Därpå följde den brett anlagda romanen To damer (1891) samt en rad berättelser och enaktare: Uglen (1893), Før afskeden (1893), Rachel (1895), Emanuel Daah (1898) samt I afgrunden (1898).