Kai Nielsen var son av urmakaren Christian Nielsen og Anna Maria, og bror til arkitekten Viggo Berner Nielsen. I 1901 kom Nielsen til København der han arbeidde som målarsvein. Han gjekk på Kunstakademiet i København, der han avslutta utdanninga i 1912.