La Rues forældre flyttede tidligt med sine børn fra Irland til Soho i det centrale London. Det fædrene hjem ødelagdes dog under blitzen og moderen, der var syerske, tog børnene med til Kennford, en by i Devon, hvor unge Danny udviklede sin interesse for underholdning.
Han fik gode udtalelser fra et flertal af sine kolleger. Blandt andre udtalte Noël Coward, at La Rue var "den mest professionelle, den mest spirituelle... og den mest yderst charmante mand i underholdningsbranschen", og Bob Hope skal have kaldt ham "den mest glamourøse kvinde i verden". La Rue foretrak selv at kalde sig for "komiker i kjole" end det mere almindeligt benyttede female impersonator (kvindeimitator) og drag queen.
