Ludvig Knudsen var søn af kaptajn og urtekræmmer Jens Christian Knudsen (1801-1856) og Johanne f. Jakobsen (1811-1866), kom efter sin konfirmation i tømrerlære, besøgte Det tekniske Institut og begyndte 1860 at gå på Kunstakademiet, hvorfra han marts 1869 fik afgangsbevis som arkitekt. I 1867 vandt han derpå den lille guldmedalje for opgaven En protestantisk Kirke. Han var elev af G.F. Hetsch og tegnede senere hos Christian Hansen og Ferdinand Meldahl. I 1871 blev han konstitueret og 1873 fast ansat som bygningsinspektør i Københavns Kommunes 4. distrikt og forblev i denne stilling til 1889. I sin tid som bygningsinspektør spillede Knudsen en rolle i bebyggelsen af store dele af Nørrebro. Ifølge maleren Johannes Zehngraff fortalte arkitekten og byggespekulanten A.O. Leffland,
at man dengang tegnede et hus om dagen. Man tog det ikke så nøje med udførelsen, den ene plan lignede den anden; med blåt overføringspapir fabrikerede man en halv snes eksamplarer på en gang, og når tegnerne havde besørget dette mere nøgterne arbejde, kom den store akademiske mester Knudsen [Ludvig Knudsen, red.] og lavede nogle streger til façaden. Så var tegnearbejdet færdigt; et andragende til bygningskommissionen blev skrevet og indsendt, og en regning fremsendtes til bygherren. 200 kr. var gærne arkitektssalæret for en 4'desals bygning.[1]
Ludvig Knudsens arkitektur repræsenterer tidens strømninger på en gennemsnitlig måde. Han bevægede sig fra senklassicismen (Opfostringshuset), over nyrokoko (Gothersgade 109), nyromansk stil (bl.a. Skt. Stefans Kirke), nygotik (bl.a. Skt. Andreas Kirke, skydemuren), nybarok (stiftelsen ved Dosseringen) og slutteligt til Nyroptidens danskprægede, friere og mere stoflige synsmåde (Cloëtta-fabrikken). Dermed er han udpræget en eksponent for den "katalogarkitektur", som Meldahl advokerede for.
Han blev Ridder af Dannebrog1887 og titulær professor 1900 (for Kronprins Frederik og Kronprinsesse Louises Stiftelse). Han var medlem af administrationskomiteen for Det københavnske Asylselskab