Nato in una famiglia indigente, studiò dapprima in una scuola per bambini poveri, poi nel 1866, all'età di tredici anni, fu ammesso all'Accademia Reale Svedese delle Arti di Stoccolma. Durante i primi anni in questa prestigiosa istituzione Larsson, timido e socialmente inferiore rispetto a molti suoi compagni, trovò difficoltà ad ambientarsi; tuttavia, col passare degli anni riuscì a mettersi in luce grazie al suo talento, diventando una figura centrale dell'accademia.
Dopo aver lavorato alcuni anni come illustratore per libri e giornali, nel 1880 si trasferì a Parigi, dove rimase fino al 1885 passando anni frustranti come artista senza successo. Fu proprio a Parigi che nel 1882 incontrò l'artista Karin Bergöö, che presto diventò sua moglie. Questo fu un punto di svolta nella vita di Larsson, che cominciò a dipingere le sue opere più importanti, abbandonando la pittura ad olio, fino ad allora la tecnica da lui maggiormente utilizzata, per realizzare degli acquerelli.
Nel 1888 la coppia si trasferì nel piccolo villaggio svedese di Sundborn, presso Falun, in una casa che fu decorata ed arredata rispecchiando il loro gusto artistico; i loro eredi hanno trasformato questa casa in un museo che è ancora oggi visitabile. Carl e Karin Larsson ebbero sette figli; i suoi familiari divennero i soggetti preferiti di Larsson per realizzare delicate composizioni ad acquerello in cui, spesso con fine senso umoristico, descrive momenti di vita domestica a Sundborn. La sua opera influenzò diversi artisti svedesi, in particolare la pittrice
Fanny Brate.
La sua popolarità aumentò incredibilmente con i miglioramenti tecnici della stampa a colori: negli anni '90 l'editore svedese Bonnier pubblicò libri scritti ed illustrati da lui e contenenti riproduzioni dei suoi acquerelli, poi nel 1909 l'editore tedesco Langewiesche pubblicò una sua raccolta di acquerelli e disegni intitolata La Casa nel Sole che vendette decine di migliaia di copie. Larsson inoltre disegnò parecchie storie ad immagini in sequenza, diventando così uno dei primi creatori svedesi di fumetti. Tuttavia per Larsson le sue realizzazioni più importanti furono le grandi pitture decorative in musei ed altri edifici pubblici, come gli affreschi al Teatro dell'Opera ed al Museo Nazionale di Belle Arti di Stoccolma.
Questi lavori non sempre furono ben considerati dai critici d'arte del tempo: Midvinterblót (Sacrificio di Pieno Inverno), rappresentante re Dómaldi accondiscendente ad essere sacrificato, era una imponente opera di 6 × 14 metri realizzata nel 1915 e commissionata per una parete nel Museo Nazionale di Belle Arti di Stoccolma, che aveva già diversi suoi affreschi ad adornare le pareti, ma una volta completata fu rifiutata dalla direzione del museo, che la comprò soltanto nel 1997.
Nelle sue memorie Larsson dichiarò la sua amarezza e il suo disappunto per il rifiuto della pittura che lui stesso considerava essere il suo risultato più grande; nelle stesse memorie riconobbe che le immagini della sua famiglia furono la parte più immediata e durevole del suo lavoro, perché espressione genuina della sua personalità, dei suoi sentimenti più profondi e di tutto il suo amore per la moglie e i figli.
Carl Larsson morì nella sua casa di Sundborn il 22 gennaio 1919.
