Han mistede allerede sin fader (død 1737), da han var fjorten år gammel. Året før (1736) kom han i malerlære i sin fødeby, og efter at hans læretid var omme (1741), tilbragte han vinteren roligt i hjemmet, arbejdede derpå i tre år (1742-45) i Stralsund og fik endelig den 20. juni1745 en kondition i København hos malermester Milan, hos hvem han forblev i fem år. Løffler må imidlertid have forstået at gøre sin dygtighed gældende, thi den 1. januar1751 blev han ansat som tegnelærer (informator) ved det ældre Kunstakademi i København og gik derpå 1754 over til det nye Akademi på Charlottenborg, hvor han virkede i en række år som "en vindskibelig og tro Lærer" i den anden (øverste) frihåndstegneskole. Just Mathias Thiele omtaler det smukke forhold, hvori han som olding trådte til Bertel Thorvaldsen, da denne som Akademiets lærling fik plads i hans klasse; deres venskab vedvarede længe efter, at Thorvaldsen havde gået skolerne igennem, og i Løfflers sidste leveår modelerede Thorvaldsen hans portrætmedaljon. Han har 1764 malet et portræt af fru Klingberg og mulig 1771 portrætter af arkitekt Georg David Anthon og hustru født Eigtved.
Løffler, som i København ganske naturlig sluttede sig til Sankt Petri Menighed, blev den 17. januar1755 gift i København med Susanna Christiana Marr (døbt 12. juli 1734 smst. - begravet 20. juni 1775 smst.), datter af rustmesterValentin Marr og Anna Catharina von Bergen. ProfessorCarl Gustaf Pilo var hans forlover. Han havde mange børn, hvoraf to sønner nævnes som kunstnere. Han døde den 27. marts 1796 af alderdomssvaghed og blev begravet på Sankt Petri Kirkeskirkegård.
