Samma år gifte han sig med den välbeställda änkan Katarina Liedberg, men de kom inte överens och deras gräl slutade ibland med handgripligheter. Fredman förskingrade sedermera sin hustrus pengar, vilket så småningom ledde till en omtalad och skandalös rättsprocess.
När hustrun dog 1752 började det gå ordentligt utför med Fredman. Han misskötte sig och avsattes från sina poster vid Stockholmsämbetet. Vid inventeringen av ämbetslådan visade det sig att tillgångarna bestod av en mindre summa kontanter samt en revers på 144 daler kopparmynt med sexprocentig ränta utfärdad av Fredman. Han försummade även tjänsten som hovurmakare, och anhöll om avsked 1758. Nu gick förfallet i ett raskare tempo, och han hamnade småningom på gatan som en av Stockholms alkoholister fram till sin död den 9 maj 1767, som skall ha varit ett resultat av "bröstfeber".
Det var den utslagne Fredman Bellman skildrade. Sången om Fredmans begravning var den första Bellman skrev om honom. Den fick småningom nummer 26 i Fredmans sånger: Fredman, namnkunnig urmakare i Stockholm, utan ur, verkstad och förlag.
Sidenbladh, Elis (1947). Urmakare i Sverige under äldre tider. Nordiska museets handlingar, 0346-8585; 28 (2., rev. kompl. uppl.). Stockholm: Nordiska museet. Libris8216676
Pipping, Gunnar; Sidenbladh Elis, Elfström Erik (1995). Urmakare och klockor i Sverige och Finland: historisk översikt jämte förteckning över personer som verkat inom urmakeri och angränsande hantverk före år 1900. Stockholm: Norstedts förlag. Libris7156416. ISBN 91-1-933282-3
