Bajer je bil sin duhovnika. Bajer je služil kot vojaški oficir v danski vojski in se boril leta 1864 v vojni proti Prusiji in Rusiji ter tako napredoval v činu do prvega poročnika. Ko je zapustil vojsko leta 1865, se je preselil v Kopenhagen, kjer je postal učitelj, prevajalec in pisec.
V danski parlament je bil izvoljen kot poslanec spodnjega doma danske zakonodaje leta 1872, nakar je ostal poslanec nadaljnih 23 let. Kot poslanec se je zavzemal za uporabo mednarodne arbitraže za razreševanje konfliktov med državami. Zaradi Bajerja in njegovih naporov so bili mednarodni odnosi postali del danskega parlamenta, Danska pa postala že od samega začetka pomenljiv član Interparlamentarne unije. Danska je s tem postala ugleden član mednarodne skupnosti kot k miru pozivajoča država.[7][8]
Podpiral je veliko mirovnih organizacij tako znotraj Danske kot širom Evrope. V sporu med Švedsko in Norveško se je zavzemal za zakonodajne rešitve, ki so nato omogočile arbitražne sporazume med tema dvema državama.