For Høst var det Cézanne, der fik størst betydning. Den franske maler blev hans absolutte kunstideal, selv om Høst understregede den store forskel i deres værker: Høsts forklarede, at den skyldtes de store klimatiske forskelle, og at han følte sig dybt forankret i en nordisk tradition.
Høsts billeder er kaldt lyrisk realisme og mørkemalerier.
I 1929 flyttede Høst tilbage til Bornholm og fik endelig mulighed for at male de motiver, der begejstrede ham, og som han livet igennem holdt fast i. Udsigten over Gudhjem, silderøgerierne, Sankt Hans-bålene, dramatiske ildebrande og ikke mindst Bognemark blev tilbagevendende motiver. Bognemark lå på toppen af klippepartiet over hjemmet på Norresân. Det var allerede hans hovedmotiv i slutningen af 1920'erne. I 1935 købte Høst ejendommen for næsen af malerkollegaen og konkurrenten Niels Lergaard og indrettede sit andet atelier her.
Familien Høst skabte et hjem, der tiltrak mange intellektuelle, heriblandt Otto Gelsted, der var en flittig gæst. I 1943 døde hans ældste søn Ole, kammerat med Ole Wivel og Knud W. Jensen, ved den lille by Barwenkowo ved Østfronten i Rusland. I mange år malede Høst en række billeder fra Bognemark – hans atelier i avlsbruget – i retning mod Barwenkowo.
Høst blev allerede i 1930'erne et navn i dansk kunst og modtog flere æresbevisninger. Blandt andet Eckersberg Medaljen i 1933. Det er den højeste udmærkelse en dansk maler kan få. Han var medlem af Den Frie Udstilling fra 1926, men der kunne gå år, hvor han ikke udstillede, fordi han havde så svært ved at slippe sine billeder. Ofte medbragte han pensler og farver på selve udstillingen for at rette på billederne. Det bød han også private billedejere: han mødte op hos dem for at ændre på eller for at generhverve et billede til "færdiggørelse", som han kaldte det. Han havde ofte mange lærreder på bedding – op til 50 – der kunne være under overvejelse og stadig revision. Hans mange bornholmske venner modtog malerier fra Høst på mærkedage: Amtmanden, Svaneke by, overlæger, bønder og forpagtere.
Livet igennem skrev Høst mere end 1500 logbøger. De viser tydeligt den bidende skarphed, selvironi og underfundighed, som maleren havde til sig selv og sine omgivelser. Han skrev også hyppigt notater – om kunst – i bøgerne i sin omfattende samling. Han havde mange af Henning Ipsens bøger, som han noterede alverden i om kunst og liv. Henning Ipsen fik mange breve fra Høst med skitser og farvetegninger.
Henning Ipsen skriver om deres venskab i Tommelfingre (1972). Høsts tegning blev fx brugt på omslaget af Ipsens Skrænten ved havet (1959).