Milde har været medlem af både administrationsudvalget og fylkesudvalget i Østfold.[3] Han har haft forskellige tillidserhverv i Halden Høyre og Østfold Høyre siden 1999. Blandt andet har han været vareordfører i Halden fra 2001 til 2007, ordførerkandidat i 2003 og fylkestingsrepræsentant 2007–2009. Fra 2008 er han 2. viceleder i Østfold Høyre. I perioden 2011 til 2015 sad han med i kommunalbestyrelsen i Halden.[4]