Bereits seit 1972 war Oviir im Justizministerium der Estnischen Sozialistischen Sowjetrepublik beschäftigt und arbeitete dort über 30 Jahre lang. Er war 1989 Gründungsmitglied der Estnischen Juristenvereinigung (Eesti Juristide Liit) und deren erster Präsident. Mit Wiedererlangung der estnischen Unabhängigkeit wurde Mihkel Oviir 1992 Staatssekretär (kantsler) im Justizministerium der Republik Estland. Er hatte diesen Posten zehn Jahre lang inne. Anschließend wurde er Stellvertreter des estnischen Rechtskanzlers (õiguskantsler), des Ombudsmanns der estnischen Regierung.
Am 25. Februar 2003 wählte ihn das estnische Parlament (Riigikogu) auf Vorschlag des estnischen StaatspräsidentenArnold Rüütel zum Präsidenten des estnischen Rechnungshofs (riigikontrolör). Er trat die Nachfolge von Juhan Parts an, der zum estnischen Ministerpräsidenten gewählt worden war. Oviirs fünfjährige Amtszeit begann am 1. April 2003. 2008 wurde er vom Parlament wiedergewählt.
Mihkel Oviir ist mit der estnischen Politikerin und EuropaparlamentarierinSiiri Oviir verheiratet. Das Paar hat drei Töchter. Seine Tochter Liisa Oviir (* 1977) war von September 2015 bis November 2016 Ministerin für Außenhandel und Unternehmertum der Republik Estland.