Mark war der Sohn einer wohlhabenden Bauernfamilie. Er besuchte das Alexander-Gymnasium in Reval. 1911/12 begann er ein Studium an der Kaiserlichen Universität Dorpat in vergleichende indoeuropäische Sprachwissenschaft und alte Sprachen. 1912 setzte er sein Studium an der Universität in Helsinki fort. 1919 promovierte Mark an der Universität und trat am 12. September 1919 die Stelle als Professor für Uralische Sprachwissenschaft der Universität in Dorpat an. 1923 wurde Mark zum ordentlichen Professor gewählt. In den Jahren 1922 bis 1924 amtierte er als Chefredakteur der estnischen sprachwissenschaftlichen Zeitschrift „Eesti Keel“ (deutschEstnische Sprache).
1944 flüchtete er vor der Roten Armee aus Dorpat nach Deutschland und weiter nach Dänemark. 1947 wanderte Mark in die Vereinigten Staaten aus. Dort lehrte er an verschiedenen Universitäten die russische und finnische Sprache.