Pada Kampanye Heshui 1948, Ma mengalahkan 30.000 tentara Komunis. Dia memimpin divisi ke-82, divisi kavaleri yang 30 persen di antaranya adalah Muslim untuk menyerang Komunis dengan pedang. Ma mengeluh bahwa pemerintah Kuomintang (KMT) tidak mencukupi kebutuhannya dan tidak ada lagi yang memiliki "semangat revolusioner". Di pihak lawan, Jenderal Zhao Shoushan memimpin Komunis, Zhao dulunya bersekolah di sekolah yang sama dengan Ma.[2][3]
Ma Jiyuan menjadi kolonel pada usia 16 tahun dan dipromosikan menjadi mayor jenderal pada usia 20 tahun. Ia pernah bersekolah di Akademi Militer Whampoa. Ma diberi cawan perak oleh misionaris Serikat Sabda Allah setelah dia kembali dari front barat laut.[4] Tahun 1944, Ma menjadi Komandan Angkatan Darat ke-82.[5]
Pada Mei 1949, Jenderal Hu Zongnan dan Ma membuat jebakan untuk menghalau Komunis. Hu berpura-pura mundur, kemudian Jenderal Komunis Peng Dehuai bergerak maju bersama dengan 120.000 prajurit dari Xi'an ke Sichuan. Setelah mundur sekitar 120 km, Hu memulai pertempuran sengit dan kemudian Ma secara pribadi memimpin 20.000 pasukan kavalerinya untuk mengalahkan pasukan Komunis dan membuat mereka melarikan diri. Ma terus memerangi pasukan Komunis sepanjang bulan Juli di sekitar Xi'an.[6]
Pada bulan Agustus 1949, Ma Bufang secara pribadi melakukan perjalanan dengan pesawat menuju Kanton untuk menemui pemerintah KMT guna meminta pasokan yang dijatuhkan dari udara, sementara putranya Ma Jiyuan mengambil alih komando atas pasukan KMT di Lanzhou dan berjanji untuk mempertahankan kota Lanzhou. Kepada wartawan ia mengatakan "Ya tentu saja, Lanzhou tidak akan pernah jatuh ke tangan Komunis". Namun pemerintah KMT menolak permintaan ayahnya, sehingga ia kemudian meninggalkan Lanzhou dan kembali ke Xining dengan truk.[7] Ma Jiyuan mempertahankan Gansu dari serangan Komunis selama Kampanye Lanzhou.[8]
Ma menikah dengan dua wanita dan suka menonton film Amerika. Dididik di bawah disiplin yang ketat, banyak peribahasa Tiongkok yang dipasang di sekitar markas besarnya.[9]
Dia pindah bersama ayahnya ke Mesir, kemudian ke Arab Saudi ketika ayahnya ditunjuk menjadi duta besar Republik Tiongkok untuk Arab Saudi. Di sela-sela kepindahannya, ia juga pergi ke Taiwan untuk memberi nasihat kepada Kementerian Pertahanan Nasional Republik Tiongkok dan partai Kuomintang.