Медаль «За відзнаку у військовій службі» має форму вигнутої п'ятикутної зірки, між кутами якої розташовані п'ять щитів з емблемами основних родів військ. У центрі медалі зображені профілі солдата, матроса та військового льотчика, навколо — кільце з написом «За отличие в воинской службе» та двома лавровими гілками унизу.
Зворотний бік медалі зображень та написів не має.
Медаль «За відзнаку у військовій службі» за допомогою вушка і кільця з'єднується з колодочкою завширшки 29,5 мм та заввишки 27,5 мм. Колодочка обтягнута шовковоюмуаровою стрічкою червоного кольору завширшки 24 мм з двома подовжніми смужками зеленого кольору по краях. Смужки завширшки 3 мм кожна розташовані у 3 мм від країв стрічки. Посередині колодочки до стрічки приєднана п'ятикутна зірочка.
Медалі I ступеня виготовлялися з нікелю, II ступеня — з мельхіору.
за відмінні показники у бойовій та політичній підготовці;
за особливі відзнаки під час навчань та маневрів, під час несення бойової служби та бойового чергування;
за відвагу, самовідданість та інші відзнаки під час проходження військової служби.
Медаль носиться на правій стороні грудей нижче орденів СРСР, стрічка до медалі «За відзнаку у військовій службі» за умови носіння на загальній планці розташовується після стрічки до медалі «За відзнаку в охороні державного кордону СРСР».
Усього на 1 січня 1995 року медаллю «За відзнаку у військовій службі» I ступеня нагороджено близько 20 000 осіб, II ступеня — близько 120 000 осіб.