Drmić nam met het Zwitsers olympisch elftal onder leiding van bondscoach Pierluigi Tami deel aan de Olympische Spelen van 2012 in Londen. Daar werd de ploeg in de voorronde uitgeschakeld na een gelijkspel tegen Gabon (1–1) en nederlagen tegen Zuid-Korea (1–2) en Mexico (0–1). Een jaar eerder was Drmić met Zwitserland als tweede geëindigd bij het EK voetbal onder 21. In een interview met de Kroatische Totalsport in mei 2012 zei Drmić: "Het is een feit dat ik geboren ben in Zwitserland, waar ik al mijn hele leven woon en dat ik speel voor Jong Zwitserland, maar mijn hart klopt ook voor Kroatië en als ik eerlijk ben, zou ik voor Kroatië kiezen. Niemand heeft me nog benaderd vanuit de Kroatische voetbalbond, maar er is nog tijd. Zo'n oproep zou ik zeker accepteren."[2]
Drmić maakte op 11 september 2012 zijn debuut in het Zwitsers voetbalelftal, in een met 2–0 gewonnen kwalificatiewedstrijd voor het wereldkampioenschap 2014 tegen Albanië. In de blessuretijd verving hij Granit Xhaka. Zijn eerste én tweede interlanddoelpunt volgden op 5 maart 2014. Hij schoot Zwitserland toen op 1–0 en 2–1 in een in 2–2 geëindigde oefeninterland thuis tegen Kroatië.
Drmić behoorde tot de Zwitserse selectie op het WK 2014, zijn eerste eindtoernooi. Hierop kwam hij in alle vier de wedstrijden van de Zwitsers in actie. Zwitserland verloor in de achtste finale van Argentinië. Drmić maakte eveneens deel uit van de Zwitserse selectie die deelnam aan het WK 2018 in Rusland. Daar eindigde de ploeg onder leiding van bondscoach Vladimir Petković als tweede in groep E, achter Brazilië (1–1) maar vóór Servië (2–1) en Costa Rica (2–2). In de achtste finales ging Zwitserland vervolgens op dinsdag 3 juli met 1–0 onderuit tegen Zweden door een treffer van Emil Forsberg, waarna de thuisreis geboekt kon worden. Drmić kwam in drie van de vier WK-duels in actie voor de nationale ploeg. Hij scoorde tegen Costa Rica.