Bajrami inizia la sua carriera in Svezia, nel Köping FF, squadra con la quale nel 2005 fa il suo debutto nella quarta serie del campionato svedese.[1]
Elfsborg
Nel 2006 si trasferisce all'Elfsborg, squadra militante in Allsvenskan. Nel corso della stagione disputa alcune partite contribuendo alla vittoria del campionato. L'anno successivo viene utilizzato più spesso e totalizzando 14 presenze di cui 4 da titolare, oltre ad alcune presenze nelle coppe europee. Nel 2008 conquista il posto da titolare e disputa 28 delle 30 partite del campionato.
Dopo un'altra stagione e mezza positiva all'Elfsborg, nell'estate 2010 si trasferisce in Olanda, al Twente[2].
Twente
Arrivato al Twente, per circa 4.5 milioni di euro[3], vince subito la Supercoppa d'Olanda. La sua stagione al Twente è parzialmente rovinata da un infortunio nel mese di settembre in allenamento causato da uno scontro con il suo connazionale Rasmus Bengtsson[4], nonostante questo Bajrami fa il suo ritorno in campo dopo la pausa invernale e a fine stagione totalizza 31 presenze.
Con i Reds l'8 maggio seguente vince la KNVB beker contro l'Ajax per 3-2 in rimonta dopo i supplementari.
Monaco
Il 10 luglio 2012 viene ceduto in prestito al Monaco[5], in Francia, dove colleziona in tutto solo 10 presenze ed un gol.
Panathinaikos
Il 4 giugno 2013 passa al Panathīnaïkos, firmando un contratto triennale[6]. Il 10 marzo 2015, aver giocato solo 19 partite con la maglia del club ateniese, rescinde anticipatamente il proprio contratto[7].
Elfsborg
Il 19 marzo 2015 torna all'Elfsborg[8]: durante la stagione tuttavia non colleziona alcuna presenza per via di alcuni problemi alla schiena, parte del corpo già interessata da infortuni negli anni precedenti.
Dopo quasi un anno di riabilitazione, il 23 dicembre 2015 comunica di aver firmato un rinnovo quadriennale con l'Elfsborg e di poter tornare in campo.[9] Nonostante il contratto in essere, Bajrami si ritira al termine dell'Allsvenskan 2018, durante la quale è riuscito a giocare solo 7 partite.
Calcio dilettantistico
Nell'aprile 2019 la piccola società del Tvärred/Vegby FC, militante nella settima serie nazionale, ha annunciato l'arrivo di Bajrami.[10]
Nazionale
Nel 2006 viene convocato dalla Nazionale svedese Under-18 con cui totalizza 7 presenze ed un gol. L'anno successivo è convocato dall'Under-19 con la quale disputa 5 partite.
Il 12 ottobre 2007 fa il suo debutto con la Under-21, entrando in campo al minuto 64 al posto di Christer Youssef nella partita persa per 3-2 contro l'Irlanda[11]. Quattro giorni dopo, nella partita vinta 5-1 contro il Belgio segna il suo primo gol con l'Under-21[12].
Nel maggio 2009 viene convocato per gli Europei Under-21 in Svezia insieme al compagno di squadra Denni Avdić[13]. Bajrami gioca tutte le partite della fase a gironi, tuttavia è costretto a saltare la semifinale in cui la Svezia viene eliminata a causa di una squalifica.[14]. In totale disputa 25 partite con 2 reti con l'Under-21.
Nel gennaio 2010 riceve la sua prima convocazione nella Nazionale maggiore. Il 20 gennaio 2010 fa il suo debutto con la Nazionale svedese in una partita contro l'Oman vinta 1-0.