Diallo inizia la carriera da professionista nel 1992, dopo essere stato messo sotto contratto dal Sotra FC. Arriva in Europa nel 1995, dopo essere passato dal Kawkab Marrakesh, quando è in prestito agli svizzeri del San Gallo. Dopo un solo anno passa in Turchia, dove gioca per lo Zeytinburnuspor. La stagione successiva passerà ai norvegesi del Lillestrøm, dove rimarrà per due anni. Nel 1999 passa al Duisburg, ma, dopo neanche un anno, torna in Norvegia per vestire la casacca del Vålerenga, dove diventa presto una leggenda, segnando due reti al Lillestrom e facendo salvare così la sua squadra.
Major League Soccer
Nel 2000, Diallo passa in MLS per giocare con il Tampa Bay Mutiny. Diallo segna 26 goal, secondo record della Major League superato solo dai 27 goal siglati nel 1996 da Roy Lassiter, vince quindi la classifica marcatori e venne inserito nei migliori 11 calciatori della stagione. Sfortunatamente, Diallo è ricordato anche per l'incidente avuto il 16 agosto 2000 contro il New York Red Bulls: in uno scontro con Mike Ammann, rompendosi alcune costole. Nel 2001, Diallo realizza nove reti.
Nel 2002, dopo la bancarotta del Tampa Bay Mutiny, Diallo passò al New England Revolution. Giocò solo 7 partite per il New England, dopo si trasferì al MetroStars. I tifosi non erano entusiasti del nuovo acquisto, Diallo però si fece accettare segnando, durante la sua seconda partita, quattro goal al Los Angeles Galaxy.
Dopo la MLS
Diallo viene venduto agli arabi dell'Al Ahli, ma se ne andò subito, passando all'IFK Göteborg; gioca poi per il Pohang Steelers, lo Jomo Cosmos e il Djoliba AC, la sua squadra attuale.
Nazionale
Diallo scese in campo per la propria Nazionale 46 volte, segnando 21 goal, dal 1994 al 2000.