È cresciuto nelle giovanili della Pianorese. Nel 1980 acquistato dal Modena passa al calcio professionistico in Serie C1.
Nel 1982 viene acquistato dal Bologna dove però non trova spazio e viene ceduto al Cagliari, squadra con cui esordisce in Serie A a soli vent'anni nella partita contro il Cesena terminata 0-0.
Dopo tre stagioni con gli isolani nell'estate 1985, fortemente voluto dal presidente Giorgio Chinaglia, è stato acquistato dalla Lazio per la cifra (record di allora) di 3 miliardi e 500 milioni di lire. Ha esordito in maglia biancoceleste il 21 agosto 1985 nella partita di Coppa Italia Lazio-Catania 1-0. Da allora con la squadra romana ha totalizzato 60 presenze e 6 reti tra campionato di Serie B e Coppa Italia. Nel campionato 1984-1985 durante l'incontro Cagliari-Arezzo 4-1 fu soccorso dal portiere aretino Pellicanò, poiché stava rischiando di soffocare dopo aver inavvertitamente ingerito una gomma da masticare. La sua squadra, così, segnò il quarto gol a porta vuota.[senza fonte]
Il 5 luglio 1987 si è rivelato decisivo per la storia della Lazio, segnando la rete della vittoria per 1-0 nella partita Lazio-Campobasso, ultima gara di spareggio per non retrocedere in Serie C, disputato a Napoli.[2] È stato uno dei punti di riferimento della formazione biancoceleste in quegli anni.
Nel 1987 il Bologna di Luigi Maifredi si affida a lui per il impostare la squadra che vincerà il campionato di serie B. Nel capoluogo emiliano Poli ha disputato 5 stagioni tra Serie A e Serie B. In serie A ottiene buoni risultati, tanto da divenire capocannoniere stagionale del Bologna nel 1988-89. Durante un Bologna-Verona del campionato 1989-90 si rompe i legamenti del ginocchio. Da quel grave infortunio non si è più ripreso completamente, risentendone anche negli anni successivi con continui problemi muscolari e articolari.
L'11 novembre 1990 al termine di Bologna-Juventus è stato minacciato da Totò Schillaci al momento di uscire dal campo: "Ti faccio sparare".[3]
Nel 1992 viene acquistato dal Siena in Serie C1.
Successivamente gioca nel Felsina San Lazzaro, squadra nata dalla fusione dell'Iperzola con il Football Club San Lazzaro. Con i suoi gol, Poli trascina la squadra emiliana fino alla Serie C2. Nel Felsina riveste il ruolo di allenatore-giocatore, e chiuderà definitivamente la carriera da calciatore nel 2004 nella Pro Malalbergo.
Durante gli ultimi anni da calciatore al Felsina, ha avuto la possibilità di giocare in qualche match assieme al figlio Mirko, anch'egli nella formazione emiliana.
In carriera ha collezionato complessivamente 75 presenze e 8 reti in Serie A e 177 presenze e 25 reti in Serie B.
Dopo il ritiro
Dal 1999 al 2001 ha assunto il ruolo di allenatore-giocatore nel Felsina. Nel febbraio 2002 venne richiamato sulla panchina della squadra emiliana. Dal 2006 al 2008 fu il vice allenatore del Boca San Lazzaro, nuova denominazione del Felsina.
Nel 2009 ha ricoperto la carica di presidente del Boca San Lazzaro, squadra nella quale ha sia giocato sia allenato.