Poprvé bylo možné překročit Canal Grande suchou nohou přes pontonový most, který postavil roku 1181 stavitel Nicolò Barattieri. Most byl znám pod názvem Ponte della Moneta, pravděpodobně proto, že v blízkosti stála mincovna. Vzhledem k tomu, že díky blízkému trhu, zvaném Rialto, tento most brzy nestačil, byl roku 1255 nahrazen mostem dřevěným. Stavba byla založena na dvou šikmých rampách a pohyblivém středu, který umožnil průplav vyšším lodím. Nakonec došlo ke spojení s přilehlým trhem a most podle něj dostal své dnešní jméno.
Během první poloviny 15. století vznikly dvě řady obchodů po stranách mostu. Roku 1310, při vzpouře vedené Bejamonte Tiepolem, byl částečně spálen. Roku 1444 nevydržel nápor lidí sledujících průvod lodi a zřítil se. Myšlenka na stavbu mostu kamenného byla poprvé vznesena roku 1503.
Současný most, jak ho známe dnes, navrhl Antonio da Ponte a byl dokončen v roce 1591.