In un documento risalente al 1299 Rifredo è citata col nome di Rivo Frigido o Rio Freddo . Nell'antichità Rifredo si trovava nella località di Fognano, dove molto probabilmente risiedeva il conte e dove è ricordata la Sala della Contessa in una casa antica. Dal 955 il castello e la chiesa appartenevano agli Ubaldini di Piancaldoli. Sulla antica via, da Fognano al Santerno, furono sconfitte le milizie fiorentine comandate da un capitano dei Medici, sopraggiunte per aiutare il castello di Firenzuola, come si apprende da Giovanni Villani. In questa via, vicino a Poggialto, era situato l'Ospedale di San Salvatore. Sul poggio, di fronte alla chiesa di Santa Maria, restano ruderi di un castello.
Badia di San Pietro a Moscheta
Non molto distante da questa frazione si trova la Badia di San Pietro a Moscheta che, per soccorrere viandanti e malati, tenne aperto un ospizio anche a Rifredo.