Tijdens de nacht van 4 op 5 juli 1863 trok het verslagen Zuidelijke leger van generaal Robert E. Lee zich in zuidwestelijke richting terug via de Fairfield Road naar Hagerstown en Williamsport. De terugtocht werd gedekt door de cavalerie van generaal-majoor J.E.B. Stuart. De Noordelijken zetten de volgende dag de achtervolging in.
Op 7 juli voorkwam brigadegeneraal John D. Imboden dat de Noordelijke cavalerie van brigadegeneraal John Buford Williamsport bezette en de Zuidelijke bagagetrein vernietigde. Brigadegeneraal Judson Kilpatrick verdreef twee Zuidelijke cavaleriebrigades uit Hagerstown maar werd op zijn beurt verjaagd toen de rest van Stuarts troepen arriveerden. Lees infanterie bereikte de rivier de Potomac. Er moest echter een pontonbrug aangelegd worden om zijn leger over de rivier te krijgen. De eerste was vernietigd na een cavalerieaanval.
Op 11 juli liet Lee een verdedigingslinie optrekken om de aanleg van een pontonbrug bij Williamsport te beschermen en wachtte de komst af van generaal-majoor George G. MeadesArmy of the Potomac. Op 12 juli arriveerde Meade en stuurde verkenners uit om de sterkte van de Zuidelijke linies te achterhalen. Op 13 juli vonden er langs de linies schermutselingen plaats terwijl Meade zijn leger opstelde voor de aanval. Ondertussen was de aanleg van de pontonbrug goed gevorderd. Na het invallen van de duisternis begon de oversteek van Lees leger. In de loop van de ochtend van 14 juli vielen de divisies van Kilpatrick en Buford de achterhoede aan onder leiding van generaal-majoor Henry Heth. Er werden 500 Zuidelijken gevangengenomen. Brigadegeneraal J. Johnston Pettigrew liep een dodelijke verwonding op. Op 16 juli benaderde de cavalerie van brigadegeneraal David McM. Gregg de Zuidelijke stellingen bij Sherperdtown waar de brigades van Fitzhugh Lee en John R. Chambliss ondersteund door Milton J. Fergusons brigade de oversteekplaatsen over de Potomac verdedigden. Tot het invallen van de duisternis werd er gevochten zonder dat een van de strijdende partijen de bovenhand haalde.