La seva mare era professora de música i el seu pare dissenyador d'interiors i poeta.[4] El seu germà petit Nic era el baixista del grup de rock Van der Graaf Generator.[5] Quan li van preguntar sobre els seus antecedents, que van influir en la seva feina com a cineasta, respon: "Jo venia d'un origen ateu i d'origen anarquista, cosa que significava que vaig créixer en un entorn ple de preguntes, on res es podria donar per fet."[1]
Potter va començar a realitzar pel·lícules a l'edat de 14 anys, quan un dels seus oncles li va regalar una videocàmera.[6] Eventualment va abandonar els seus estudis per a dedicar-se a la direcció. En 1970 es va unir a l'organització London Film-Makers' Co-op on va començar a realitzar pel·lícules experimentals. En 1979 va dirigir un curt anomenat Thriller, que es va convertir en un succés al seu país. En 1983 va dirigir el seu primer llargmetratge, The Gold Diggers (1983), protagonitzada per Julie Christie.