Schily ble født som sønn av en gruvedirektør, dr. phil. Franz Schily. Han vokste opp i en antroposofisk familie, og studerte jus og statsvitenskap i München, Hamburg og Berlin. I 1963 åpnet han en egen advokatpraksis.
På 1970-tallet ble han kjent som forsvarer for flere RAF-terrorister. Han representerte blant annet den daværende vennen og terrorist-advokaten Horst Mahler i 1971. Under Stammheim-rettssaken (1975–77) var han den eneste gjenværende advokaten for Gudrun Ensslin. I sin politiske karrière har han senere måttet svare for beskyldninger om at han den gang sympatiserte med terroristene.
Politisk karriere
I 1980 ble han medlem av det nylig grunnlagte grønne partiet Die Grünen og innvalgt i det tyske parlamentet (Forbundsdagen) i 1983. Han måtte forlate parlamentet i 1986, men ble innvalgt igjen i 1987. Fiendtlighet mellom Schily og den mest venstreorienterte fraksjonen innen Die Grünen førte til at han meldte seg ut av partiet i 1989, trakk seg fra parlamentet, og ble medlem av det sosialdemokratiske partiet, SPD. Han ble innvalgt i parlamentet igjen for SPD i 1990. I de følgende årene var han aktiv innen saker som gjaldt gjenoppbygningen av det tidligere DDRs territorium og var partiets talsmann i en rekke justispolitiske saker.
Da Gerhard Schröder ble kansler i 1998 ble Schily utnevnt til innenriksminister. Fra da av ble han ofte kritisert av venstresiden for å føre en angivelig sterkt konservativ og høyreorientert politikk, blant annet ved å presse igjennom antiterror-lovgivning med blant annet flere fullmakter til politiet og etterretningstjenesten, samt en tøffere politikk mot utlendinger, særlig etter terrorangrepet 11. september 2001. Noen mener at hans politikk som innenriksminister stod i sterk motsetning til synspunkter han tidligere forfektet. På den annen side var han et viktig medlem av regjeringen, fordi han forhindret at kansleren ble utsatt for alt for sterk kritikk fra den konservative opposisjonen innen temaer som kriminalitet og innvandring.
Familie
Schily er gift for annen gang, og har to døtre fra sitt første ekteskap.