Soft Machine blev dannet i1966 af Robert Wyatt (trommer, vokal), Kevin Ayers (bas, vokal) og Mike Ratledge (tangenter), som nu og da havde spillet sammen med Daevid Allen Trio, der bestod af Daevid Allen, Wyatt og Hugh Hopper. Denne første Soft Machine-besætning indspillede gruppens første (og eneste) single samt nogle demo-optagelser, der blev udgivet adskillige år senere. Da gruppen i 1967 vendte tilbage til England efter at have optrådt i Frankrig, blev Allen, der var australier, nægtet indrejse, så gruppen fortsatte som en trio. I begyndelsen af 1968 kom den senere The Police-guitarist Andy Summers med i gruppen, men denne sammensætning varede kun kort. Senere i 1968 turnerede gruppen i USA som opvarmning for Jimi Hendrix Experience. Under denne turne indspillede de deres første album, The Soft Machine i New York. Efter denne turne blev gruppen opløst for at gendanne sig med Hugh Hopper på bas sammen med Wyatt og Ratledge, og de indspillede deres andet album i 1969.
Gruppens tidlige psykedeliske rockstil blev med Volume Two afløst af en mere og mere ren instrumental stil, der mindende om det, der senere gik under betegnelsen fusionsjazz. Trods ændringerne i gruppens besætning var dette en periode, hvor gruppen befandt sig i et kreativt spændingsfelt. Trioen blev i 1969 udvidet til en septet, med tilføjelsen af fire blæsere, selvom kun saxofonisten Elton Dean holdt ved, hvilket resulterede i den såkaldte klassiske Soft Machine-kvartet (Wyatt, Hopper, Ratledge og Dean) og de to albums Third og Fourth (der var gruppens første rent instrumentale album).
Alle medlemmer af gruppen var yderst dygtige musikere med forskellige baggrunde, men det var især Ratledges eklektiske geni, som via kompositioner, arrangementer og improvisatorisk dygtighed var drivkraften i gruppens fælles musikalske produktion, der var af højeste standard, hvor Wyatts stemme og ualmindeligt originale trommespil, Deans lyriske soloer og Hoppers usædvanlige avantgarde-pop også spillede en stor rolle. Deres evne til at opbygge lange suiter ud fra almindelige kompositioner, både på scenen og i pladestudiet, nåede sit højeste med dobbeltalbummet Third fra 1970, der var usædvanligt for sin tid ved at hver af de fire sider indeholdt en suite.
Tiden efter Wyatt
Efter uoverensstemmelser om den retning gruppen skulle bevæge sig i musikalsk, forlod Wyatt gruppen i 1971 og dannede Matching Mole (navnet var et ordspil over det franske machine molle, der betyder soft machine). Han blev en kort overgang erstattet af den australske trommeslager Phil Howard, men efter yderligere musikalske uoverensstemmelser forlod Howard gruppen i 1971 efter at have været med til at indspille den første side på LP'en Fifth, og nogle måneder senere forlod også Elton Dean gruppen. De blev erstattet af trommeslageren John Marshall og i forbindelse med optagelsen af Six af Karl Jenkins (blæseinstrumenter, tangenter). De havde begge tidligere spillet i Ian Carrs gruppe Nucleus, og Soft Machines stil bevægede sig endnu mere mod fusionsjazz.
Efter Six i 1973 forlod Hopper gruppen og blev erstattet af Roy Babbington, som havde spillet bas på Fourth og Fifth. Denne nye kvartet bestående af Babbington, Jenkins, Marshall og Ratledge indspillede de næste (og sidste) tre studiealbums. Efter udgivelsen af Seven i 1973 skiftede gruppen pladeselskab fra Columbia til Harvest. På gruppens album fra 1975, Bundles var der sket en vigtigt musikalsk ændring, idet fusionsguitaristen Allan Holdsworth bidrog med sin guitar som et prominent melodisk instrument og på den måde var med til at skille Bundles ud fra gruppens tidligere albums, hvor der ikke havde været nogen guitar. Holdsworth blev på gruppens sidste officielle studiealbum, Softs erstattet af John Etheridge. Efter Softs var det sidste oprindelige medlem af gruppen, Ratledge, også væk. Af andre musikere i gruppens sene periode kan nævnes bassisten Steve Cox, saxofonisten Alan Wakeman og violinisten Ric Sanders. Koncertoptagelsen fra 1968 med den ironiske titel Alive and Well var den sidste udgivelse fra Soft Machine som gruppe. Soft Machine-navnet blev brugt til Land of Cockayne fra 1981 og i forbindelse med et par koncerter i 1984.
Arven efter Soft Machine
Siden 1988 er der udkommet et væld af Soft Machine-optagelser på CD i varierende kvalitet.
I 2002 turnerede medlemmer af Soft Machine – Hugh Hopper, Elton Dean, John Marshall og Allan Holdsworth – sammen og indspillede under navnet Soft Works. I 2005 turnerede de (med John Etheridge i stedet for Holdsworth) og indspillede under navnet Soft Machine Legacy. De udgav to albums, Live in Zaandam (2005) og studiealbummet Soft Machine Legacy (2006) På turneen i sommeren 2006 erstattede det tidligere Gong- og The Tangent-medlem Theo Travis saxofonisten Elton Dean, der døde i februar 2006. Begge grupper har optrådt med musik fra det oprindelige Soft Machine-repertoire såvel som med nyere materiale.