Schop wurde vermutlich um 1590 in Hamburg geboren. 1614 wurde er Musiker auf Probe an der Wolfenbütteler Hofkapelle, wo er Violine, Laute, Trompete und Zink spielte, 1615 erhielt er eine Festanstellung. Dennoch ging er 1615 nach Kopenhagen und musizierte am königlichen Hofe Christians IV., von wo er jedoch 1619 aufgrund der sich ausbreitenden Pest floh. Zunächst ging er nach Iburg, wo er am Hof des Osnabrücker Bischofs Philipp Sigismund von Braunschweig-Wolfenbüttel tätig war. In Hamburg wurde er zunächst Mitglied der Ratsmusik, 1621 schließlich deren Direktor und städtischer Kapellmeister. Später war er als Organist an der Jacobikirche tätig.
Zur Hochzeit Christians, des Kronprinzen von Dänemark und Norwegen, reiste er 1634 zusammen mit Heinrich Schütz wiederum nach Kopenhagen. Der Versuch des Königs, Schop dauerhaft nach Kopenhagen zurückzuholen, scheiterte. Schop starb im Sommer 1667 in Hamburg.
Schop hatte zwei Söhne, Johann (* am 5. Oktober 1626 in Hamburg; † nach 1670) und Albert (* 6. Juli 1632; nach 1667), die ebenfalls Musiker wurden.
Johann Schop war einer der ersten bekannten deutschen Geigenvirtuosen. Seine Popularität strahlte auch über die Stadtgrenzen Hamburgs hinaus. Im Hamburger Stadtteil Eimsbüttel wurde eine Straße nach ihm benannt.
