Inizia a suonare la batteria nel 1979, a 15 anni. Nel 1985 forma la sua prima band con cui si esibì in varie serate a Los Angeles. Il suo esordio discografico avvenne nel 1988 con i Forbidden che pubblicarono l'album Forbidden Evil e nel 1990 il secondo lavoro Twisted Into Form.
In seguito, la sua collaborazione con i Forbidden viene notata da Eric Peterson, chitarrista e leader dei Testament che gli offre il posto di batterista al posto di Louie Clemente. Con la band pubblicherà soltanto l'EP live Return to the Apocalyptic City (1993). Un giorno viene contattato dal batterista, nonché suo amico, John Tempesta, il quale lo informa che Dave Lombardo ha lasciato gli Slayer e pertanto questi stanno cercando un rimpiazzo. Dopo un'audizione, Bostaph è divenuto il batterista del gruppo.
Con gli Slayer ha pubblicato l'album in studio Divine Intervention (1994) e l'album di cover Undisputed Attitude (1996), per poi concentrarsi temporaneamente su nuove sonorità con i The Truth About Seafood (i quali non arrivarono alla pubblicazione di un disco). Nel 1998 ha registrato e pubblicato con gli Slayer Diabolus in Musica, quest'ultimo seguito da God Hates Us All (2001). Dopo quasi 9 anni, il batterista ha abbandonato il gruppo per motivi mai precisati. Si dice che se ne sia andato per problemi ad un ginocchio ma alcuni sostengono che sia stato a causa di una lite tra lui e il chitarrista Jeff Hanneman. Tuttavia, questa dichiarazione non risultò confermata da alcuno di loro, i due inoltre dichiararono di essere buoni amici.
Terminato il lavoro con gli Slayer, la sua attività continua; suonando con il gruppo, di breve vita, Systematic (con i quali pubblicò un solo disco) ed entrando, in seguito, a far parte degli Exodus al posto di Tom Hunting, pubblicando Shovel Headed Kill Machine nel 2005.
Nel 2006 torna nei Testament per suonare in una tournée mondiale. Si diceva che egli doveva tornare nel gruppo per la registrazione del nuovo disco, ma la scelta è caduta su Nicholas Barker, batterista dei Dimmu Borgir. Paul ha successivamente lasciato gli Exodus per permettere il ritorno del membro storico Tom Hunting ed è stato ingaggiato dalla Sonor per la promozione di strumenti a percussione. Successivamente, ha annunciato la sua reunion con i Forbidden per una tournée, ed ha sostituito Nicholas Barker nei Testament a causa di problemi col permesso di soggiorno in America. Con questo gruppo, Paul ha realizzato The Formation of Damnation nel 2008.
Durante il 2013 ha partecipato alla registrazione di alcuni brani per l'album Frequency Unknown dei Queensrÿche, mentre il 30 maggio dello stesso anno è stato annunciato il suo ritorno negli Slayer, in seguito all'uscita di Dave Lombardo. Con gli Slayer ha registrato l'album Repentless, uscito nel settembre 2015.
