Kazinsky è nato a Haywards Heath, West Sussex, in Inghilterra, figlio di Phyllis e Paul Appleby, ed è cresciuto a Brighton. Ha un fratello maggiore di nome Michael. Kazinsky, è ebreo, parla fluentemente ebraico e discende da immigrati provenienti dalla Polonia e dalla Russia. È stato istruito alla Hove Park School di Hove, che ha frequentato dal 1995 al 2000. Dopo essere stato espulso dal college, ha lavorato per un periodo come buttafuori.
Ha studiato recitazione presso la Guildford School of Acting dal 2002 al 2005, dopo aver preso il cognome del nonno come nome d'arte,[1] inizia a muovere i primi passi nel mondo dello spettacolo prendendo parte ad alcuni spot pubblicitari. Debutta nel 2005 partecipando a un episodio della sitcom per bambini The Basil Brush Show, in onda su CBBC. Nel 2005 ottiene il ruolo del calciatore Casper Rose nella nona stagione della serie televisiva di Sky1Dream Team.
Nel 2006 entra nel cast della celebre soap operaEastEnders, dove, fino al 2009, ha interpretato il ruolo di Sean Slater, ottenendo numerosi premi dedicati alle soap opera. Nel marzo 2007, Kazinsky viene sospeso temporaneamente da Eastenders per un periodo di due mesi, a causa di uno scandalo sessuale che lo vedeva coinvolto, reo di aver inviato ad una modella messaggi e fotografie oscene.[2] Successivamente Kazinsky ha rilasciato una dichiarazione, scusandosi per l'incidente e si è detto dispiaciuto per aver screditato lo show.[3] Dopo il reintegro nella soap opera, Kazinsky lascia definitivamente il ruolo di Sean Slater nel 2009.
