Zdeno Chara valdes av New York Islanders i NHL-draften 1996. I Islanders spelade han under fyra säsonger, dock utan att utmärka sig. 2001 ingick han i en bytesaffär där Islanders skickade honom, Bill Muckalt och ett förstaval i NHL-draften till Ottawa Senators i utbyte mot Aleksej Jasjin.
I Senators utvecklades Chára till en världsback. Hans storlek, styrka och enorma räckvidd gjorde honom till en av ligans bästa defensiva backar, samtidigt som hans poängproduktion ökade. Säsongen 2002–2003 gjorde han 39 poäng, säsongen därefter 41.
Under NHL-lockouten säsongen 2004–2005 spelade Chára i Färjestad BK i svenska Elitserien, för vilka han svarade för 10 mål och 25 poäng på 33 spelade matcher. Laget tog sig till SM-final, där man dock förlorade mot Frölunda HC.
Efter lockouten beslutades det om nya regler, där bland annat hakningar förbjöds för att främja det offensiva spelet. Detta trodde många skulle bli till Cháras nackdel. Men istället var han en av ligans bästa backar, i ett Senators som var bäst i Eastern Conference. Han gjorde 43 poäng, personligt rekord, och fick inte så många utvisningar som befarat. I slutspelet åkte dock Senators ut redan i andra rundan.
Efter säsongen var Senators tvungna att välja mellan sina två stjärnbackar, Wade Redden och Chára, på grund av begränsat löneutrymme. Man valde Redden, och Chára hamnade i Boston Bruins. Chára hade det hårdaste slagskottet i hela NHL.[1]. Han vann "Hardest Shot" i NHL All-Star Game Superskills Competition fem år i rad och under tre år slog han rekordet som tidigare var på 105,2 mph.