Слово «хамовники» — від слова «хам», яке з XIV століття означало лляне полотно (наприклад, просили продати «хамові три лікті»).
Колись на території нинішніх Хамовников була велика Хамовна слобода, де жили ткачі. Їх прозвали «Хамовниками». Спочатку, в 20-і роки XVII століття, коли виріс попит на льон з Московії, в слободі жили майстри, переселені з Твері. Вони були у царя Михайла Федоровича на особливому положенні, обкладалися невисокими податками, звільнялися від деяких повинностей, але не мали права жити де-небудь, окрім своєї слободи.
На згадку про ткачів донині збереглися палати Хамовного двору, що знаходяться на вулиці Льва Толстого, будинок № 10, будова № 2.