Сквер непосредственно примыкает к зданию посольства Азербайджана в России, поэтому постепенно приобрел азербайджанскую культурную тематику.
Сначала, в 1991 году, в нём был установлен памятник Низами Гянджеви — средневековому персоязычному поэту, происходившему из города Гянджа, который ныне входит в состав Азербайджана. Между Ираном и Азербайджаном в настоящее время существует спор о культурно-этнической принадлежности поэта (см. азербайджанизация Низами). Памятник поэту, установленный как подарок Азербайджана Москве в непосредственной близости от азербайджанского посольства, можно рассматривать как следствие этого спора.
Выразительная, отлитая из бронзы фигура поэта, восседающего с книгой в руках в традиционных, необычных для московского монумента, восточных одеждах, на средневысоком постаменте сложной формы, быстро стала художественной доминантой сквера, тогда ещё безымянного.
Для дополнительного украшения позади памятника возведена каменная балюстрада, которую украшает каменный же фонтан, оформленный в русле старинной традиции оформления родников и водозаборных фонтанов на Кавказе (а также в Крыму).
В 2011 году к памятнику Низами добавился другой монумент — на углу сквера, выходящем к пересечению Вознесенского и Елисеевского переулков, вознеслась на стройном, овальном в сечении постаменте бронзовая статуя певца и композитора Муслима Магомаева, народного артиста СССР, одного из наиболее титулованных и часто упоминаемых оперных и эстрадных артистов Советского Союза и России, по национальности азербайджанца.