Своим названием Палаццо делле Альбере обязано двойному ряду пирамидальных тополей (от итальянскогоAlbero — «дерево»), некогда росших вдоль дороги, которая вела к вилле. Окружённое рвом здание имеет квадратную форму с четырьмя квадратными угловыми башнями шириной 6 метров и высотой 20 метров. Популярная легенда гласит, что под виллой существовал длинный подземный туннель, соединяющий её с собором Святого Виргилия (та же легенда повествует о туннелях, исходящих от Замка Буонконсильо, и позволяющих оставаться незамеченными епископам, которые их использовали).[1]
В 1551 году в Паллацо делле Альбере состоялся обед в честь сына Карла V — Филиппа (впоследствии короля Габсбургской Испании, известного как Филипп II), находившегося в сопровождении герцога СавойскогоЭммануила Филиберта и других дворян, прибывших в Тренто по случаю проведения Тридентского собора.[3] В ноябре 1552 года князь-епископ Кристофоро Мадруццо пригласил в город знаменитого архитектора Андреа Палладио, чтобы тот мог изучить строение и дать рекомендации по его улучшению.[4]