Барон, потомок знаменитого дипломата и военачальника Ханса Акселя фон Ферзена. В 22 года получил огромное наследство. Служил в армии, путешествовал, начал писать стихи и прозу, сборник его стихов Лёгкие песни (1900) вышел с предисловием Эдмона Ростана. За организацию в своём парижском особняке чёрных месс — гомосексуальных вечеринок с участием подростков был арестован, осуждён на 6 месяцев тюремного заключения, крупный денежный штраф и лишён гражданских прав на 5 лет. После этого удалился на Капри, где неподалёку от прежней виллы императора ТиберияЮпитер построил себе в 1905 годувиллу Лисий (по имени героя платоновского диалога о дружбе), на которой жил со своим постоянным юным спутником Нино Чезарини, известным по портрету работы Пауля Хёккера и фотографиям Вильгельма фон Плюшова. На фронтоне виллы была выбита латинская надпись AMORI ET DOLORI SACRVM (Святыня любви и скорби). Ферзен стал центром гомосексуального кружка писателей, художников, музыкантов и просто любопытствующих богатых туристов, эксцентрической достопримечательностью острова.
На стихи барона писал музыку Отторино Респиги. В качестве героя он фигурирует в произведениях Эдвина Черио («Маркиз Поммери», 1927), Комптона Маккензи («Огонь Весты», 1927), Альфреда Жарри («Зелёная свеча», опубл. 1969), Роже Пейрефитта («Сосланный на Капри», 1959), мемуарах Нормана Дугласа. Проза Ферзена в недавнее время переиздана, переведена на несколько европейских языков. Его вилла до нынешнего дня привлекает многочисленных туристов.