Чарльз Сифорд в 1828 году женился на леди Люси Кавендиш-Бентинк, дочери Уильяма Бентинк, 4-го герцога Портленда (1768—1854), и Генриетты Скотт. Благодаря этому браку, семья Эллисов приобрела собственность в центральном Лондона. Его внук, Томас Эвелин Скотт-Эллис, 8-й барон Говард де Уолден и 4-й барон Сифорд (1880—1946), получил в 1917 году королевское разрешение на дополнительную фамилию «Скотт». Его сменил его сын, Джон Осмаэль Скотт-Эллис, 9-й барон Говард де Уолден и 5-й барон Сифорд (1912—1999). После его смерти баронские титулы были разделены. Титул барона Говард де Уолден оказался в состоянии неопределенности, на титул претендовали четыре дочери покойного барона: достопочтенная Мэри Хейзел Керидвен Скотт-Эллис (род. 1935), достопочтенная Бланш Сьюзан Скотт-Эллис (род. 1937), достопочтенная Джессика Джейн Скотт-Эллис (род. 1941) и достопочтенная Камилла Энн Браун Скотт-Эллис (род. 1947), а титул барона Сифорда, который может наследоваться только по мужской линии, перешел к Колину Хэмфри Фелтону Эллису, 6-му барону Сифорду (род. 1946), дальнему родственнику 5-го барона Сифорда. Он является правнуком достопочтенного Уильяма Чарльза Эллиса, второго сына 2-го барона Сифорда.
1999 — настоящее время: Колин Хэмфри Фелтон Эллис, 6-й барон Сифорд (род. 19 апреля 1946), единственный сын майора Уильяма Фелтона Эллиса (1912—1978), внук Генри Гайсульфа Бертрама Эллиса (1875—1947), правнук преподобного достопочтенного Уильяма Чарльза Эллиса (1835—1923), сына Чарльза Эллиса, 6-го барона Говарда де Уолдена и 2-го барона Сифорда;
Наследник титула: достопочтенный Бенджамин Фелтон Томас Эллис (род. 17 декабря 1976), старший сын предыдущего.
§ отрицают своё право на пэрский титул; ↑ — также в пэрстве Соединённого королевства;*Существующие в настоящее время **В Шотландии, в отличие от Англии и Ирландии, низшим титулом в системе пэрства Шотландии являлся «Лорд парламента», бароны же имели только феодальные права. ***Барон Каррингтон занимает наследственный пост Лорда великого камергера