Holm of Faray består av raud sandstein.[2] Øya er i røynda eit framhald av Faray, men mellom dei ligg Lavey Sound. Det høgaste punktet på øya ligg 16 meter over havet.
Øya ligg på vestsida av Sound of Faray, og på andre sida ligg den vesle Red Holm og North Ayre på Eday som ligg 1,9 km unna.