Il nome di isola dell'Elefante può essere spiegato sia in riferimento al suo aspetto di testa di elefante, sia all'avvistamento di elefanti marini compiuto dal capitano George Powell nel 1821, uno dei primi ad aver visto l'isola.
Le dimensioni dell'isola sono approssimativamente 47 chilometri per 27, e la massima altezza sul livello del mare è raggiunta dal Pardo Ridge, di 852 metri. Località dal nome significativo sull'isola sono il Capo Yelcho, all'estremità nord-occidentale, il Capo Valentine, alla punta nord-orientale, il Capo Lookout, all'estremità meridionale, e la Punta Wild, una lingua di terra sulla costa settentrionale.
Avendo un clima polare data la sua vicinanza all'Antartide, l'isola non fornisce il sostentamento a nessun significativo genere di flora o fauna nativa, nonostante vi si possano trovare gruppi migratori di pinguini Papua e foche sulle sue spiagge. All'isola giungono anche i pinguini antartici al momento della riproduzione, e si possono vedere i loro nidi a centinaia sulla costa rocciosa.
La mancanza di un approdo per l'insicurezza e la pericolosità dei fondali e per la forza del vento e delle onde ha impedito lo stanziamento umano permanente, nonostante la posizione dell'isola sia molto favorevole al supporto delle attività di ricerca scientifica, pesca e caccia alla balena. Dal 1985 al 1997 è stata operativa sull'isola un'installazione antartica estiva brasiliana, il Rifugio ingegner Wiltgen, e dall'anno successivo è attiva una nuova installazione estiva brasiliana, il Rifugio Emílio Goeldi.
L'isola dell'Elefante è assai famosa nella storia delle esplorazioni antartiche, essendo stata nel 1916 il rifugio dell'equipaggio dell'esploratore Ernest Shackleton in conseguenza dell'affondamento tra i ghiacci della loro nave Endurance. Shackleton lasciò sull'isola per più di quattro mesi il suo secondo, Frank Wild, al comando di 21 uomini, mentre il 24 aprile 1916 si dirigeva con altri cinque uomini verso la Georgia del Sud (distante 700 miglia marine, circa 1300 chilometri) attraversando l'Oceano Meridionale e navigando per quindici giorni fino a raggiungerla, nel tentativo di cercare soccorso per i suoi compagni. La lancia James Caird utilizzata per questa impresa (ripercorsa nel 2013 da Tim Jarvis) è visibile presso il Dulwich College di Londra.
Poiché l'isola non aveva alcun genere di rifugio naturale, gli uomini che vi rimasero bloccati costruirono una specie di capanna utilizzando le rimanenti due scialuppe capovolte e alcuni frammenti di vela. Essi composero anche i versi seguenti in segno di gratitudine verso Wild e la sua saggia guida:
(EN)
«My name is Frankie Wild-o.
Me hut's on Elephant Isle.
The wall's without a single brick
and the roof's without a tile.
Nevertheless I must confess,
by many and many a mile,
it's the most palatial dwelling place
you'll find on Elephant Isle.
It's the most palatial dwelling place
You'll find on Elephant Isle.»
(IT)
«Il mio nome è Frankie Wild-o.
La mia capanna è all'isola Elephant.
Il muro non ha neppure un mattone
e il tetto non ha tegole.
Tuttavia devo confessare,
per molte e molte miglia,
essa è la più splendida dimora
che troverai all'isola Elephant.
Essa è la più splendida dimora
che troverai all'isola Elephant.»
Finalmente, dopo tre tentativi andati a vuoto, Shackleton riuscì a tornare all'isola dell'Elefante con la nave Yelcho che proveniva da Punta Arenas, in Cile, comandata da Luis Pardo, e il 30 agosto 1916 portò in salvo l'intero equipaggio senza perdere neppure uno dei suoi uomini.