Scarba er forma som ein rund og forholdsvis bratt haug. Ho har eit areal på 14,74 km², og det høgaste punktet på øya er Cruach Scarba som er 449 meter over havet. I klassifiseringssystemet for fjell på Dei britiske øyane er Cruach Scarba ein marilyn. Scarba har ikkje hatt fast busetnad sidan 1960-talet, men det ligg nokre bygningar ved Kilmory Lodge på austsida av øya.
Øya er dekt av lyngheier og vert nytta til beitemark. Det er ein stor bestand av hjort på øya.