Bangunan ini terdiri atas dua wilayah yang terbagi oleh Jalan Wonocatur, yaitu bangunan bagian utara dan selatan. Luas bangunan selatan lebih besar daripada bangunan utara sehingga difungsikan sebagai pintu masuk dan bangunan utama dari pesanggrahan ini. Lokasinya yang berada di dekat pasar dan pertokoan membuat akses situs ini lebih mudah apabila melewati gerbang bagian selatan.[1]
Kompleks ini dikelilingi oleh dinding batu bata setebal 75 cm. Isi dari situs ini mencakup ruang-ruang yang terhubung oleh lorong-lorong serta kolam dari sumber mata air terdekat. Di bagian kolam terdapat bekas saluran air yang kini sudah tidak berfungsidan dihiasi oleh patung Manuk Beri, makhluk mitologis mirip Garuda dalam kebudayaan Suku Jawa dan patung naga. Bagian kepala patung-patung ini telah hilang dan kini hanya menyisakan badan dan sayapnya saja. Selain itu, gua ini juga dihiasi oleh sulur-sulur tumbuhan yang dapat ditemukan di beberapa paduraksa situs.
Bagian belakang situs selatan dapat didapati reruntuhan pemandian yang dulunya dipakai oleh sultan dan keluarganya. Situs ini kini ditumbuhi oleh tumbuhan liar dan tidak dapat lagi digunakan.
Status
Berdasarkan SK Bupati Bantul No. 458 Tahun 2016, Gua Siluman ditetapkan sebagai cagar budaya Kabupaten Bantul bersamaan dengan Masjid Kotagede, Pemakaman Imogiri, dan Panggung Krapyak. Penambahan status ini menyebabkan situs ini berada di bawah pengawasan Dinas Kebudayaan Kabupaten Bantul dan masyarakat kini tidak boleh mengubah dan memindahkan isi situs tanpa seizin bupati.[2]