Der Rosterberg ist weitgehend bebaut. Bekanntheit erlangte der Berg, beziehungsweise die Gegend Siegens durch das Siegener Loch im Jahr 2004, als Gänge der alten Gruben Hohe Grethe und Philippshoffnung einstürzten und große Tagesbrüche auslösten.[3] Seitdem ist es am Berg regelmäßig zu Brüchen gekommen. Neben den beiden genannten Gruben gab es diverse kleinere Betriebe, wie zum Beispiel die Grube Rosenbusch, die um 1900 stillgelegt wurde. Am 25. Oktober 2008 trat dort ein Tagesbruch auf.[4] Der Feldberger Erbstollen wurde 1902 stillgelegt. In einem 30 m tiefen Wetterschacht des Stollens kam es im November 2008 zu Tagesbrüchen.[5][6]
Am Berg befinden sich außerdem das Peter-Paul-Rubens-Gymnasium, eine Behindertenschule, das Fritz-Fries-Seniorenzentrum und das Jung-Stilling-Krankenhaus. Der Rest des bebauten Gebietes besteht weitgehend aus Wohnungen, die zu einem großen Teil dem Wohnungsbauprojekt der Deutschen Bundesbahn entstammen.[7]
↑Vor der Tür tat sich der Berg auf in der Siegener Zeitung vom 29. Oktober 2008
↑Schacht wird nun ausgehoben – Arbeiten nach Tagesbruch werden bis zum Frühjahr andauern/Bergamt will Klarheit in der Siegener Zeitung vom 28. November 2008, Seite 4