Karczma powstała na skrzyżowaniu dróg, przy którym po uzyskaniu przywileju do organizowania targów, odbywały się targi i jarmarki. Dopiero później miejsce to przyjęło charakter rynku miejskiego. Karczma zamyka obecnie jego wschodnią część. Jest to parterowa budowla o konstrukcji zrębowej, częściowo na kamiennym podmurowaniu. Karczma pokryta jest czterospadowym, gontowymdachem z kalenicą[1]. Zbudowana jest na planie prostokąta o wymiarach 27 × 19,3 m. W osi budynku znajduje się sień (dawniej przejazdowa, prowadząca do stanu mieszczącego wozownię dla podróżnych), po bokach której znajdują się pomieszczenia karczemne. Wewnątrz stropy belkowane. Z przodu budowli znajdują się podcienia, ogrodzone drewnianą ażurową balustradą. Zajmuje 510 m² zabudowanej powierzchni[2]. W czasie II wojny światowej elewacja frontowa i boki karczmy zostały otynkowane, tył pobielony, a jej dach pokryty papą.
Pod koniec lat 60. XX wieku przeprowadzono remont budynku[3], przywracając mu dawny wygląd. Karczmie nadano wówczas obecną nazwę, nawiązującą do legendy o Panu Twardowskim, który w karczmie „Rzym” miał się spotkać z Mefistofelesem[3].
Harasimczyk J.H., 2004, Sucha Beskidzka i okolice, Sucha Beskidzka, ISBN 83-87345-73-3.
Szablowski Jerzy: Zabytki sztuki w Polsce. Inwentarz topograficzny III. Powiat żywiecki. Województwo krakowskie. Wydawnictwo Państwowego Instytutu Historii Sztuki, Warszawa 1948, s. 200, b. ISBN.