Ένα κάστρο (cum castro) στο Ζίβιετς αναφέρθηκε για πρώτη φορά το 1467, καθώς καταστράφηκε από στρατό, υπό τη διοίκηση του Καζίμιρ Δ΄ της Πολωνίας εναντίον του Οίκου των Κομορόφσκι, με το οικόσημο Κόρτσακ, που καταγράφηκε από τον Γιαν Ντουούγκος. Ωστόσο, δεν είναι σίγουρο αν σήμαινε το κάστρο στην πόλη ή μια οχύρωση σε έναν κοντινό λόφο, Γρούγιετς. Ο αρχαιολογικός έλεγχος χρονολογεί την προέλευση του κάστρου στο πρώτο μισό του 15ου αιώνα.[2] Μια μεταγενέστερη επέκταση κατασκευάστηκε το 1567 από τον Οίκο των Κομορόφσκι. Υπό την ιδιοκτησία και τη θέληση του Γιαν Σπίτεκ Κομορόφσκι, κατά τη διάρκεια της επέκτασης του κάστρου χτίστηκε μια αυλή σε αναγεννησιακό στυλ, η οποία είναι ακόμα ανέγγιχτη στη σημερινή της μορφή.[3]
Από το 2005, το Παλιό Κάστρο στο Ζίβιετς φιλοξενεί το Μουσείο Πόλης του Ζίβιετς (Muzeum Miejskie w Żywcu).[4] Η μόνιμη έκθεση του Παλιού Κάστρου περιλαμβάνει μια εθνογραφική έκθεση - η οποία ολοκληρώνει το Μονοπάτι Ξύλινης Αρχιτεκτονικής στο Βοεβοδάτο Σιλεσίας στην Πολωνία.[5]