Pierwotnie został wybudowany w XII w. W XIII w. dobudowano wieżę obronną, wzniesioną w stylu romańskim. Zamek był wielokrotnie przebudowywany. W XIV wieku, za panowania Kazimierza Wielkiego, wzniesiono murowany zamek otoczony murem obronnym. Najprawdopodobniej w tym okresie powstał również gotycki kościół zamkowy pod wezwaniem Trójcy Świętej
W 1569 roku w murach zamku obradował sejm, na którym podpisano akt unii polsko-litewskiej. W 1826 zamek przekształcono w więzienie kryminalne Królestwa Kongresowego. Funkcję więzienia zamek pełnił przez 128 lat.
W latach 1831-1915 było tu więzienie carskie, głównie dla uczestników walk o niepodległość, m. in. powstańców styczniowych. Z kolei w okresie II wojny światowej funkcjonowało tu więzienie hitlerowskie, a duża część więzionych zginęła w egzekucjach i obozach śmierci. Po zakończeniu II wojny światowej na zamku mieściło się polityczne więzienie karno-śledcze, które podległeo władzom sowieckim, a następnie Urzędowi Bezpieczeństwa Publicznego. W 1957 roku zlikwidowano więzienie i przeprowadzono gruntowne prace remontowe. Następnie zamek przeznaczono na cele kulturalne. Obecnie jest siedzibą główną Muzeum Lubelskiego.