Sławków zawdzięczał swój rozwój kopalniom srebra i ołowiu, a także korzystnemu położeniu pomiędzy Krakowem a Wrocławiem. Prawdopodobnie od XI w. miejscowość znajdowała się w rękach biskupów krakowskich. Sam zamek datowany jest na drugą połowę XIII w., kiedy to wzniesiony został przez biskupa krakowskiego, Pawła z Przemankowa. Usytuowana na skłonie wzniesienia, murowana budowla zbudowana została na planie nieregularnego czworoboku o wymiarach ok. 120 na 100 m. Zamkowe mury miały wysokość 6–7 m i były grube na 2–3 m. Obronną wartość zamku podnosiły półbaszty.
Ponieważ Paweł z Przemankowa popadł w konflikt z księciem Leszkiem Czarnym i na pewien czas został uwięziony, budowa została czasowo przerwana, po czym - po ugodzie obu skonfliktowanych stron - wznowiona, choć rozmach projektu został nieco ograniczony (książę bowiem zabraniał budować zamków możnym duchownym i świeckim). Wkrótce biskup popadł w kolejny konflikt, z Henrykiem IV Probusem, który także go uwięził, a zamek oddał w opiekę Henrykowi z Woszowa. Warownię następnie rozbudował biskup Jan Muskata, otaczając go fosą i wałem. Biskup ten otrzymał w 1295 r. prawo do fortyfikowania biskupich miast targowych. Przywilej ten nadany został mu przez Wacława II, króla Czech, któremu zamek oddany został w lenno. Z początkiem XIV w. twierdza była zresztą świadkiem ostrego konfliktu miedzy Muskatą a królem Władysławem Łokietkiem.
Żywot tutejszego zamku - w porównaniu z innymi tego typu budowlami - nie był zbyt długi. W latach 1433-34 zamek uszkodzony został podczas najazdów husytów. Niedługo później, bo w 1455 r., padł on ofiarą zaciężnych oddziałów polsko-morawskich. Wojska te, walczące podczas wojny Kazimierza Jagiellończyka z Krzyżakami i nieopłacone na czas, zniszczyły obiekt, który nigdy już nie został odbudowany.
