V období 12. a 13. storočia bola oblasť východne od Zvolena neosídlená a slúžila uhorským kráľom z rodu Arpádovcov ako lovecký revír. Trvalé osídlenie regiónu sa začína so vznikom Vígľašského panstva. Údajne okolo roku 1299 si v údolí rieky Slatina vybudovali hrad križiaci, ktorí sa po porážke v Palestíne vrátili do Európy. Obec Zvolenský Svätý Kríž, neskôr Vígľaš, sa spomína prvý krát v roku 1332. Z rúk križiakov prešiel Vígľašský zámok za Karola Róberta z rodu Anjou do kráľovských rúk. Na poľovačky sem chodil jeho syn Ľudovít. Písomné zdroje uvádzajú postavenie vígľašského zámku, ako strediska kráľovského majetku východne od Zvolena, až za panovania Ľudovíta Veľkého (1342 - 1382) v rokoch 1360 - 1370. Jeho význam vzrástol za Žigmunda Luxemburského, ktorý sa tu zdržiaval pomerne často, najmä v čase poľovačiek v rokoch 1390 - 1410. Vydal tu niekoľko úradných listín, najstaršia je z 9.7.1390. Listiny z roku 1406 dokazujú, že k panstvu patrili aj obce Zolná, Sebedín, Zvolenská Slatina a Slatinka. Poľovnícky

charakter panstva prinášal obyvateľom panstva určité výsady. 22.5.1424 (iné zdroje uvádzajú rok 1429) Žigmund daroval zámok spolu s rozsiahlym majetkom na strednom Slovensku manželke Barbore Celjskej spolu s obcami Zolná, Sebedín, Veľká Slatina, Malá Slatina, Očová, Čerín, Čačín a Lehota. Po jej smrti 1439 ho zdedila dcéra Alžbeta. Počas vnútropolitických bojov v Uhorsku sa panstvo dostávalo do rúk zálohových zemepánov. V roku 1440 panstvo od kráľovnej Alžbety získal Reinprecht z Eberdorfu. 1441 sa dostal do rúk Jošta (Jodoka) z Košova, prívrženca Jana Jiskru, ktorý si ho udržal aj za Ladislava V. a Mateja Korvína. Predmetom ľudových legiend sa stali poľovnícke pobyty uhorského kráľa Mateja I. Korvína. Jodokov syn Ondrej zámok stratil v roku 1497 za Vladislava II., ktorý ho prepustil do zálohu Blažejovi Raškovi. Po ňom ho zdedil syn Gašpar, ktorý bol spojencom Jána Zápoľského v boji o uhorský trón z Ferdinandom I. Habsburským. Po víťazstve Ferdinanda prešiel zámok pod správu jeho sestry, kráľovnej Márie. 10.1.1558 ho dal Ferdinand do zálohu Štefanovi Dobóovi, neskôr Balašovcom. Koncom 16. storočia sa vrátil do kráľovských rúk.

Poloha Vígľašského panstva mu prinášala špecifické postavenie. V mierových časoch bolo obľúbeným miestom poľovačiek panovníkov a obyvateľstvo miesto poddanských povinností poskytovalo služby pre návštevníkov hradu. Počas vojenského ohrozenia mal hrad dôležité obranné postavenie a bol častým terčom útokov. Spolu z hradmi v Slovenskej Ľupči, Dobrej Nive a Šášove tvoril obrannú líniu dôležitých banských miest. Po útokoch husitov a vnútropolitických zápasoch prežil hrad veľmi ťažké časy za tureckej prítomnosti v strednej Európe. Turci na panstvo zaútočili v rokoch 1564, 1577, 1582, 1587, 1588 a 1593, ale zámok nikdy nedobyli. V 17. storočí sa k tureckým nájazdom pridali povstania Śtefana Bočkaya (v roku 1605 sa zámku na krátko zmocnil) a Gabriela Betlena.

V roku 1609 panstvo získal do zálohu Benedikt Pohranický, v roku 1636 ho Ferdinand II pridelil Čákiovcom zo Sedmohradska.