Ar ôl cipio a dymchwel y gaer Normanaidd flaenorol o bridd a phren, symudodd yr Arglwydd Rhys ei lys yma ym 1171. Ailadeiladodd y castell mewn carreg, a dyma'r castell carreg cyntaf erioed i gael ei adeiladu gan Gymro. Yna dathlodd ei gamp trwy gynnal yr Eisteddfod gyntaf erioed ym 1176. Ar ôl dadfeilio’n ddifrifol, cafodd y castell, a’r plasty Sioraidd a adeiladwyd o fewn muriau’r castell ym 1808, eu hadfer a’u hailagor i’r cyhoedd yn 2015.