El 28 de maig de 1294, el rei Jaume II va encarregar a Bernat de Llabià que s’encarregués de l’administració i la direcció de les obres de construcció del castell. S’havia de pagar amb els diners de les rendes reials i d’un impost sobre cada parella de bous que tinguessin els habitants d’Albons i d’Ullà. Al final, va ser el conjunt de la població qui va acaba pagant les obres.
El primer que van fer, va ser treure alguns blocs de pedra per comprovar primer la qualitat de la pedra i segon la facilitat per treure-la.
Un cop comprovada la qualitat de la pedra, es va començar la construcció.
Calia un gran nombre de persones treballant. Picapedrers, paletes, fusters, ferrers, etc... tots van estar treballant en el castell entre els anys 1294 i el 1301.
Si observem acuradament les columnes, capitells, matacans i altres elements del castell, s’arriba a la conclusió que eren picapedrers especialitzats els encarregats d’extreure la pedra i treballar-la. Un cop treballada, els fusters anaven aixecant les vestides perquè els paletes poguessin aixecar la paret, la feina dels ferrers, era arreglar les eines de paletes i fusters.
En total s’han localitzat cinc pedreres al voltant del castell, de les quals, tres estan situades al voltant del castell i per la seva orientació fan pensar que haurien servit de fossar en cas que s’haguessin acabat les obres. Les altre dues estan una mica més allunyades.
L’any 1301 es va acabar el conflicte entre la Corona catalano-aragonesa i comptat d’Empúries, així doncs el castell no tindria cap funció i es van paralitzar la seva construcció.
El 1472 es va anomenar l’últim procurador encarregat de la custodia del castell. Des d’aquell moment, només ha servit de refugi per pastors que hi anaven a fer nit o per resguardar-se del mal temps.
A poc a poc, el castell es va anar degradant fins que finalment l’any 1988 es van fer les obres de consolidació i restauració.
El 13 de gener de 1989 es van acabar les obres de restauració i el 7 de maig del mateix any, es va fer la festa d’inauguració. Les obres van tenir un cost total de 26 milions de pessetes que van ser pagats entre l’Ajuntament de Torroella de Montgrí, els serveis territorials de cultura i la Diputació de Girona.
Avui en dia es pot accedir al castell sense cap perill, pujar al cim de les muralles i contemplar l’Empordà tot donant la volta sencera al perímetre del castell.
La fitxa tècnica del castell seria:
Murs de 31 metres de longitud per 13 metres d’alçada coronats per merlets quadrats amb acabament piramidal i espitlleres a la base.
Les quatre torres son cilíndriques amb tres nivells a la torre nord-oest i dos nivells a les altres tres torres.
La façana està orientada al sud i el portal d’accés, està format per un arc de mig punt amb grans d’ovelles.
A l’interior del castell, hi trobem un pati quadrat pavimentat de pedra i a sobre d’una gran cisterna.
A la vessant nord hi ha una altra cisterna d’aigua.