Està situat en la part més alta del poble, junt a  l'església de Sant Esteve. Queden poques restes del castell que va edificar Sanç Garcés II de Navarra en l'any 970, en un punt estratègic per controlar les diverses vies de comunicació que conflueixen en aquest indret i on probablement va existir una fortificació musulmana anterior.

A principis del segle XI la fortificació va ser ampliada i millorada per Sanç Garcés III, el Gran. A la mort d'aquest, el castell va passar a formar part de les defenses del incipient Regne d'Aragó, donat en herència al seu fill Ramir I. D'aquesta manera el castell de Sos adquireix una important rellevància, doncs es converteix en un punt fronterer de primer ordre entre Navarra i Aragó.

En l'actualitat l'element més destacat que es conserva és la seva torre del homenatge, de planta quadrada, edificada entre 1134 i 1137 per Ramir II "el monjo".

Sorprèn la porta d'entrada amb un arc de descàrrega de mig punt molt exagerat.

Al costat oposat de la torre hi havia una altra porta d'idèntiques característiques, ara cegada. També estan tancades les quatre grans finestres de mig punt del pis superior, que permetien el control del territori.

Al votant de la torre es conserva una petita part de la muralla i una torre circular, en la que s'obren dos nivells d'espitlleres.

De la resta del castell només es conserven alguns fonaments de les diferents estances que el conformaven.

Malauradament, després de l'excavació arqueològica no s'han pres les mesures necessàries per a la seva conservació i algunes d'aquestes dependències ja tornen a estar cobertes de vegetació.