Il castello si trova nella parte più elevata del borgo medievale di Grottammare, quella in cui si sviluppò il suo insediamento più antico. Di quest’ultimo si hanno notizie documentarie a partire dal XI secolo, ma è probabile che la sua origine vada collocata a una fase precedente, come possedimento dell’abbazia farfense di San Martino.
Le fonti attestano rifacimenti murari nel Duecento, forse connessi al suo ritorno sotto il controllo di Fermo decretato da papa Innocenzo IV nel 1248, una volta cessata la soggezione all’imperatore Federico II. Nella prima metà del Quattrocento, come gran parte dei castelli marchigiani, cadde nelle mani di Francesco Sforza, futuro duca di Milano: qui nacque uno dei suoi tanti figli naturali (Sforza Secondo) e alloggiò la consorte Bianca Maria Visconti.
L’ultima attività edificatoria documentata risale alla metà del Seicento, quando nel corso di un conflitto tra le famiglie Barberini e Farnese (nota come “prima guerra di Castro”), papa Urbano VIII ordinò il rafforzamento del castello e una nuova dotazione di cannoni per rispondere a eventuali attacchi veneziani, avendo eletto Grottammare a presidio della costa pontificia sud-orientale.
A lungo, vista l’importanza del porto sottostante, la fortezza fu munita nel suo punto più alto di una torre che fungeva da faro, di forma cilindrica e sviluppantesi su tre piani. Questa torre-faro fu in parte demolita nel 1766 perché pericolante, e nei primi anni dell’Ottocento venne abbattuta del tutto.
Oggi i ruderi del castello presentano un basamento costituito da muri a scarpa in laterizio che si dispongono secondo un andamento curvilineo. Da questo basamento si elevano i resti di una torre e di un muro perimetrale che conservano ancora i beccatelli e due feritoie di artiglieria. A poca distanza si trova un’altra torre con resti di beccatelli, collocata su un basamento a scarpa. I ruderi sono inseriti in uno scenario molto suggestivo, sia per il panorama che vi si ha a disposizione, sia per la ricca vegetazione in cui predominano i pini d’Aleppo.