Il Castello si colloca su una rupe a strapiombo sul mare, punto strategico per il controllo della costa e la difesa della città. La sua costruzione si deve al conte Roberto Drengot, che nell’XI secolo avviò la fortificazione della città di Vieste, unitamente all’innalzamento di una cortina muraria difensiva. Il castello si presentava in questa prima fase come un corpo quadrangolare con torri cilindriche ai vertici. Ricostruito da Federico II ed elevato a rango di regia fortezza, la struttura subì radicali rimaneggiamenti in epoca aragonese, assumendo l’aspetto attuale: pianta triangolare corredata da bastioni angolari a punta di lancia, che inglobarono i resti delle strutture preesistenti.