El Castell de Vila-seca està íntimament lligat a la història de la ciutat.

Símbol de la vila, l’edifici està documentat des del segle XII, quan, durant el repoblament del Camp de Tarragona, el rei Alfons I el Cast, l’arquebisbe de Tarragona, Bernat Tort, i Guillem de Tarragona (fill de Robert d’Aguiló), en van fer donació al senyor Ramon d’Olzina (1162 i 1168), tot i que molt probablement els seus orígens són anteriors a aquesta donació.

L’any 1397 la propietat va ser adjudicada a la senyora Beatriu de Queralt. Posteriorment va passar a mans de Bernat de Saportella, qui l’any 1525 la va vendre a l’arquebisbe Pere Cardona, senyor de la veïna Vila-seca del Comú. Amb aquesta compra del Castell per part de l’arquebisbe es va produir la unificació de les dues Vila-seques i el conjunt dels dos territoris adoptà el nom de Vila-seca dels Olzina.

L’any 1680 l’arquebisbat va vendre el Castell a Johan Kies, cònsol d’Holanda a Barcelona.

L’any 1899 el Castell i les seves terres van ser adquirides per Isidre de Sicart i Torrents, que va fer transformar la construcció d’acord amb el projecte de l’arquitecte Enric Fatjó i Torras i, a partir d’aleshores, passà a identificar-se com el Castell del Comte de Sicart. Per aquesta raó, l’edificació, tal i com la veiem en l’actualitat, és d’estil neogòtic, amb influències estilístiques del centre i del nord d’Europa.

El 22 d’octubre de 2005 l’Ajuntament de Vila-seca va adquirir a la família Sicart-Girona el Castell i el jardí adjacent.

Gràcies a aquesta adquisició, el Castell tornà a ser de titularitat pública, i l’Ajuntament de Vila-seca inicià un procés de restauració i recuperació de l’edifici i del jardí del Castell.

Edifici declarat Bé Cultural d’Interès Nacional des de l’any 1989.