A 10 de Novembro de 1892 Jorge O'Neill requereu à Câmara Municipal de Cascais licença para a construção de uma casa na entrada da Boca do Inferno, no sítio de Santa Marta e compreendendo o local onde se acha o tiro aos pombos.

A construção da Torre de São Sebastião actualmente Museu Biblioteca dos Condes de Castro Guimarães, só se terá iniciado, contudo, por volta de 1900.

Segundo consta, o projecto da autoria do pintor Francisco Vilaça ter-se-à inspirado no cenário de uma ópera que o coreógrafo italiano Luigi Manini teria executado junto da enseada de Santa Marta. O edifício demonstra uma profusão de estilos, do castelo senhorial a reminiscências mouriscas, manuelinas e renascentistas, utilizando materiais diversos, da pedra ao bloco de argamassa, passando pelo revestimento cerâmico.

Em 1910, a casa foi vendida ao Conde Manuel de Castro Guimarães, com todo o seu recheio, que em virtude de não ter descendência a legou ao município de Cascais, para ser destinada a um pequeno museu municipal e biblioteca pública, juntamente com as suas colecções de livros, objectos de arte, livros, toda a mobília e pratas que nela se continham e o aprazível parque de recantos azulejados .

Inaugurado a 12 de Julho de 1931 foi-lhe dado o nome de Museu Biblioteca dos Condes de Castro Guimarães, por desejo expresso do seu fundador para desta forma incluir sua mulher, Ana de Castro Guimarães.

Na adaptação a Museu pretendeu manter-se o ambiente de uma casa habitada, valorizando, desta forma, a arquitectura interior e os motivos decorativos, integrando harmoniosamente as colecções artísticas legadas pelo benemérito e as que foram sendo adquiridas.

No parque circundante encontram-se dois painéis figurativos de azulejos do século XVIII atribuídos a Bartolomeu Antunes.

Na capela de S. Sebastião, do primeiro terço de seiscentos, antiga propriedade da cidadela hoje anexada ao Museu, podem observar-se notáveis azulejos portugueses revestindo a fachada, a nave e a capela- mor, do tempo da fundação. Já da primeira metade do século XVIII são os azulejos representando cenas da vida do Santo.