No dia 2 de junho de 1904, foi fundado o Asylo de Mendicidade de Santos pelo delegado de Polícia Antenor de Campos Moura, que assumiu a presidência, com o objetivo de diminuir a mendicância em Santos e dar abrigo.
No dia de sua posse, o presidente enfatizou que o Asylo de Mendicidade era uma necessidade em Santos, que era preciso acabar com o triste espetáculo notado diariamente nas ruas mais populosas da cidade: homens, mulheres crianças e velhos que imploravam a caridade. Para o asilo, iriam aqueles que, depois de um exame rigoroso, fossem declarados inaptos a qualquer trabalho necessário para a sua sobrevivência. A primeira sede foi instalada em 21 de agosto de 1904, na Chácara de nº42, da Rua Visconde do Embaré, no sopé do Morro do São Bento. Para organizar e dividir as atribuições de interesse do Asylo de Mendicidade de Santos, em junho de 1904, a diretoria dividiu-se em três comissões: a primeira para obter sócios, a segunda para elaborar o estatuto e a terceira cuidava do orçamento. O presidente Antenor de Campos Moura participava e cuidava de todas as comissões. A primeira reforma estatutária ocorreu em 29 de junho de 1924, e o Asylo de Mendicidade de Santos passou a ser chamado de Asylo de Inválidos de Santos. A ajuda da comunidade era a principal forma de subsistência do Asilo de Inválidos, por meio de sócios benfeitores, beneméritos e doações. A entidade também recebia doações de dormentes - da Companhia Docas de Santos e Estrada de Ferro Sorocabana, para revender. Na década de 40, muita madeira era consumida pela comunidade, que utilizava fogão a lenha, e esses dormentes tornaram-se mais uma forma de sustento.
No segundo semestre de 1982, a nova diretoria do Asilo de Inválidos de Santos instalou um bazar de pechinchas, que se tornou grande fonte de renda. A instituição viveu uma verdadeira revolução: além do bazar, transformou a revenda de madeiras em uma marcenaria, mandando ampliar um anexo para que fossem feitas não apenas reformas de móveis e utensílios, mais a fabricação dos mesmos. Houve também reformas no prédio do Asilo. Em 1955, estava sendo estudada a possibilidade da construção de uma nova sede para o Asilo de Inválidos de Santos. Em meados de 1997, o imóvel em que se instalava a instituição, na Avenida General Francisco Glicério, já estava sendo negociada com a Sociedade Visconde de São Leopoldo, mantenedora da Universidade Católica de Santos – Unisantos.
A construção da nova sede começou em 1998, no Morro da Nova Cintra. A cerimônia de inauguração foi realizada em 9 de dezembro de 2000, com apresentações e festividades que se estenderam por alguns dias. A sede na Avenida General Francisco Glicério – onde permaneceu por quase 80 anos – tinha capacidade para abrigar apenas 75 moradores; já a sede no Morro da Nova Cintra tem capacidade para 150. Todos os móveis e armários foram feitos de forma padrão pela marcenaria da instituição. A casa foi toda adaptada às necessidades dos idosos, conforme a legislação. Com a mudança de endereço, foi proposta também a mudança de nome, por meio de um concurso aberto ao público, foi escolhido “CASA DO SOL”, mas até hoje os dois nomes são utilizados juntos, o Asilo de Inválidos de Santos como mantenedor da instituição, o que foi justificado pela diretoria como meio de não abandonar a tradição e o reconhecimento.