Situado no centro histórico de Viseu, a Casa dos Silveira apresenta-se num conjunto sóbrio e imponente do século XVIII acusando arquitetonicamente ainda características do barroco. Mandado construir, em finais de setecentos, pelo General Francisco da Silveira Pinto da Fonseca, Conde de Amarante, serviu para sua residência e da sua família que, após as lutas entre liberais e absolutistas, passaram a residir em Lamego.

O conjunto, apresenta arco de entrada ladeado por pilastras rematado pelo escudo (esquartelado com Silveira; Pinto; Teixeira e Fonseca) que dá acesso a pátio central em redor do qual se desenvolvem os três corpos do edifício, com planta em U, sendo o central de maiores dimensões. As escadas exteriores - na fachada esquerda e na direita- alpendradas, ilustram algumas das características das casas senhorias beirãs da época. O General Silveira, nasceu na vila de Canelas a 1 de Setembro de 1763 e morreu em Vila Real a 27 de Maio de 1821. Era filho de Manuel da Silveira Pinto da Fonseca e de D. Antónia Silveira. Moço fidalgo com exercício na Casa Real e fidalgo cavaleiro; 9.º senhor donatário das Honras de Nogueira e São Cipriano; Senhor do morgado do Espírito Santo na vila de Canelas; Comendador de Santa Marinha de Rio Frio da Carregosa, no bispado do Miranda, na ordem de Cristo; Grã-cruz da ordem de Cristo, da antiga ordem da Torre e Espada, e da ordem militar de São Fernando e Mérito da Espanha; Tenente-General do exército, Governador das armas da província de Trás-os-Montes, durante o período da invasão francesa. Assentou praça de cadete no regimento de cavalaria de Almeida em 25 de Abril de 1780, foi promovido a alferes do mesmo regimento a 27 de Fevereiro de 1790, a tenente do regimento de cavalaria n.º 6, então chamados os ligeiros de Chaves, a 17 de Dezembro de 1792, a capitão e ajudante de ordens do marechal de campo e governador das armas da província da Beira, João Brun da Silveira, a 17 de Dezembro de 1799. Sucedeu ao morgado de Espírito Santo e na casa de seu pai, a 22 de Fevereiro de 1785. Por ocasião da guerra contra a França e Espanha, em 1801, Francisco da Silveira, com outras pessoas importantes da sua província, levantou um corpo de voluntários, de que foi sargento-mor, o qual figurou somente na empresa de Monterei, ordenada por Gomes Freire de Andrade. No entretanto, em recompensa dos serviços prestados nessa época, foi promovido à efectividade de sargento-mor para o seu regimento de cavalaria n.º 6, e a tenente-coronel em 14 de Março de 1803.