O primitivo Paço Episcopal desapareceu, mas veio a ser representado ainda numa vista da cidade do séc. XVIII e subsiste um pequeno trecho com uma fresta românica tardia. Ele era formado por um conjunto de edifícios que se foram justapondo ao longo do tempo. Nos terrenos anexos havia uma fonte e um laranjal.

De estilo barroco, sóbrio mas cuidado, o actual Paço Episcopal foi concebido por Nicolau Nasoni em 1734 e executado após 1737 pelo arquitecto Miguel Francisco da Silva. A sua construção, porém, deve ter-se prolongado por todo século XVII, com intermitências mais ou menos longas, como o parece provar o brasão de armas do bispo D. Frei João Rafael de Mendonça (1741-1795),que encima o portal. O palácio, contudo, aparece já concluído em gravuras de 1789 e 1791.

Na frontaria destaca-se o portal, de arco chanfrado, recamado de pétalas, jogos de volutas e outros motivos, sobrepujado por uma janela com varandim curvo .Rematam a zona central da fachada belos desenhos de flores envolutados, num complicado jogo volumétrico. As janelas do piso superior apresentam frisos ovais alternando com lambrequins ornados de volutas e cascas. Enquadramentos lisos alternam com os de molduras. De aspecto mais simples é a fachada oeste, com um amplo varandim corrido sobre a cornija. Importa notar também o jogo de abóbadas que cobre a sala de entrada e denuncia uma certa influência das obras toscanas coevas.