O segundo conde de Vila Nova de Portimão, D. Martinho de Castello Branco, camareiro-mor de el-rei D. Manuel I, vedor da fazenda real e preferido do rei, obteve, a 6 de Maio de 1516, o privilégio régio para abrir e explorar um prostíbulo na dita vila, sob a designação de Mancebia, sob condição de manter as "mancebas" solteiras, apartadas das mulheres casadas e de bons costumes. Os rendimentos da exploração da dita casa, popularmente referida como um "paço-da-mãe-joana"[1], reverteram a favor deste conde e dos seus descendentes, livres e isentos de quaisquer sindicâncias ou controlos por parte da justiça ou do clero. [2][3]
Em 1662, o terceiro conde, Dom Gregório Taumaturgo de Castel-Branco, morreu sem descendência, sendo o título herdado pelo neto de sua irmã, Luís de Lancastre, descendente do infanteD.Jorge de Lancastre, duque de Coimbra.
Pelo casamento do 5.º conde com Maria Sofia de Lancastre (herdeira da Casa de Abrantes), a família reuniu todo o património e honras na mesma casa, uma das mais consideradas entre a aristocracia portuguesa.
Após a proclamação da República e o fim do sistema nobiliárquico, foram pretendentes ao título D. José Maria da Piedade de Lancastre e Távora (1887-1961), D. Luís Gonzaga de Lancastre e Távora (1937-1993) e, atualmente, D. José Maria da Piedade de Lancastre e Távora (1960-).
Braga, Teófilo (1885). O povo português II: Nos seus costumes, crenças e tradições. Lisboa: Livraria Ferreira Editora. p.132. 546páginas «(...)a Mancebia concedida em privilégio ao conde de Vila Nova, e certas locuções populares se referem também a isso, como o Paço-da-Mãe-Joana, com que se designa a casa que está aberta para toda a gente»
Silva Lopes, João Baptista (1841). Corografia, ou, Memoria económica, estadistica, e topográfica do Reino do Algarve. Lisboa: Imprensa Nacional. p.268, nota 2 «D. Manoel a quantos esta nossa carta virem, fazemos saber que o Conde de Villa Nova veedor de nossa fazenda nos disse ora q por quanto na dita villa (de Portimão) he necessaria huma mancebia e elle por bem e honestidade da boa vizinhança dos moradores della queira fazer aa sua custa em algum logar da dita villa q para isso seja mais conveniente encostada ao muro para se nella recolherem as mancebas solteiras e se apartarem de conversarem com as mulheres cazadas q vivem em sua honra lhe dessemos hum luguar para isso e ouvessemos por bem que ninguem a podesse fazer salvo esta, e visto por no seu Requerimento por lhe fazermos merce, nos pras de lhe dar luguar como de feito por este damos q elle faça a dita mancebia na dita Villa, e outra pessoa alguma ao diante o nom possa fazer nella, e tenha e aja para sempre toda a renda d'ella. E porém mandamos aos juízes e justiças da dita villa e a todos outros officiaes e pessoas a que o conhecimento desta pertence que lhe leixem fazer a dita mancebia e ter e aver a Renda delia assi elle com todos seus herdeiros que depois delle vierem para sempre como dito he; e em caso que a dita villa venha a nos e aos nossos successores todavia elle e os seus herdeiros ajam a Renda sobredita porque assim he nossa merece. Dada em a nossa villa de Almeirim, a seis dias de maio. Jorge Fernandes o fez de 1517»
"Nobreza de Portugal e do Brasil" Vol. III, páginas 514 a 516. Publicado por Zairol, Lda., Lisboa, 1989.