La Varvassoria de Toralla fou un senyoriu d'origen medieval que fins a principis del segle xvii apareix documentat simplement com a senyoria de Toralla. Era en mans de la família cognomenada Toralla, ja esmentada des del segle xii. En efecte, el 1281 Bernat de Toralla cedeix al Comte de Foix els drets que tenia a la Vall Ferrera (1272), i el mateix any Pere II el Gran dona al de Toralla diversos castells, entre ells el de Toralla.