У 1768 році граф Францішек Ксаверій Браницький отримав землі Любомльщини в подарунок за врятоване на сеймовому засіданні життя майбутнього короля Станіслава Августа Понятовського. Магнат відразу взявся впорядковувати місцину, і до 1781 року було закладено велику резиденцію, що органічно вписалася у структуру історичного центру Любомля.
У Ягелонській бібліотеці у (Краків) віднайдене зображення палацу в Любомлі, виконане 1827 року Вілібальдом Ріхтером — художником, що перебував на службі у графа Пото