Monsieur Louis de la Mothe fut le premier seigneur à résider à Vandeléville, dès le début du XVIIIème siècle. Il avait acheté la seigneurie de ce village à la famille de Haraucourt.
Louise de la Mothe a épousé Daniel de Cardon-Vidampierre. C’est Jean-Philippe, le petit fils, qui fit construire le Château en 1712. Il était premier gentilhomme à la chambre des Prines à la cour de Lunéville. Le 15 février 1723, la terre de Vandeléville fut érigée en comté.
Le seigneur de Cardon-Vidampierre s’est ruiné en faisant construire une telle demeure, qui n’était, en fait, qu’une résidence secondaire.
A sa mort, elle fut saisit, puis vendue au Comte d’Alençon. Mise sous séquestre à la Révolution, elle fut achetée en 1802 par la famille Olry de Vèzelise.
Cette famille a gardé le Château jusqu’en 1958; une fille Olry avait épousé le comte de Béarn, dernier propriétaire avant les PTT.