Le duc de Noailles est l’ennemi juré de Saint-Simon, qui en fait ce portait cruel : « Le serpent qui tenta Ève, qui renversa Adam par elle, et qui perdit le genre humain, est l'original dont le duc de Noailles est la copie la plus exacte, la plus fidèle, la plus parfaite, autant qu'un homme peut approcher des qualités d'un esprit de ce premier ordre, et du chef de tous les anges précipités du ciel. La plus vaste et la plus insatiable ambition, l'orgueil le plus suprême, l'opinion de soi la plus confiante, et le mépris de tout ce qui n'est point soi, le plus complet ; la soif des richesses, la parade de tout savoir, la passion d'entrer dans tout, surtout de tout gouverner ; l'envie la plus générale, en même temps la plus attachée aux objets particuliers, et la plus brûlante, la plus poignante ; la rapine hardie jusqu'à effrayer, de faire sien tout le bon, l'utile, l'illustrant d'autrui ; la jalousie générale, particulière et s'étendant à tout ; la passion de dominer tout la plus ardente, une vie ténébreuse, enfermée, ennemie de la lumière, tout occupée de projets et de recherches de moyens d'arriver à ses fins, tous bons pour exécrables, pour horribles qu'ils puissent être, pourvu qu'ils le fassent arriver à ce qu'il se propose ; une profondeur sans fond, c'est le dedans de M. de Noailles. »