Первый построенный на этом месте замок Castellum Lusdi, был, как и все средневековые замки, из дерева. Он являлся частью владений графов Анжуйских и был заново отстроен в камне во времена Фулька Нерры. Одна из легенд рассказывает, что в те годы проводились работы по отведению от Луары канала, чтобы отклонить на несколько километров течение реки и приблизить ее к замку, и что старое ложе реки, якобы, превратилось в ручей. Другая легенда утверждает, что в Х веке в замке поселилась нечистая сила. Приняв обличье слуги, нечистый будто бы умертвил хозяина. Потребовалось вмешательство епископа Бревилиге, чтобы разоблачить и изгнать посланника Сатаны. С тех пор та башня, которая ближе всего к западу, называется "башней дьявола".

Во время переделок XIII века к крепости были добавлены донжон с крепостной стеной, шесть башен и глубокие рвы; до наших дней сохранился только подземный сводчатый зал. Этот сторожевой аванпост был приобретен в 1378 году представителями Вандомской династии, которые покинули его под угрозой нападения английских войск под предводительством графа Уорвика. В 1427 году замок был отвоеван Амбуазом де Лоре и Жилем де Ре. Этот последний, невзирая на свое высокое звание маршала Франции, был обезглавлен по обвинению в отправлении "черных месс", во время которых он, якобы, приказывал убивать сотни детей. В 1477 году в замке Ле Люд появился новый хозяин - Жан II де Дайон, который входил в ряды мятежников, враждебных дофину Франции. Когда тот взошел на трон, он объявил Дайону беспощадную борьбу, вынудив его семь лет скрываться в пещере.

После примирения с королем Дайон добился высоких должностей при дворе и смог предпринять переоборудование замка, построив три корпуса как обрамление центральной башни. Обновление замка продолжалось и при двух преемниках Жана II де Дайон, имевших высокие воинские звания. Так Ле Люд обогатился крылом Людовика XII, крылом Франциска I - с ренессансной архитектурной декорировкой, и парком, разбитым на месте старых водяных рвов. В последующие века произошли другие изменения, как например добавление монументального фасада, выходящего на Луару, в стиле Людовика XVI, и широкого треугольного фронтона на новом жилом корпусе. Внутри него находится множество парадных залов и частных апартаментов. В других крыльях здания расположены комнаты с антикварной мебелью и большая библиотека.