История замка Лош тесно связана с историей Франции. Начиная с Х века на вершине скалистого утеса возвышалась деревянная башня, служившая защитой для прилегающего к ней селения и связанная с ним подземными переходами, проложенными в скалах. Владение первоначально принадлежало Фульку Рыжему, графу Анжуйскому, а при его преемнике Фульке Нерре (Черном) была возведена первая каменная крепость, имевшая в плане квадрат. Фульк Нерра, ставший графом в возрасте 17 лет, вошел в историю Франции как завоеватель, проводивший всю свою жизнь в войнах со своими соседями - графами де Блуа. Он был сыном Фулька Доброго - человека духовно богатого, имевшего литературное дарование, которому приписываются знаменитые слова, цитируемые во всех мемуарах - слова, сказанные им Людовику V: "Невежественный король - не что иное, как осел, надевший корону". Фульк Нерра, человек чрезвычайно жестокий и одновременно набожный, три раза совершал паломничество в Иерусалим, чтобы искупить свои грехи. К этой характеристике Фулька Нерры следует добавить его одержимость в строительстве многочисленных донжонов и военных укреплений. И действительно, он построил около десятка неприступных замков-крепостей, что было продиктовано требованиями той эпохи.