Aït Benhaddou har varit en befäst plats sedan 1000-talet, under almohadernas tid, och vaktade då en av de få vägar som korsade Atlasbergen. Här gick karavaner mellan Marrakech och Sahara, och längs Ounila-dalen reste sig flera liknande ksour, som Tamdaght i norr. Den nuvarande bebyggelsen är inte äldre än 1600-talet, men den bär samma formspråk som generationer före.
Byn klättrar på en kulle vid floden Asif Ounila. Innanför en skyddande mur med torn och port trängs bostadshus av olika storlek, en moské, en karavanserai, flera kasbahs och marabouten Sidi Ali eller Amer. På krönet ligger resterna av en stor befäst spannmålsmagasin, en agadir, med utsikt över dalen. Utanför muren tröskades säd på öppna ytor.
Allt är byggt av stampad jord, adobe, lerteg och trä. Stampad jord – pisé – var praktisk och billig men krävde ständig tillsyn; regn nöter snabbt på leran, och övergivna hus vittrar på bara några decennier. Därför är underhållet en del av vardagen. Sedan 1987 står ksaren på Unescos världsarvslista, och trots jordbävningen i september 2023, som orsakade sprickor och kollapser, fortsätter arbetet med att hålla byggnaderna vid liv.
Filminspelningarna har bidragit till ekonomin och restaureringen. Här har scener ur Lawrence av Arabien, Den vilda jakten på juvelen, Iskallt uppdrag, Den skyddande himlen, Kundun, Mumien, Gladiator och Alexander spelats in, liksom delar av Game of Thrones och den brasilianska TV-serien O Clone. I dag bor bara ett tiotal familjer kvar i ksaren; de flesta har flyttat till den moderna byn på andra sidan floden, där jordbruk och turism ger levebröd.