كانت قوة نزارية يقودها كيا بزرك اميد، خليفة حسن الصباح لاحقا، قد هاجمت لمسر سنة 489 أو 495 هـ واستخلصتها من أيدي زعماء محليين كانوا متحالفين من السلاجقة.
استطاع بزرك اميد تحصين لمسر تحصينا جيدا ومدها بصهاريج للمياه لا تزال قائمة إلى اليوم، وأصبحت القلعة مركز حراسة للطرق المؤدية إلى ألموت عبر وادي شاهرود مما عزز قدرة النزاريين الدفاعية عن منطقة رودبار. وقد حاصر السلاجقة القلعة مرات عديدة لكن بلا طائل. وصمدت لمسر مدة عام كامل في وجه المغول عام 654 هـ بقيادة هولاكو شخصيا ولم تسقط إلى نهاية عام 655 هـ. أعاد المغول بناء القلعة جزئيا لاستخدامهم الخاص. ضمت المنطقة إلى أيدي الصفويين في القرن العاشر الهجري.[3]
زارت المستشرقة فريا ستارك أطلال القلعة سنة 1931 م ووصفت مشاهداتها في كتاب The Valleys of the Assassins أي «وديان الحشاشين».[4]
