در اواسط خيابان حکيم الهي و بر سر راه شهر به محلات ثلاث برج کهنه و قديمي و نيمه مخروبه اي وجود دارد که بنام برج چهل دختر يا چهل دختران ناميده مي شود .
وجه تسميه اين برج چنين است که مردم معتقد برج مذکور را چهل دختر که دست از تعلقات دنيوي کشيده و تارک دنيا شده بودند با گل و خشت ساخته اند . قدر مسلم اين است که تاريخ بناي برج با آتشکده به زمان قبل از اسلام بر مي گردد . همانطور که از نام کوشمغان و زاوغان که در نزديکي برج قرار دارد برمي‌ آيد و با توجه به مقام مغ که پيشواي زردشتيان بود مي ‌توان اطمينان‌ داشت که برج مذکور زماني‌ آتشکده و يکي از اماکن متبرکه زردشتيان بوده است .
اين بنا به صورت برج هشت ضلعي است که هر ضلع آن در خارج 4 .5 و در داخل 2 .80 متر است ، ارتفاع برج در بعضي قسمت ها 10 متر و در قسمت هاي نسبتا سالم ديگر به دوازده متر مي رسد ضخامت ديوار تقريبا 50 تا 60 سانتيمتر است . هم اکنون برج مذکور به دليل توسعه شهري و احداث مدرسه ،  داخل حياط مدرسه قرار گرفته و کماکان ارزش تاريخي خود را حفظ کرده است .
در وسط هر ضلع طاق نماهايي با قوس هاي نيزه دار برپا گشته در بالاي طاق نما و زير سقف رس هاي قاب مانندي از خشت ساخته شده  .
به عقيده مردم سمنان برج چهل دختر يکي از بناهاي شوهر ياب استان سمنان است بدين صورت که دختران دم بخت براي باز شدن بخت خود و پيدا کردن شوهر به داخل برج مي روند و سه يا هفت سنگ از داخل به خارج پرتاب مي کنند اگر همه سنگ ها به بيرون بيفتند بخت آنها باز مي شود و همان سال ازدواج مي کنند در غير اين صورت بايد يک سال ديگر در منزل بمانند  .
امروزه اين برج به جاي اينکه درون محوطه اي فراخور آن قرار گيرد ، در درون يک مدرسه قرار گرفته است . بطوري که ضلع شمالي آن منطبق با ديوار مدرسه و بقيه اضلاع در داخل محوطه مدرسه جاي گرفته اند . همچنين قسمت هايي از برج مذکور که تخريب شده بود بسيار ناهمگون مرمت شده درحالي که در محاصره آسفالت حياط مدرسه است . از طرفي در ورودي آن نيز با آجر مسدود شده است .
به روايتي مردم سمنان بناي اين برج را به چهل دختر که براي خدمت در آتشکده گمارده شده بودند نسبت مي دهند . در بعضي کتب تاريخي نيز اين برج از آثار دوران قبل از اسلام به شمار مي رود . با توجه به محله هاي « کوشمغان » و زاوغان که در نزديکي اين برج قرار دارد معلوم شده که برج مزبور آتشکده يا يکي از مکان هاي متبرکه زرتشتيان بوده است .