این قلعه در زمان سلطنت [[قاجاریه]] برای انبار مهمات ساخته شده بود و تا زمان [[رضا شاه]] نیز انبار [[مهمات]] بود. در زمان محمدرضا شاه ابتدا به عنوان انبار از آن استفاده شد و بعد از [[کودتای ۲۸ مرداد]] توسط [[تیمور بختیار]] برای نگهداری زندانیان سیاسی مورد استفاده قرار گرفت.
این زندان به مدت ده سال (۱۳۵۲–۱۳۴۲) توسط [[استوار ساقی]] اداره می‌شد<ref>{{یادکرد وب |نویسنده= |نشانی=http://www.22bahman.ir/ContentDetails/pageid/153/ctl/view/mid/364/Id/Icons-486/language/fa-IR/Default.aspx |عنوان=ساقی |ناشر=دفتر ادبیات انقلاب اسلامی حوزه هنری |تاریخ= |تاریخ بازبینی=۱۹ خرداد ۱۳۹۳ }}{{پیوند مرده|date=اکتبر ۲۰۱۹ |bot=InternetArchiveBot }}</ref> و زندانیان با اصطلاح ''دژ استوار ساقی'' از آن یاد می‌کردند.<ref>{{یادکرد وب |نویسنده = |نشانی=http://www.navideshahed.com/FA/index.php?Page=definition&UID=213675 |عنوان=عنوان: دژ استوار ساقی | ناشر =پایگاه اطلاع‌رسانی فرهنگ و شهادت |تاریخ = |تاریخ بازبینی=۱۹ خرداد ۱۳۹۳}}</ref> طبق اظهار نظر [[جواد منصوری]]، به خاطر ملایمت و بیطرفی [[استوار ساقی]]،<ref>{{یادکرد وب |نویسنده =جواد منصوری |نشانی=http://www.ebratmuseum.ir/Portal/Home/ShowPage.aspx?Object=NEWS&CategoryID=335368c5-cb66-4cae-9e63-9194002f17c3&WebPartID=1252967b-211e-495e-a98d-0cfcc7c9f94e&ID=701e3bcb-257b-4bfc-934a-3f867a3e1856 |عنوان=استوار ساقی | ناشر =موزه عبرت ایران |تاریخ = ۲۶ دی ۱۳۹۲|تاریخ بازبینی=}}</ref> گاهی به طنز زندان قزل قلعه را «هتل ساقی» (در قیاس با جهنم اوین به ریاست «استوار حسینی») می‌گفتند.
در سال ۱۳۵۲ این زندان منحل و متروکه شد و کادر نظامی و اداری آن به [[زندان اوین]] منتقل شدند.
