У північно-західній частині Тобольського кремля, на звільненій після розбору старої Троїцької церкви в 1791 році ділянці землі, був зведений один з найпохмуріших комплексів Тобольська - Тюремний замок
Історія його заснування пов'язана з візитом до Тобольська цесаревича великого князя Олександра Миколайовича в 1837 році, який звернувши увагу на незручність старого тюремного острогу, влаштованого в місті ще в XVII столітті, велів, про будівництво більш зручної будівлі. Помічнику Тобольського міського архітектора, художнику 14 класу Вайгелю було доручено розробити проект нової в'язниці. Проект був затверджений в 1838 році і включав п'ять основних корпусів: адміністративний, головний (лікарняний), 3 корпуси для ув'язнених і засланих.
Офіційне відкриття тюремного замку відбулося 23 листопада 1855 року. У 1866 році поряд з тюремним замком було розміщено заклад для дітей, які слідували з батьками по етапах і розділяли з ними всі тяготи тюремного життя; в 1871 році відкрито військово-каторжне відділення на 600 ув'язнених. В кінці XIX століття для немічних засланців-поселенців була відкрита богодільня.
Історія Тобольської в'язниці стала сумним відображенням найдраматичніших сторінок історії Росії. У ній знаходилися в ув'язненні М.Петрашевский, Ф.Достоєвський, Н.Чернишевський, В.Короленко та багато інших видатних людей, що залишили глибокий слід в історії та культурі країни. В'язниця використовувалася за призначенням аж до 1989 року.
До сьогоднішніх днів Тюремний замок дійшов з невеликими змінами і в даний час функціонує як музейний об'єкт.