Двухэтажное здание, построенное в 40-х годах XVIII столетия - комендантский дом. Дом строился с 1743 по 1746 год.

Проект комендантского дома исполнил инженер де Марин, но в 1741 году его переделал И. де Колонг.

Комендантский дом - это обширное здание, образующее в плане замкнутый четырёхугольник с внутренним двором - характерный памятник русского зодчества I половины XVIII века. Верхний этаж здания поставлен на цокольный полуэтаж, отделенный сильной горизонтальной тягой.

Скромность и простота оформления фасада, четкость и внятность внутренней планировки, органически связанной с фасадным решением, свидетельствует о большом композиционном мастерстве. В комендантском доме находилась канцелярия, помещения, где велись следствия по политическим делам: по делам декабристов, петрашевцев, народовольцев.

В конце 1794 года здесь несколько дней содержался деятель польского освободительного движения Тадеуш Костюшко.