Ещё Иван IV Грозный начал возводить Вологодский кремль. Планируемая территория была в 12 раз больше территории Московского Кремля. Закладка каменной крепости проходила под непосредственным досмотром царя 28 апреля 1565 года, в день святых апостолов Иасона и Сосипатра.

Это событие впоследствии дало другое название Вологде — Насон-город, известное по песням и преданиям. Крепостные стены должны были оградить детинец (кремль) — новый городской центр, выбранный царём и не совпадавший с прежним центром города, — Ленивой площадкой, находящейся несколько ниже по течению реки Вологды, на её высоком правом берегу. Всеми градостроительными работами руководил один из выдающихся русских инженеров XVI века Размысл Петров.

На протяжении 1565–1571 годов Иван Грозный часто бывал в Вологде, наблюдая за сооружением крепости и каменного Успенского (Софийского) собора. Очевидно, царь предполагал основать в Вологде хорошо укреплённую личную резиденцию, однако ликвидация опричнины, вероятно, изменила его планы, а кремль не был построен. Тот комплекс сооружений, который называется Вологодским кремлём, создавался в течение нескольких столетий, его разновременные постройки сильно отличаются друг от друга по своему виду, у них пет единого стиля.

В состав Вологодского кремлёвского комплекса традиционно относят бывший Архиерейский дом, главным образом благодаря его высоким крепостным стенам, неразрывно связанные с этими стенами Воскресенский собор и Софийскую колокольню. Стоящий на высоком берегу реки Вологды монументальный Софийский собор — первый каменный храм города, построенный при Иване Грозном, находится вне кремлёвских стен, но исключить его из состава кремля было бы неправомерно: именно Софийский собор прежде и больше всего привлекает внимание посетителей кремля своей суровой, величественной красотой и монументальностью. В давно исчезнувшем первоначальном кремле Ивана Грозного собор появился намного раньше каменного двора архиереев и в настоящее время главенствует над всем центральным городским ансамблем — Вологодским кремлём.

Соборная колокольня, как бы встроенная в восточную стену, возвышается напротив собора. В юго-восточном углу ограды располагается второй, меньший по размеру собор — Воскресенский.

Рядом с Софийским собором, несколько западнее, расположен обнесённый высокими каменными стенами бывший Архиерейский дом — комплекс сооружений двора вологодских архиепископов. Первоначально палаты вологодских архиереев находились на Ленивой площадке, близ кафедрального Воскресенского собора. В 60-х годах XVI века Архиерейское «дворище» было перенесено на территорию возводимого кремля, в непосредственное соседство с новым главным храмом города — Софийским собором.

До середины XVII века все постройки владычной резиденции — Архиерейского двора — были деревянными. Двор был обнесён деревянным забором с несколькими воротами, главными из которых были восточные Святые — большие «створистые», с прорезной решёткой, украшенные иконами и увенчанные тремя шатрами. В середине XVII века над Святыми воротами вместо обитых «чешуёй» шатров была построена домовая Трёхсвятная церковь. Даже после разборки этой церкви главные ворота долгое время именовались и Трёхсвятными, и Святыми.

Уже в первой половине XVII века в резиденции вологодских архиереев находились все необходимые для административного епархиального центра помещения. Здесь располагались также архиерейские, «крестовые» и «казённые» кельи (в последних хранилась казна и ценности), «судная» изба, домовая, «клецкая» церковь, изба «воротная» (для привратников), а также многочисленные хозяйственные помещения. Эти многочисленные деревянные здания неоднократно перестраивались и в настоящее время не сохранены. О них можно судить лишь по различным документальным материалам, в частности по писцовой книге Вологды 1627 года.

В конце 1650-х годов в Архиерейском доме появилась первая каменная постройка — здание Казённого приказа, или Экономский корпус, где пометались казённые и казначейские кельи.

Второе по времени каменное здание Архиерейского двора — большой трёхэтажный Симоновский корпус (или Архиерейские палаты) с одноглавой домовой церковью Рождества Христова, названный по имени архиепископа Симона, при котором он был построен в 1669–1671 годах. В XVII и первой половине XVIII века это было самое роскошное здание не только в епископской резиденции, но и во всей Вологде. Позднейшие пристройки значительно исказили внешний и внутренний облик этого сооружения. В результате реставрации 1960 года был частично восстановлен прежний роскошный архитектурный декор фасадов здания. В настоящее время Симоновский корпус по праву может служить прекрасным образцом гражданской архитектуры второй половины XVII века.

Сразу после появления епископского «дворца» Архиерейский двор в очень короткий срок (1671–1675 гг.) был обнесён высокими каменными стенами с многими неразрывно связанными с ними хозяйственными постройками, несколькими воротами и четырьмя башнями на углах образованного стенами неправильного четырёхугольника. Годы построения стен отмечаются в исторических документах, как времена крайне дешёвой рабочей силы: в Вологде был голод, и население работало «из хлеба безденежно». Этим воспользовался епископ Симон, при котором были построены и крепостные стены, и первые Архиерейские палаты с церковью Рождества Христова.

Высокая ограда с её бойницами, с крытыми переходами по внутренней стороне, построенная по правилам фортификационного искусства XVII века, напоминает крепость, хотя и никогда не подвергалась вражескому нападению. Эти внешние атрибуты древнерусского крепостного зодчества имели чисто символический смысл. Возведение столь мощных стен вологодского двора было вызвано идеологическими задачами возвеличения и прославления церкви и самого архиерея. Сооружение обширных и парадных резиденций духовных властей типично для конца XVII века.

Первоначально стены были покрыты на один скат деревянной крышей на столбах. Под крышей с внутренней стороны устроен переход с перилами, позволяющий пройти по всему периметру ограды.

В архиерейской ограде было несколько ворот, но почти все они в настоящее время заложены. Главными были Святые (или Трёхсвятные) ворота, расположенные в восточной стене, прямо против Софийского собора (ныне заложены). Святые ворота представляли собой нарядную двухъярусную постройку. Часть нижнего яруса ворот, обращённая к собору, сохранилась и даёт представление об их былом декоре.

В конце XVII века над выходящими к Софийскому собору воротами взамен трёх небольших шатров поставили небольшую одноглавую церковь Воздвижения. На месте юго-восточной башни в XVIII веке построен Воскресенский собор.

Постепенно в Архиерейском дворе возникали новые постройки, переделывались и надстраивались прежние. Многие каменные постройки внутри двора, неразрывно связанные со стенами, воспринимаются как одно целое с ними. Они представляют определённый интерес как редкие из сохранившихся образцов хозяйственных построек XVII века.

В конце XVII — начале XVIII века, при архиепископе Гаврииле на Архиерейском дворе появилось новое трёхэтажное здание, названное впоследствии Гаврииловским корпусом. С юга он примыкал к архиерейским палатам (Симоновскому корпусу), а в настоящее время соединён с ними в одно здание.

Вскоре после его появления, в противоположной, восточной части двора к северному торцу Экономского корпуса было пристроено простое двухэтажное здание, как бы соподчинённое Экономскому в функциональном отношении — Безымянный корпус (в нём находились казённая и казначейская кельи).

В середине XVIII века Гаврииловский корпус был как бы продолжен к северу двухэтажным каменным зданием, названным Иринеевским корпусом.

В 1740-х годах перпендикулярно к Симоновскому корпусу, к восточному концу его северного фасада примкнули одноэтажные каменные кладовые. В эти годы деревянные закрытые переходы, соединявшие домовую Рождественскую и надвратную Воздвиженскую церкви, были заменены крытым двухъярусным переходом, имеющим окна с обеих сторон. В его нижнем ярусе находится двухарочный проезд в северо-восточную, изолированную часть комплекса, оказавшуюся обособленной в результате сооружения здесь между 1740 и 1753 годами одноэтажного здания, расположившегося между архиерейскими палатами и северной стеной крепостной ограды. В 1770-х годах над зданием был надстроен второй этаж, и оно было отдано переведённой сюда духовной семинарии, а позднее, в XIX веке, — здесь разместилась сильно разросшаяся Консистория.