После смерти епископа И. Массалькиса Вяркяйский дворец начал понемногу приходить в запустение. Впоследствии его хозяевами были разные люди, но все они мало интересовались состоянием усадьбы. Сильно пострадал дворец и во время наполеоновского нашествия в 1812 году: были сожжены почти все деревянные полы и часть стропил крыши центрального дворца.

Через десять лет дворцовые здания ремонтируются и передаются в аренду женской гимназии-пансионату, и в 1826 году в купольном зале центрального дворца возобновились театральные постановки. Театр просуществовал более трех лет, а потом его помещения тоже постепенно стали приходить в запустение.

Около 1840 года Вяркяй приобрел граф Л. Витгенштейн, сразуже занявшийся его основательной перестройкой. Был реконструирован центральный дворец, а к левому корпусу пристроили зал с башней и зимний сад-оранжерею.

После графа Л. Витгенштейна Вяркяйской усадьбой владело еще много лиц, но больше дворцовый ансамбль уже не претерпевал сколько-нибудь значительных изменений. Однако ценное собрание археологических ценностей и произведений искусства, принадлежавшее рафу и включавшее много картин, скульптур, старинного оружия и даже две египетские мумии, впоследствии было расхищено, распродано да и просто уничтожено. Особенно в годы Первой мировой войны.

Большая часть зданий Вяркяйского дворцового комплекса была реставрирована после Великой Отечественной войны. Сначала восстановили правый корпус дворца, а в 1960-е годы существенно обновили левый. Была проведена большая и тщательная работа и по воссозданию внутреннего декора дворцовых помещений XIX века. Например, на потолке главного вестибюля художники-реставраторы восстановили полихромную роспись «Амур и Психея» работы Г. Беккера, полностью восстановлен зал бывшей библиотеки. С возрождением центрального дворца архитектурный памятник в Вяркяй вновь обретет свою первоначальную композицию и живописную прелесть.

Среди многочисленных грандиозных сооружений Санкт-Петербурга дворцы, безусловно, занимают первое место — как по красоте архитектуры, так и по богатству и пышности декоративных украшений. И самым величественным из них является Зимний дворец, колоссальное здание которого имеет вид чрезвычайно торжественный и по праву считается одним из архитектурных шедевров.

Первый Зимний дворец строился почти одновременно с Летним дворцом Петра I в 1710–1711 годы. Его возвели в глубине участка, который простирался от невского берега до нынешней Миллионной улицы, позже рядом прорыли Зимнюю канавку. Дворец был небольшим двухэтажным зданием, выстроенным на «голландский манер», с двумя выступами по краям и центральным входом, к которому вело высокое крыльцо.

Он был перекрыт высокой черепичной кровлей, а украшали его лишь небольшой нарядный портал, узкие пилястры по углам да прямоугольные наличники окон. Во дворце было всего несколько комнат, но впоследствии к нему пристроили набережные палаты.

Первый Зимний дворец оказался тесным уже через десять лет, и тогда по проекту немецкого архитектора Г. Маттернови построили второй Зимний дворец — на месте, где сейчас находится Эрмитажный театр. Как и первый, второй Зимний дворец не отличался размерами: он был трехэтажным, имел высокую покатую крышу, подчеркнутый центр и скромно украшенный пилястрами фасад.

В одном из кабинетов старого дворца и скончался великий преобразователь России. Этот кабинет находился как раз под вторым окном нижнего этажа Старого Эрмитажа. А.Л. Майер в своей книге о старом дворце писал: «Действительно, при осмотре этого подвального помещения оказывается, что и теперь там видны стены какого то другого дома, который был как бы накрыт зданием Эрмитажа. А один из старожилов рассказал нам, что в прежние времена в этом подвале находили часто обломки позолоченных карнизов». На месте, где скончался Петр I, по повелению императрицы Екатерины II впоследствии была положена в землю плита с надписью.

Через пять лет архитектор Д. Трезини значительно расширил второй Зимний дворец, пристроив к зданию два крыла и подчеркнув его центр четырьмя колоннами и пышно декорированным аттиком. Этот Зимний дворец считается третьим, но об интерьерах его сведений сохранилось очень мало. Известен лишь эскиз одной из стен Белого зала, на котором изображены панели из красного мрамора и два гипсовых рельефа на восточные темы. Пять палат во дворце были убраны «плитками заморскими», а «низенькие шесть маленьких камор голанскими плитками».

К тридцатым годам XVIII века он уже не мог удовлетворять требованиям, которые предъявлялись к царской резиденции Российской империи. Возвратившаяся из Москвы после коронации в 1731 году Анна Иоанновна не захотела жить в старом Зимнем дворце у Зимней канавки, так как он казался ей слишком тесным. Она предпочла вместительный дом фельдмаршала графа Ф.М. Апраксина, выделявшийся своими размерами, а также пышностью и богатством отделки. После смерти графа его дом по завещанию достался императору Петру II, здесь временно и разместился царский двор, а постройку нового Зимнего дворца поручили обер-архитектору В. Растрелли.

Зодчий пристраивает к дому Апраксина с западной стороны новый корпус, развернув его наиболее длинным фасадом вдоль Адмиралтейства. В. Растрелли неоднократно расширял и переделывал третий Зимний дворец, большого труда стоило соединить хоромы Ф.М. Апраксина с четырьмя соседними зданиями — домами сановников С. Рагузинского, П.И. Ягужинского, Кикина и З.Г. Чернышева. В результате его внутренняя планировка оказалась довольно причудливой и запутанной, усложненной к тому же различными пристройками и переходами. Видный общественный деятель того времени Ф. Прокопович писал об этом дворце: «Дом сей столь чюдного дела, что такого Россия до днесь не имела».

Фасады дворца, протянувшиеся вдоль Невского берега почти на150 метров, во многом еще сохранили черты архитектуры барокко времени Петра I: это цветущее барокко — полновесное, звучное, сочное в деталях, все построенное на богатой и насыщенной пластике.

Однако в оформлении ряда внутренних дворцовых помещений чувствовалась уже рука большого мастера. Особенно нарядно выглядели Тронный зал, Аванзал и Театр. В Тронном зале, например, 50 резных пилястр подпирали потолок, который был украшен великолепным плафоном, исполненным французским живописцем Л. Каравакком.

Новый Зимний дворец строился с 1732 по 1737 год, и хотя он был возведен очень изящно, но во многих отношениях оказался не совсем удобным, из-за чего и был перестроен в царствование Елизаветы Петровны. «Особая комиссия», составленная для строительстванового дворца, решила сломать дом Ф.М. Апраксина — с одной стороны, дом С. Рагузинского — с другой, и на этом месте возвести дворец по вновь начертанному В. Растрелли плану.

Ныне существующий Зимний дворец своими размерами и великолепием отделки затмил все прежние. Возводя здание, зодчий В. Растрелли сознавал, что сооружает не просто царскую резиденцию, потому сам подчеркивал, что дворец строится «для единой славы всероссийской». Своим гигантским объемом и большей, чем у соседних зданий высотой, он величественно возвышается над окружающим его пространством. Возведение его началось в 1754 году и закончилось только во время царствования Екатерины II.

Зимний дворец был задуман и построен в виде замкнутого четырехугольника с обширным внутренним двором. Создавая этот дворец, В. Растрелли каждый фасад проектировал по-разному, исходя из конкретных условий. Например, северный фасад дворца, обращенный к Неве, тянется вдоль берега почти на 150 метров более или менее ровной стеной и не имеет сколько-нибудь заметных выступов. Со стороны реки он воспринимается как нескончаемая двухъярусная колоннада.

Южный фасад Зимнего дворца, выходящий на Дворцовую площадь, является главным и имеет семь членений. Центр его выделен широким, пышно декорированным ризалитом, который прорезают три въездные арки. Из боковых фасадов наиболее интересен западный, обращенный в сторону Адмиралтейства и Дворцовой площади, на которой В. Растрелли предполагал поставить конную статую Петра I, отлитую его отцом.