После 1812 года никаких особо важных событий в самом замке и вокруг него не происходило. Но чем больше он разрушался, тем пристальнее приглядывались к нему любители старины. Чем больше стены замка обрастали травой и деревьями, тем больше роилось вокруг него легенд и преданий. Иногда рассказывались самые невероятные истории о прежних его обитателях, особенно в этом отношении прославился Пане Коханку. Чего он только не «совершал»! От пиратов на ореховой скорлупе убегал, а то у него был любовный роман с сиреной, от которого в море и появилась селедка.

Только через 58 лет после Отечественной войны дворец был восстановлен, а в конце XIX века на юг от замка выкопали большой пруд, для чего с этой стороны срыли бастионные укрепления.

В конце XIX века Мирским замком владел князь М.Н. Святополк-Мирский. Историк И.И. Иодковский в своей обширной статье «Замок в Мире» как бы между прочим замечал, что «нельзя даже мечтать о его сохранении, так как замок находится в руках князя, который уже ведет переговоры о продаже замкового кирпича». Новые владельцы приказали вырубить и сад, который, как рассказывали старожилы, тогда цвел. Между замком и дворцом были посажены деревья будущего парка, а в 1901 здесь появилась княжеская часовня-усыпальница.

Сам замок в это время пустовал, от дворцовых корпусов остались лишь наружные стены с зияющими пустотами на месте окон и дверей. Из-за накопившегося мусора не было видно подвалов, «итальянский сад» настолько забросили, что никто не помнил даже егоназвания.

В годы Первой мировой войны Мирский замок три года находился в прифронтовой зоне и, конечно, сильно пострадал. После войны восстановительные работы продвигались очень медленно — в год по одной комнате. Из всех залов был окончательно завершен только «Слоновый зал», названный так из-за камина с резными слонами, который здесь предполагалось установить. В остальных помещениях, и то по мере возможности, создавались только элементарные бытовые условия.

Свидетелем страшной трагедии стал Мирский замок и в годы Великой Отечественной войны: гитлеровцы согнали сюда несколько тысяч мирных граждан и расстреляли их в глубине бывшего «итальянского сада». После изгнания фашистов жители сожженных и разоренных врагом окрестностей нашли в замке приют, хотя гулкие, высокие залы совершенно не держали тепло, а толстые стены постоянно были сырыми.

После войны началось тщательное изучение архитектуры Мирского замка и его реставрация. Но даже и не до конца восстановленный комплекс замка восхищает своей архитектурной гармонией, слитностью с природой и продуманностью всех своих сооружений.

Расположенный в семи километрах от центра Вильнюса район Вяркяй давно уже стал частью литовской столицы. До конца XIV века эта местность была собственностью литовских великих князей, с тех пор и сохранилось это название, связанное с одной старинной легендой. Искусствовед Э. Будрейка в своем исследовании о Вяркяйском дворце рассказывает, что по преданию в этих местах в гнезде аиста был найден плачущий младенец. Его плач и услышал литовский князь, охотившийся в лесу. Отцом ребенка был верховный жрец «кривю-кривайтис», сам положивший внебрачного сына в гнездо аиста. Он и истолковал это чудо удивленному князю: мол, по воле богов найденный ребенок в будущем должен будет занятьего место и тоже стать верховным жрецом. Мальчика назвали Лиздейкой (от литовского слова «лиздас» — гнездо), а место, где был найден ребенок, до сих пор называется Вяркяй — от слова «вяркти» (плакать). В 1387 году великий князь литовский Ягелло подарил Вяркяй вильнюсскому епископу, и до второй половины XVIII века здесь находилась летняя резиденция епископов. Сюда не раз приезжали и подолгу гостили здесь короли Польско-литовского государства. И хотя вяркяйские постройки в ту пору были деревянными, но зато просторными и богато обставленными.

В 1700 году вильнюсский епископ К. Бжостовский на склоне уреки Нярис построил первый каменный дворец, а примерно еще через 80 лет здесь появились кирпичная и кожевенная мастерские, две водяные мельницы, пивоварня и молочная фабрика. Дополнительный доход приносила и корчма.

К концу XVIII века Вяркяй стал уже собственностью епископа Игнаса Массалькиса, который обменял его на свое родовое имение в Раудондварисе. Получив возможность вкладывать средства в строительство нового поместья, новый хозяин задумал возвести в Вяркяй пышный дворец и несколько подсобных помещений. Осуществление своего замысла он поручил зодчему Л. Стуоке-Гуцявичюсу выходцу из крепостных, но за архитектурную деятельность получившему дворянство.

До начала строительства архитектор Л. Стуока-Гуцявичюс находился в Париже, где совершенствовал свои знания, поэтому до его приезда возведением дворца руководил профессор Вильнюсского университета М. Кнакфус. Сначала он руководил ремонтом дворца, располагавшегося над рекой Нярис, поэтому возведением новых зданий он мог заниматься только около полутора лет. За это время вряд ли можно было сделать много, разве что подготовить материалы, выбрать место и только начать строительные работы.

Возвратившись из-за границы, Л. Стуока-Гуцявичюс завершил сооружение всего ансамбля в Вяркяй по собственному проекту. Сохранившиеся архивные документы рассказывают о том, что он якобы не одобрил выбранное для строительства место. Это понимал и сам епископ И. Массалькис, так как при перенесении дворца с берега реки на вершину холма утрачивается лесной фон. Но епископ позаботился об озеленении территории своей новой усадьбы.

Сейчас уже довольно трудно установить, какой вклад в создание великолепной резиденции внес каждый из них. Поэтому ученые исследователи считают их обоих авторами и строителями Вяркяйской усадьбы.

Желая усилить живописное впечатление, Л. Стуока-Гуцявичюс предложил использовать воду окрестных источников и ручьев, соорудить перед дворцовыми зданиями бассейн с фонтаном, а вытекающие воды каскадами направить по склонам холма в Нярис. И. Массалькису этот замысел до того понравился, что он даже велел изобразить водный каскад на стенах лестницы в своем дворце в Вильнюсе.

Дворцовый комплекс в Вяркяй имел подковообразный вид. На холме были возведены три здания — центральное и два боковых, более скромных и еще без пристроек. Все здания располагались вокруг эллипсоидного сквера, в центре которого стоял овальный бассейн с фонтаном.

Центральный дворец размещался в конце длинной оси этого эллипса, пролегающей с севера на юг. Он был двухэтажным и имел главный портик с шестью ионическими колонными, украшен он был пилястрами этого же ордера.

Рельефы на фронтоне главного портика и аттиках ризалитов, созданные скульптором Т. Риги, изображали сельские работы: например, на фронтоне была такая аллегория — Цинциннат пашет на быках.

На углубленных частях переднего фасада, между центральным портиком и боковыми ризалитами, располагалось по семь окон, на боковых фасадах — по три окна на каждом этаже, украшенных наличниками и сандриками.

К дворцу вела изящно изгибающаяся и опоясывающая площадку с фонтаном дорога. Удачная разбивка парка, органично вписанные в него здания, стоящие на высоком холме и окруженные пышной зеленью, особенно живописно выглядели издали.

Дворец в Вяркяй по тем временам был сооружением по истине монументальным: длина центрального дворца составляла почти 85 метров, а ширина его равнялась 10 метрам.

В центре главного здания размещался просторный парадный зал с выходящими в сад окнами, который предназначался для постановки театральных представлений. По обеим сторонам зала располагались гостиные. Особую нарядность центральному залу придают потолок и ниши для скульптур, симметрично расположенные с четырех сторон — между дверями в соседние помещения. Над центральным залом, над крышей дворца, возвышался эллипсоидный купол, покрытый медью.

Основной дворцовый комплекс в Вяркяй и другие постройки усадьбы соединялись двухэтажным домом управляющего. Вход внего был расположен в глубокой нише, обрамленной по бокам двумя дорическими колоннами.