Важным аргументом в политическом обосновании гегемонии в дальневосточном регионе было историческое право России, которая «по давности обладания северными берегами Восточного океана, — как писал в 1853 г. Н. Н. Муравьев-Амурский, — имеет более прав и более средств, чем всякая другая держава, господствовать, по крайней мере, на азиатской ее стороне».
Завоевание Кавказа обошлось казне в 2,5 млн. рублей, а присоединение Амурского края и Уссурийской области всего в 800 тысяч.
Для освоения восточных территорий важны были новые транспортные пути и генерал-губернатор первым поднял вопрос о необходимости строительства железнодорожной магистрали. Через сорок лет по Уссурийской казенной железной дороге от Хабаровска до Владивостока были пущены первые пассажирские поезда. По инициативе Николая Николаевича были учреждены Забайкальское (1851) и Амурское (1860) казачьи войска, Сибирская флотилия (1856)
Сложность управления огромной территорией привела Муравьева к мысли о необходимости изменения административно-территориального деления Восточной Сибири. Эта идея была реализована в 1884 г., когда указом императора образовалось Приамурское генерал-губернаторство в составе Амурской, Забайкальской, Приморской областей и о. Сахалин.
Генерал-губернатор стал легендарной фигурой. Недаром появилась станица Екатерино-Николаевская, соединившая в своем названии имена удивительной супружеской пары Муравьевых. Не только сам губернатор, но и его супруга была личностью необыкновенной, которой судьба и жизнь уготовила необыкновенную.
О супруге губернатора писали: «Жена Николая Николаевича, француженка, не меньше его отличалась гуманностью, добротой и простотой. Она избегала пользоваться его выдающимся положением в Сибири... Со всеми в городе Е.Н. Муравьева была очень внимательна и обходительна». Кстати, именно к ней как к последней инстанции бросались искать защиты, провинившись перед грозным губернатором. Он же просто не умел говорить Екатерине Николаевне «нет». По словам его сослуживца Б.В. Струве, «он был в нее влюблен безумно». А потому неизбежное, казалось, наказание всегда смягчалось, а порой и отменялось вовсе.
В1861 году граф Муравьев-Амурский, в очередной раз не поладив с петербургским начальством, вышел в отставку. Ему было 52 года.
О том, что предшествовало отставке, пишет один из его помощников Б.Г. Кукель.
"… От М. С. Корсакова я также узнал…, что граф, считая свою миссию выполненной и чувствуя себя утомленным физически и нравственно, имеет неизменное намерение отказаться от дальнейшего служения в Сибири. И действительно, граф Муравьев-Амурский был сильно утомлен постоянными препятствиями, борьбой и интригами, которые он встречал при осуществлении своих служебных планов и проектов. Только поддержка со стороны великого князя Константина Николаевича и милостивое доверие государя императора давали ему возможность, и то с большим трудом, добиваться необходимых разрешений от центральных столичных учреждений. Неоднократно приходилось мне видеть, как влияли на нервного и раздражительного Н. Н. Муравьева получаемые им из С.-Петербурга бумаги, как иногда тяжело было этому энтузиасту, все свои силы и всю душу вложившему в дело, чувствовать себя связанным на каждом шагу и встречать постоянные затруднения, вследствие недостатка средств. Все амурское дело велось, так сказать, на медные деньги; Муравьев не имел возможности завести для себя даже сносного речного парохода, не говоря уже о буксирных пароходах для отправки барж с хлебом и имуществом переселенцев. Он очень дорожил своим временем, а между тем, сколько дней терялось напрасно на плавание на неуклюжем и глубокосидящем пароходике, который вследствие того часто попадал на мель; нередко ему приходилось, как и нам, идти бечевой, если нельзя было снять пароход с мели. Он говорил, что сам, совершив такого рода плавание, поверил нашим рассказам об испытаниях, которые приходится переносить при движении бечевой. Только после заключения Айгунского договора, графу Муравьеву-Амурскому начали отпускать средства для целей развития края, но средства крайне скудные для осуществления тех широких задач, которые имел в виду граф.
Любимейшею мечтою и желанием Н. Н. Муравьева было положить прочное основание переселенческому делу посредством привлечения на Амур частных переселенцев из России, создать сильный флот в южных портах Приморской области, развить промышленность и торговлю с Китаем, пользуясь природными богатствами края — лесными, рыбными, — залежами каменного угля, которым, видимо, покрыты берега области и острова Сахалина. К сожалению, условия среды и местной жизни нередко ставили Муравьеву на пути препятствия,
Особенно тяжело было для Муравьева, когда его благородные и горячие стремления в интересах края встречали равнодушие и нередко враждебное отношение со стороны центральных учреждений столицы. Подобными результатами сопровождался поднятый Муравьевым вопрос о переселении на Амур менонитов, колонистов южных русских губерний, а также чехов, иммигрировавших в Америку. Помню, с какою радостью принял граф в 1858 году в Благовещенске уполномоченных менонитов, обратившихся к нему с просьбой о разрешении поселиться в этом крае; им было предоставлено выбрать место и обещано полное содействие при переселении. Уполномоченные заявили, что в материальном отношении менониты вполне обеспечены, но желают селиться в одном месте и просят только об отводе нужного количества земли и об оставлении за ними тех привилегий, которыми они до сих пор пользовались. Менонитские депутаты ознакомились с краем и выбрали для поселения площадь земли по реке Зее протяжением около 40 верст, с обязательством уплачивать казне известный налог. Что же касается переселения из Америки чехов, то в этих видах Муравьев командировал туда чиновника особых поручений А. И, Малиновского (ныне члена московской судебной палаты), который даже изучил чешский язык но, увы, Петербург затормозил это дело, значительное же число менонитов, которые дали бы краю трудолюбивых и старательных земледельцев и полезных работников, переселилось в Америку, увозя свои большие капиталы, а чехи остались в Америке.
В первые годы после Айгунского договора частные переселенцы из крестьян устремились в Приамурский и Приуссурийский край, благополучно достигали устья Уссури, но, по отсутствию пароходства, не могли добраться до верховьев этой реки, теряли летнее время в ожидании помощи, которая не могла быть оказана, за неимением средств, и нередко возвращались на родину нищими. Вообще надо заметить, что Муравьев со свойственною ему энергией и лихорадочной торопливостью вел переселенческое дело, стремясь, как можно скорее, укрепить русское владычество на Амуре. Неоднократно приходилось мне слышать из уст Муравьева, что это он считает своею миссией, что если не выполнит ее сегодня, то завтра ему могут не позволить. И действительно в своей деятельности Н. Н. Муравьев уподоблялся орлу со связанными крыльями; дух его стремился к широким замыслам и высоким идеалам; он мог бы смело, по своим летам, по силе здоровья, проработать еще 10 лег и блестящим образом завершить свое дело; но, выбившись из сил, он принужден был преждевременно оставить Амурский край, и это обстоятельство неблагоприятно отразилось на дальнейшей судьбе нашей прекрасной восточной окраины. Заместители графа Муравьева-Амурского не обладали его гением и энергией и не чувствовали к краю той любви, какою был преисполнен граф; после него дела пошли черепашьим шагом; можно считать потерянными не один десяток лет, в течение которых наши соседи успели свои дела на Амуре привести в порядок; только в последние годы обращено особое внимание на этот край, который, быть может, сыграет видную роль в политической жизни России.
12-го ноября граф Муравьев-Амурский приехал в С.-Петербург; на Николаевском вокзале от имени государя императора его приветствовал высланный для встречи дежурный генерал-адъютант, который передал Муравьеву о желании государя, чтобы граф прямо с вокзала в дорожном своем костюме явился во дворец. По воле графа, я переехал к нему на квартиру на Большой Морской в качестве дежурного чиновника и здесь был свидетелем многочисленных визитов высших сановников. Вскоре выяснилось, что граф окончательно отказался от управления Восточно-Сибирским краем, и что государь император согласился на его просьбу назначить генерал-губернатором М. С. Корсакова. Последний любезно предложил мне должность начальника казачьего отделения в главном управлении Восточной Сибирью, но служба в Сибири без Муравьева не манила меня, и я остался причисленным к военному министерству, а затем в начале 1862 года принял участие в акцизной реформе, получив назначение на должность управляющего акцизными сборами в Курской губернии.