Происхождение и положение родителей при дворе были гарантией быстрой успешной карьеры молодого офицера. В следующем году он становится поручиком, затем штаб-ротмистром, ротмистром. Родители добивались для него должности флигель-адъютанта, но их усилия были сведены на нет взаимным «увлечением» сына и великой княгини Марии Николаевны. Ее отец, император Николай I, очень недолюбливал молодых людей, снискавших благосклонность дочери. Поняв ситуацию, Петр Андреевич «отдалился» от княгини, чем вызвал ее неудовольствие, но благосклонность монарха все равно не получил.
Крымскую войну Шувалов встретил командиром эскадрона Конного полка, охранявшего южное побережье Балтийского моря. Летом 1854 года он поступает в адъютанты к военному министру князю Долгорукову и по его поручению посещает различные города, где курирует отправку на фронт резервных воинских частей. В его обязанность также входило следить за отправкой в Севастополь транспортов с порохом. Сам Петр Андреевич также принимал участие в обороне этого города, правда недолго, но за храбрость и мужество успел заслужить награду – орден Св. Владимира 4-й степени с мечами. В 1855 году он наконец-то становится флигель-адъютантом и на следующий год сопровождает графа А.Ф. Орлова в Париж для заключения мирного договора. Вернувшись в Россию, Шувалов производится в полковники.
1857 год – год начала успешного карьерного роста графа Шувалова. Он назначается исполняющим должность столичного обер-полицмейстера и производится в чин генерал-майора. К концу года он утверждается в должности и на этом посту прилагает массу усилий для укрепления репутации столичной полиции. В этом ему помогло знакомство с опытом деятельности парижской полиции в бытность Шувалова во Франции.
В 1860 году Петр Андреевич становится директором департамента общих дел МВД. Человек консервативных взглядов, Шувалов был ярым противником реформ, но именно в годы их проведения он достигает высших государственных постов. В год отмены крепостного права он назначается начальником штаба Корпуса жандармов и управляющим III отделением. Наверное, это была не лучшая должность, но она давала власть. Жандармско-полицейская служба в сознании русского человека всегда вызывала чувство настороженности, опасения и брезгливости, а III отделение получило эпитет «государственной помойной ямы». Один из тех, кто достаточно близко знал Шувалова, писал, что граф «по семейным преданиям своим и по расчету личных выгод предпочитает самодержавие как самую выгодную форму правления для людей», но «готов служить всякому, кто облечет его властью». На этом посту самыми «громкими» его делами были ликвидация студенческих беспорядков в столице и первый политический процесс – дело М.Л. Михайлова. Шувалов никогда не забывал напоминать государю, что своей безопасностью он обязан усилиям III отделения.
Еще три года, и мы видим Шувалова на должности генерал-губернатора Остзейского края (Лифляндия, Эстляндия, Курляндия) и командующего войсками Рижского военного округа. Работа здесь требовала не только опыта, но и дипломатических способностей, так как любой генерал-губернатор этого края сталкивается с большим количеством проблем. Вот некоторые из них: окончательное и прочное объединение Остзейского края с Россией; готовность и принятие мер в случае политических столкновений на западной границе; предотвращение волнений в среде немецкого населения края и другие. Никаких особых нововведений Шувалов не привнес. Ему удавалось сохранять не только спокойствие в крае, но и продемонстрировать особую энергию и активность. Все свои распоряжения он сопровождал массой подробных предписаний. Он строго пресекал любое проявление сепаратизма, не допускал расширения прав местного дворянства, поддерживал деятельность православной церкви в крае. Все конкретные дела глава краевой администрации старался решать мягко, используя тактику компромисса, и местные жители были довольны разумностью губернаторских решений. Конечно, были и трудности, но главной из них стала боязнь Шувалова сделать что-нибудь такое, что могло не понравиться монарху и двору, так как из этой должности граф решил извлечь максимальный политический капитал для дальнейшего пути вверх по ступеням власти.
Энергия генерал-губернатора была достойно оценена императором, а политические противники графа почувствовали беспокойство от усиления его позиций.
Наступает 1866 год. Граф Шувалов отмечает свое 39-летие и достигает зенита «славы». После неудачного покушения Дмитрия Каракозова на императора Шувалов назначается на пост шефа жандармов и главного начальника III отделения. Пребывание на этой должности явилось временем наиболее сильного его влияния на внутреннюю политику. Почти восемь лет он являлся ближайшим советником императора и был наделен широкими, почти диктаторскими полномочиями. Постоянный противник графа Шувалова бывший военный министр Д.А. Милютин писал, объясняя причины такого влияния: «Все делается под исключительным влиянием гр. Шувалова, который запугал государя ежедневными своими докладами о страшных опасностях, которым будто бы подвергается и государство, и лично сам государь. Вся сила Шувалова опирается на это пугало. Под предлогом сохранения личности государя и монархии гр. Шувалов вмешивается во все дела, и по его наушничеству решаются все вопросы».
Петр Андреевич рекомендовал на посты министров внутренних дел и юстиции своих сторонников, таких же противников реформ, каким был и сам. Он стремился проникать в различные сферы государственной деятельности, сплотить вокруг себя «партию» единомышленников, придерживающихся жесткого консервативного курса. И это ему удалось.
Либералы не уставали критиковать деятельность графа Шувалова. Много говорилось о политике репрессий, проводимой шефом жандармов. Но обратимся к статистике: за последние четыре года деятельности Шувалова на этом посту было проведено 10 политических процессов, а за последующие четыре года – 46.
С началом 70-х годов влияние Шувалова на императора начало заметно уменьшаться, и в 1874 году он получил отставку. Поводом для нее стало «желание» Шувалова занять какой-либо видный дипломатический пост. Сказано это было несерьезно, но государь воспользовался моментом и назначил графа чрезвычайным и полномочным послом в Лондон. Выбор для Шувалова именно Англии был не случайным. Еще в 1873 году благодаря усилиям графа была решена весьма деликатная проблема улаживания дипломатических трудностей в связи с продвижением России в Среднюю Азию, и Петр Андреевич удачно проявил себя во взаимоотношении с английским двором. Император, вероятно, надеялся, что на этом посту граф сумеет активно и плодотворно действовать в интересах России. Но в целом дипломатическая деятельность Шувалова, по оценкам современников, была неудачной. Говорили, что он преувеличивал опасность вооруженного конфликта с Англией и возможность успешного соглашения с ней, чем способствовал затягиванию русско-турецкой войны 1877—1878 годов. В марте 1877 года он подписал Лондонский протокол великих держав с требованиями к Турции, а в 1879 году Шувалов фактически возглавил русскую делегацию на Берлинском конгрессе. Уступки, сделанные на ней русской дипломатией, были приписаны неудачным действиям лично Шувалова. Император оценил работу Петра Андреевича словами «печальные результаты», а пресса наградила графа весьма нелестными эпитетами. Справедливости ради отметим, что его коллеги по конгрессу и иностранные дипломаты оценили деятельность Шувалова совершенно иначе. Они единодушно отмечали высокий профессионализм, дипломатические способности и работоспособность графа. Но большинство российских политиков не понимали, что в данной ситуации уступки со стороны русской дипломатии были неизбежны; Шувалову же удалось отстоять и сохранить то, что возможно было отстоять и сохранить, проявив мужество, выдержку и упорство. В 1879 году он покидает пост в Лондоне и возвращается в столицу. В дальнейшем он не занимал никаких высоких должностей.
Несправедливая критика соотечественников заставила графа летом 1880 года составить записку, в которой он объяснял свои действия на Берлинском конгрессе. Ее текст отличается немногословностью, четкостью изложения, аргументированностью, доказательностью, с приведением документальных свидетельств.