В апреле 1812 года он подает прошение о восстановлении в армии и получает назначение в один из пехотных полков, спешно выдвигавшихся к западной границе. Первый бой полк принял в Белоруссии под Кобрином 15 июня 1812 г., сражаясь с авангардными войсками армии Наполеона. Яков Толстой участвовал в сражениях 1812 года, в кампаниях 1813–1814 годов, за которые был удостоен боевых наград, включая орден Св. Владимира с бантом — боевой орден за личную храбрость, высоко ценимый среди офицерства. По окончании войны Яков вернулся в Петербург, получив назначение адъютантом к генерал-лейтенанту Л.О. Роту в гвардейский Павловский полк.
В январе 1817 года Толстой назначается старшим адъютантом дежурного генерала Генерального штаба А.А. Закревского. Теперь через руки молодого капитана проходят распоряжения и приказы для всей русской армии.
Одновременно в жизни Якова происходит событие, благодаря которому он в основном и остался известен потомкам: в том же 1817 году он входит в кружок молодых литераторов — «лихих рыцарей, друзей свободы и вина», получивший название «Зеленая лампа» в честь абажура, под которым участники кружка собирались в доме его председателя Никиты Всеволожского. Там Толстой знакомится с Пушкиным, Глинкой, Дельвигом, Чаадаевым, Шаховским, многими другими знаменитостями того щедрого на таланты времени. В 1819 году встречи с квартиры Всеволожского перешли к Толстому. Тогда же Пушкин посвятил ему «Стансы»:
Среди блестящей и шумной молодежи, составлявшей кружок, Толстой выделялся собранностью, внутренней серьезностью, что хорошо подметил Пушкин. Если другие «кавалеры «Зеленой лампы»», любившие порассуждать о свободе и равенстве, а иногда и о свержении тирании, делили время в основном между пирушками, любовными историями, картами и театром, то Яков неукоснительно исполнял службу в Генштабе, а свои первые стихотворные опыты, довольно напыщенные и тяжеловесные, сохранял от друзей в тайне. Эта тайна раскрылась только в 1821 году, когда Яков Толстой все-таки решился издать свою первую книгу «Мое праздное время», в которую вошло 28 стихотворений. И снова два важных события одновременно: в том же 1821 году Толстой получает высокую должность старшего адъютанта Генштаба. Теперь он допущен к делам особой важности и секретности — мобилизационным планам, переписке с военными агентами России за границей, обработке поступавшей от них информации, в том числе и разведывательной.
Вместо распавшейся «Зеленой лампы» в Петербурге стали появляться первые тайные общества, куда входили офицеры и молодые чиновники — предшественники декабристских организаций. В одно из них — Союз Благоденствия — вступил и Яков Толстой.
Толстой продолжал служить и посещать собрания общества до апреля 1823 года, когда по состоянию здоровья испросил у начальства годичный отпуск для лечения больной ноги и уехал в Париж.
Первые впечатления о парижской жизни Толстой описал в появлявшихся с 1823 года в журнале «Сын Отечества» статьях, в которых он рисовал яркие картины политической жизни Франции, давал обзоры се культуры и искусства. В самом Париже Толстой стал вести с 1824 года в академическом издании «Ревю энциклопеди» постоянную колонку, посвященную русской литературе и искусству. По меткому выражению П. Вяземского, «Толстой в 20-е гг. был генеральным консулом по русской литературе во Франции». Он одним из первых перевел на французский Пушкина, открыл для европейцев талант Крылова, которого они до этого считали подражателем Лафонтену, познакомил их с творчеством А.С. Грибоедова и А.А. Бестужева-Марлинского.
События декабря 1825 года стали тяжелым ударом для Толстого, многие друзья которого в России оказались под судом. Его имя попало в следственные бумаги в списках членов тайных обществ, и весной 1826 года он получил предписание вернуться в Россию. Толстой отказался и был уволен со службы в конце 1826 года, фактически став «невозвращенцем» и потеряв все права на армейский пенсион и дворянские привилегии. Для него начался самый тяжелый период жизни. Лишенный средств к существованию, перестав получать деньги из России, он жил литературным трудом — писал для парижских изданий правду о России тогда, когда отношение Европы к ней подверглось резкому охлаждению.
Франция не могла простить России Венского мира, лишившего ее всех завоеваний Наполеона, и была резко настроена против внешней политики императора Николая I. С середины 1820-х годов в Париже стали появляться антирусские памфлеты, принижающие не только существующее в России правление, но и ее историю и национальные черты. Толстой выступил на защиту престижа своего Отечества. В 1825 году он подверг аргументированной критике «Обзор русской истории» Раббе. В 1827 году выступил против путевых заметок некоего Жака Ансело «Шесть месяцев в России», где тот в тенденциозной форме писал о варварстве всех без исключения русских, об их неспособности к самостоятельному правлению.
Одним из самых громких скандалов, связанных с публикациями о России, стало издание в 1829 году в Париже записок Виктора Манье — французского офицера, бывшего инструктора в турецкой армии, плененного во время русско-турецкой войны 1828–1829 годов. Вернувшись из России после года, проведенного в плену, Манье в своих «Записках» обрушился на русскую армию, приписав ей многочисленные зверства, оказавшиеся на поверку вымышленными, а также дезорганизованность, слабость и отсталость, не гнушаясь самыми оскорбительными выражениями.
Толстой ответил Манье брошюрой «Возражение французскому офицеру», где, по мнению современника, «выступил усердным и искусным защитником в чужих краях от нападений злобы и ненависти». Когда же Манье обвинил Толстого в клевете, Яков вызвал его на дуэль. Манье драться с ним не рискнул и больше в печати не появлялся.
Эта история прибавила Толстому престижа в Санкт-Петербурге, в том числе и в сановных кругах. Еще с 1827 года он вновь получил возможность публиковать свои статьи в либеральном «Московском телеграфе». Но жизнь Толстого оставалась крайне стесненной. Перемены произошли не в доходах, а в его взглядах: Толстой заново пересмотрел свой долг перед Отечеством. В письме брату Ивану от 13 августа 1830 г. он прямо писал: «…если бы наше правительство захотело употребить меня здесь, я мог бы принести ему большую пользу, так как знаю превосходно Париж с его духовной стороны и нахожусь в сношениях с влиятельными людьми, но мне трудно их поддерживать по причине крайней нищеты. Если бы генерал Закревский или глава его канцелярии в Генеральном штабе А.С. Меншиков и другие хотели бы восстановить мою честь в глазах Его Величества и употребили меня на дело здесь, то я был бы очень полезен».
Три года спустя, в 1833 году полуголодная жизнь Толстого изменилась к лучшему после того, как в Париж на вновь утвержденную должность корреспондента Министерства народного просвещения прибыл 25-летний князь Элим Петрович Мещерский. Несмотря на молодой возраст, князь к тому времени имел опыт пятилетней дипломатической службы в Дрездене и Турине. Перейдя из ведомства канцлера Нессельроде в ведомство графа Уварова, он за короткий срок успешно освоился на новом поприще. Круг его служебных обязанностей помимо изучения системы образования и общего состояния наук в Европе включал также анализ местной политической жизни и прессы. Его донесения направлялись не только министру просвещения Уварову, но и шефу III отделения Бенкендорфу. Для своей работы Мещерский привлек Толстого, который был тогда, вероятно, лучшим российским экспертом по Франции, постигнув ее изнутри за долгие годы жизни там.
В 1835 году брат Толстого, Иван, занимавший важный пост в одном из правительственных учреждений, предложил ему написать биографию фельдмаршала Паскевича, командовавшего русской армией в войне против Турции в 1828–1829 годах и при подавлении выступлений в Польше в 1831 году. Биография, высоко оцененная в Петербурге, стала заключительным поводом к «политической реабилитации» Толстого в глазах петербургских властей. В августе 1836 года граф Мещерский передал Толстому вызов в Петербург, полученный от Бенкендорфа. Обрадованный Толстой немедленно известил об этом брата: «Граф Бенкендорф через князя Мещерского известил меня, что вскоре я получу предложение быть употребленным в Париже и что мои обязанности будут обнимать литературную часть и журналистику, но для этого мне надо будет совершить поездку в Россию, чтобы лично познакомиться с графом Бенкендорфом и сговориться о роде моих будущих занятий».
