Когда разразилась русско-японская война, Маннергейм отправился на фронт в Маньчжурию, где участвовал в боевых действиях. Получив несколько орденов, честно заслуженных в сражениях, Карл Густав Эмиль фон Маннергейм вернулся в столицу.
После поражения в войне русский Генеральный штаб искал человека, который смог бы заняться сбором военно-топографических сведений в Средней и Центральной Азии. И подполковник фон Маннергейм вызвался добровольцем. В течение двух лет он в сопровождении нескольких казаков на лошадях пересек Туркестан, пустыню Гоби и через Тибет добрался до Пекина. Он прилежно фотографировал, делал измерения, знакомился с жизнью местного населения. Это путешествие, длиной в 10 тысяч километров, позволило Маннергейму стать почетным членом Русского географического общества.
Вернувшись в Петербург и получив очередное честно заслуженное звание, полковник фон Маннергейм был зачислен в гвардейский Кавалергардский полк. В 1911 году фон Маннергейм получил чин генерал-майора, стал командиром Кавалергардского полка и был включен в свиту Николая II.
К началу Первой мировой войны он был на должности командующего 12-й кавалерийской бригадой, которая была отправлена в Галицию и участвовала в боях с австро-венгерской армией. Довелось генералу повоевать и в Румынии, возглавляя кавалерийский корпус. За три года войны Маннергейм был награжден почти всеми российскими орденами и получил звание генерал-лейтенанта.
В марте 1917 года во время Февральской революции он находился в Петрограде в отпуске, а после мятежа Корнилова решил вернуться на фронт. В сентябре 1917 года верховный главнокомандующий Духонин перевел его в резерв. Узнав об Октябрьском перевороте и падении Временного правительства, фон Маннергейм решил вернуться на родину, в Финляндию.
В начале января 1918 года генерал Маннергейм был приглашен в состав военного комитета, ставившего перед собой задачу сформировать финские вооруженные силы. 14 января фон Маннергейм стал руководителем этого комитета, а 16 января глава государства Пер Эвинд Свинхувуд назначил его главнокомандующим. В стране шла гражданская война. Под руководством генерала Маннергейма помимо шюцкоровских отрядов – военизированных формирований для защиты законности и порядка – были части германского экспедиционного корпуса и части Белой армии, которым противостояли части Красной гвардии. Весной 1918 года Красная гвардия потерпела поражение по всей стране, и в начале мая Маннергейм торжественно вошел в столицу. Однако на финский престол был возведен зять кайзера Вильгельма II принц Фридрих Карл Гессенский, и в начале октября 1918 года Маннергейм, который не питал любви к немцам, вынужден был эмигрировать.
Вспыхнувшая в Германии революция уничтожила кайзеровский трон. И уже в декабре 1918 года Густав фон Маннергейм вернулся в Хельсинки, где в качестве регента управлял страной с декабря 1918-го по июль 1919 года. Он укрепил государственный строй Финляндии как республики, усилил роль вооруженных сил в стране и пытался наладить связи со странами Северной Европы. В июле 1919 года, будучи еще регентом, он ратифицировал конституцию республики Финляндия. После выборов президентом страны стал Стольберг, а Маннергейм оставил за собой пост главнокомандующего вооруженными силами Финляндии. В 1920 году правительство приняло решение реформировать финскую армию по германскому образцу. Фон Маннергейм подал в отставку.
В начале 1930-х годов он вернулся в политику и на государственную службу. В марте 1931 года он был назначен председателем Совета обороны. В 1937 году Маннергейм добился принятия семилетнего плана перевооружения армии, и под его руководством на Карельском перешейке стали возводиться оборонительные укрепления, получившие название «линии Маннергейма». Он сделал очень много для вооружения и укрепления финской армии, и не его вина, что к моменту нападения Советского Союза на Финляндию осенью 1939 года она была недостаточно вооружена и подготовлена, а техническое оснащение финской армии также оставляло желать лучшего. Карл Густав фон Маннергейм знал все это лучше, чем кто-либо другой, поэтому, когда в конце 1938 года Рюти рассказал ему о предложениях Москвы, генерал посоветовал премьеру согласиться не только на советские базы, но и на незначительные территориальные уступки.
Еще в начале 1938 года СССР по закрытым каналам обращался к Финляндии с предложением начать переговоры по пограничным вопросам, чтобы обеспечить безопасность Ленинграда на случай войны. Для этого СССР хотел получить некоторые финские территории. Но правительство Финляндии ответило отказом. Сам Маннергейм стоял на более гибких позициях и высказался за уступки.
5 октября 1939 года Молотов пригласил делегацию финского правительства на переговоры в Москву. На следующий день Маннергейм тайно начал всеобщую мобилизацию. Одновременно с Карельского перешейка и из Хельсинки эвакуировались местные жители. Маннергейм понимал, что СССР просто так не отступится от своих требований по решению вопроса о новых границах, поэтому он советовал Паасикиви: «Вы должны обязательно достичь договоренности. Армия не способна сражаться».
Финляндия, поддержанная международным сообществом, отказалась идти на уступки. Советский Союз начал усиленно готовиться к войне со своим северным соседом. В самой Финляндии ни правительство, ни население не верили в возможность войны. Карл Густав фон Маннергейм, по-прежнему считавший, что нужно было согласиться с требованиями Советского Союза, подал в отставку, которая, однако, не была принята. В то время Маннергейму было уже 70 лет, и он полагал, что не обязан руководить вооруженными силами страны, поскольку его советы не были приняты во внимание.
27 ноября 1939 года Молотов заявил, что СССР не считает себя больше связанным пактом о ненападении. На следующий день Советский Союз объявил о разрыве дипломатических отношений с Финляндией, а 30 ноября 1939 года напал на страну.
В первый же день войны генерал фон Маннергейм забрал прошение об отставке. Тем временем финская армия мужественно обороняла предполье, отбивая все попытки советских войск прорваться к первой линии укреплений. 2 декабря в первом захваченном ценой больших жертв финском городе Териоки (ныне Зеленогорск) было объявлено о создании «правительства» Финляндской Демократической Республики во главе с О.В. Куусиненом.
Красная армия, неся огромные потери, безуспешно штурмовала первый рубеж финской обороны на Карельском перешейке. В декабре 1939 года все попытки советских войск захватить укрепрайоны успеха не имели. Однако после провала рождественского контрнаступления положение финнов на перешейке осложнилось. Командующему фронтом Тимошенко удалось наладить взаимодействие между родами войск, и теперь засевшие в укреплениях финские корпуса изматывались непрерывным огнем. Тимошенко знал, что у Маннергейма нет резервов. Положение спасли прибывавшие в Финляндию добровольцы – шведы и норвежцы. В январе в бой вступили первые 3 тысячи человек. Вскоре их число возросло до 11500 человек. Швеция предоставила Маннергейму 80 тысяч винтовок, 500 автоматов, 200 орудий и 25 самолетов Италия также поставила в Финляндию 30 самолетов и большое количество зенитных пушек. Американский финский легион поспел на фронт только к 13 марта, когда боевые действия уже закончились. Помощь финнам оказывали и Франция, и Венгрия, и даже Польша. Лондон же решил попробовать уладить дело миром и заявил, что если СССР не прекратит войну, то британские стратегические бомбардировщики, базирующиеся в Ираке, уничтожат нефтяные разработки в Баку и Грозном. Москва вынуждена была пойти на переговоры с Хельсинки, и 12 марта было подписано перемирие. Хотя условия мира были очень суровые, Финляндия избежала оккупации.
Сразу после советско-финляндской войны Финляндия начала искать союзников в Северной Европе на случай возникновения новой войны. Идея оборонительного союза не нашла поддержки у Швеции, и тогда финское правительство переориентировалось на Германию, которая уже готовила нападение на Советский Союз. Со второй половины 1940 года вермахт стал помогать генералу Маннергейму реформировать финскую армию. Кроме того, правительство Финляндии согласилось на транзит немецких войск в Норвегию через свою территорию. Несмотря на все уговоры Гитлера и Кейтеля, в мае 1941 года президент Рюти официально заявил, что Финляндия не будет принимать участия в агрессии против СССР. Но в начале июня у финской границы начали скапливаться советские войска, и 17 числа того же месяца Маннергейм провел всеобщую мобилизацию.