Важным этапом в развитии музея стало включение в его состав всех церквей и монастырей Московского Кремля. В этот период начинается подготовка к музейному показу кремлёвских храмов. Стремясь сохранить их историко-художественные комплексы, в концепции экспозиции сотрудники музея подчёркивают бытовое и декоративное значение памятников, избегая напоминать об их культовом назначении. Огромный ущерб соборам был нанесён в 1922 году изъятием ценностей в Помгол.
В июле 1924 года создаётся Объединённый музей декоративного искусства, в который кроме Оружейной палаты, Памятников Кремля и Дома боярина XVII века, в качестве филиалов входят созданные в начале 20-х годов Музей мебели, Музей фарфора и Музей игрушек. Объединённый музей имеет общий Учёный совет, финансирование и делопроизводство, кроме Музея мебели, который сохранил административно-хозяйственную самостоятельность. Организация совместной работы филиалов была крайне затруднительна, каждый из музеев имел свою специфику и, хотя основные проблемы работы музеев рассматривались и решения по ним утверждались на Учёном совете, каждый из них сохранял своё руководство. Так в Оружейной палате вместо заведующего в середине 1925 года вводится должность директора.
Продолжавшаяся политика антикварных распродаж, вульгаризация научно-экспозиционной работы, сокращение музейных площадей в Кремле и, наконец, варварское разрушение кремлёвских монастырей потребовали колоссального напряжения сил от сотрудников музея для сохранения ценностей. Несмотря на это продолжается активная научная работа и в 1925 году издаётся первый сборник научных трудов сотрудников музея. К 1929 г. практически готов так и не вышедший в свет второй сборник.
Искусственно созданное объединение оказалось недолговечным. В 1926 году был ликвидирован Музей мебели. Его коллекции передавались в разные учреждения. В апреле 1928 года Музей фарфора и Музей игрушки получают финансовую самостоятельность и практически выходят из объединения, однако официально Объединённый музей был реорганизован только в июле 1929 года.
Во второй половине 1929 года ситуация в музее становится чрезвычайно напряжённой. С 1 декабря 1929 года освобождается от занимаемой должности директор музея Д. Д. Иванов.
1930-е годы были трагическими в истории музея. Увольняются почти все ведущие научные сотрудники, часть из них подвергается репрессиям. В 1934 году по так называемому «Кремлёвскому делу» был арестован заместитель директора по научной работе В. К. Клейн. После увольнения Д. Д. Иванова на должность директора музея один за другим назначаются люди, не имевшие ни образования, ни навыка музейной работы. Научная работа в музее практически замирает. Доступ экскурсантов в музей, находящийся на закрытой территории Кремля, крайне ограничен, однако работы по реэкспозиции музейных залов в духе новой идеологии продолжались.
В марте 1932 года Государственная Оружейная палата из Наркомпроса передаётся в ведение Комитета по заведованию учёными и учебными учреждениями при ЦИК СССР. Утверждается новый сокращённый штат и структура музея. Филиал Оружейной палаты Дом боярина XVII века передаётся в Исторический музей. В июле 1933 года к Оружейной палате присоединяется мемориальный кабинет В. И. Ленина.
В составе Управления комендатуры Московского Кремля музей практически теряет свою самостоятельность как учреждение культуры. Отсутствие квалифицированных музейных специалистов, прерванные контакты с музейной общественностью, затруднённый доступ экскурсантов превращают музей в хранилище экспонатов.
В марте 1939 года директором Государственной Оружейной палаты был назначен Николай Никитович Захаров. Инженер по образованию, он также, как и его предшественники — директора 1930-х годов, не имел никакого опыта музейной работы. Но его добросовестность, стремление освоить новую профессию помогли ему успешно руководить работой сотрудников музея в очень не простой период его истории. В 1938–1939 годах в музее работает Комиссия по учёту музейного имущества и материальных ценностей Государственной Оружейной палаты и Памятников Кремля. Она отмечает ряд недостатков в постановке учёта и хранения. Под руководством Н. Н. Захарова в 1940 году начинается работа по составлению новых учётных документов.
В июне 1941 года работа была прервана Великой Отечественной войной. Сотрудники музея, при активной помощи со стороны коменданта Кремля генерала Н. К. Спиридонова, спешно упаковали и летом 1941 года эвакуировали сокровища кремлёвского музея в Свердловск. В период эвакуации продолжалась начатая ещё перед войной работа по созданию единой охранной описи всех коллекций музея.
Из эвакуации вещи были возвращены 20 февраля 1945 года, а уже в апреле была открыта первая после войны экспозиция музея.
В первый день войны допуск в Кремль немногочисленных экскурсантов с утра был прекращён, а 23 июня по распоряжению коменданта Московского Кремля Николая Кирилловича Спиридонова коллектив музея — директор Н. Н. Захаров, контролёр Н. А. Ефимов, научный работник Н. В. Гордеев, экскурсоводы В. С. Валуев, А. А. Гончарова (Старухина), К. П. Наумова, Е. А. Крестьянникова, реставраторы А. П. Клюйкова, А. Н. Кривцов, зав. учётом М. А. Кирильцева, делопроизводитель О. С. Владимирова, вахтёр и несколько технических сотрудников, уборщиц, приступил к демонтажу экспозиции и упаковке экспонатов Оружейной палаты в ящики. Сначала предполагалось укрыть ценности на территории Кремля — в Тайницкой башне, подклете Благовещенского собора и других зданиях, однако обстановка на фронте ухудшалась, враг стремительно приближался к столице. 30 июня Н. К. Спиридонов принял самостоятельное решение об эвакуации сокровищ на Урал, и директор музея Николай Никитович Захаров в тот же день получил предписание отбыть с наиболее ценными экспонатами из Москвы. Одновременно с ним сопровождали груз А. В. Баянов, Е. А. Ефимов, Н. В. Гордеев, О. С. Владимирова, охрану ценностей осуществляли красноармейцы. В 10 часов вечера три пульмановских вагона с экспонатами отбыли с Северного (Ярославского) вокзала. В ночь на 5 июля они благополучно прибыли в Свердловск. Однако в дороге не обошлось и без происшествий, примерно посередине пути было обнаружено расхождение досок и трещины в полу одного из вагонов. Состав был задержан, пол отремонтировали. Через три дня В. С. Валуев доставил и вторую группу экспонатов, а 10 июля А. А. Старухина (Гончарова) была в Свердловске с последней группой памятников.
Экспонаты были размещены в небольшом помещении (около 154 кв. метров) в здании УНКВД на ул. Ленина, сохранившемся до наших дней. Всего было эвакуировано 75 % экспонатов Оружейной палаты, в залах музея осталась только коллекция экипажей, упаковка и транспортировка которых из-за больших размеров в тех условиях была невозможна. Из-за сложности демонтажа иконостасов не была эвакуирована и большая часть икон из кремлёвских соборов.
С середины июля Москва стала систематически подвергаться массированным бомбардировкам немецкой авиации. Пострадал и Кремль, одевшийся в маскировочные одежды. Золотые купола и кресты храмов были выкрашены тёмной краской, рубиновые звёзды выключены и зачехлены тёмной материей. Царь-колокол был укрыт под настилом досок. На крышах зданий установлены пулемёты, под стенами собора Двенадцати апостолов находились броневики.
Основной задачей для сотрудников Оружейной палаты в Свердловске стало обеспечение безопасного хранения вывезенных из столицы памятников, исключавшего малейшую возможность их хищения. Кстати, во время транспортировки ни одна пломба на ящиках с сокровищами не была сорвана, экспонаты в основном доехали без повреждений. В течение июля все ящики были вскрыты, все экспонаты сверены с поящичными списками. 4 августа Н. Н. Захаров отправил в Кремль рапорт о доставке и размещении предметов, одновременно он просил организовать эвакуацию в Свердловск наиболее ценных икон и экспонатов из соборов, прислать необходимые упаковочные материалы для более тщательной упаковки ценностей. До конца 1941 года условия их хранения были существенно улучшены.
