Столь массовое и по виду стихийное партизанское движение в годы Великой Отечественной войны готовилось еще в конце 20-х годов. После гражданской войны, когда обобщался ее опыт, в том числе и опыт партизанского движения, Берзин лично занимался вопросами организации и обеспечения партизанских операций, подбирал кадры. Учитывался и опыт отрядов «активной» разведки, которые действовали в первой половине 20-х годов на территории Польши и Румынии.

В случае нападения на СССР можно было в короткий срок создать целые партизанские армии. Партизанские подразделения участвовали в окружных учениях 1929-1932 гг. Эта работа затормозилась в 1935, а спустя два года была названа подготовкой к государственному перевороту и ликвидирована. В 1941 году, в условиях наступления немцев опыт Берзина и его товарищей пришлось применять в спешном порядке.

Упоминавшийся выше адмирал Бекренев писал: «Наши разведывательные организации, созданные под руководством Берзина, совершили подвиг, раскрыв замыслы фашистов против Советского Союза. Такой пример: основные положения плана агрессии, утвержденного Гитлером в декабре 1940г. уже через 11 дней были известны советской военной разведке. После были вскрыты тактические мероприятия по подготовке Германии к нападению на СССР, а также ее сателлитов, позиция Японии по поводу участия в этой войне. Да, Берзина уже не было в живых, но жило его дело, продолжали сражаться на невидимом фронте его ученики, работала отлаженная и запущенная им машина». Можем добавить, что за последние годы стало известно и многое другое.

Высокую оценку своему начальнику дает и разведчица М. И. Полякова: «Работая в оперативном аппарате управления с 1937 по 1946 год, … я по-настоящему поняла, кем был Берзин для нашей военной разведки. Все многочисленные дела, которые прошли через мои руки за эти годы, свидетельствуют, как он кирпичик к кирпичику создавал ее организации. Ведь хорошую агентурную сеть быстро создать нельзя, для этого требуются иногда годы… Берзин сам подбирал и готовил кадры, способные выполнять его замыслы. Дела резидентур, созданных до 1937 года, как правило, несут следы его пристального внимания к их жизни и работе. Организации под руководством Рихарда Зорге, Шандора Радо, Ильзы Штебе и ряд других являются классическими в истории разведок…

Изучая дела тех лет, я поняла, какие глубокие планы он разрабатывал, сколько интересных комбинаций придумывал и как строго следил за их осуществлением. Я поняла также, как трудно ему было работать, особенно в последние годы, как мало средств выделяли ему на наше дело и как мало интересовались нашей работой «наверху». И, наконец, деятельность военной разведки во время войны показала, что стабильно работали ее фундаментальные организации, созданные под руководством Берзина. Некоторые из них продержались всю войну и добывали ценную информацию» (Полякова М. И. По заданию Я. К. Берзина // Военно-исторический журнал. М., 1990. № 3. С.61-62).

Однако в работе военной разведки были и недостатки, которые отозвались серией громких провалов и закончились проверкой работы Разведупра комиссией ЦК. Как это бывает, к реальным недочетам были приписаны и выдуманные, а некоторые реальные — раздуты. Для исправления положения в 1934 — 1936 годах в Разведупр была направлена группа чекистов (главным образом из ИНО) во главе с А. Х. Артузовым. 25 декабря 1934 года Берзин был назначен на должность начальника Разведупра РККА «в связи с переходом центральных управлений НКО СССР на новую организационную структуру», а 15 апреля следующего года он «согласно его просьбе освобожден от занимаемой должности» и через 5 месяцев назначен «вторым заместителем по политической части командующего войсками ОКДВА (для руководства работой разведки)». То есть, с явным понижением в должности отправлен в «почетную ссылку». Начальником Разведотдела Особой Краснознаменной Дальневосточной армии, место дислокации которой приравнивалось к военному округу, и его заместителем были старые сотрудники Яна Карловича — А. Ю. Гайлис (Валин) и Х. И. Салнынь. В аппарате РО и в сопредельных странах действовали знакомые ему по прежней работе Р. Зорге, И. А. Ринк, Г. И. Гилев, Н. Д. Лухманов, Н. П. Вишневецкий, Х. Боев (Русев), Э. Д. Лепин, К. А. Батманов, Г. М. Цатуров и другие.

В полночь, 18 июля 1936 года радиостанция города Сеуты (Испанское Марокко) передала в эфир фразу: «Над всей Испанией безоблачное небо». Это был сигнал к мятежу генерала Франко против Испанской республики. Разращилась длившаяся три года тяжелая и кровопролитная гражданская война.

Германия и Италия сразу же открыто поддержали мятежников. Началась интервенция. На стороне республиканцев выступил Советский Союз, явно на словах и тайно на деле. Конечно, присутствие советского оружия и советских военных в Испании было секретом полишинеля, тем не менее, конспирация упорно соблюдалась.

В октябре 1936 года в Испанию в качестве советников стали прибывать советские военные специалисты. Уже в начале октябре немецкие разведчики отправили из Мадрида в Берлин сообщение: «Сюда прибыл главный военный советник республики и советский генерал Гришин». Этим «генералом» и был Ян Карлович Берзин. Его вызвали в Москву ещё весной 1936 года и, когда начался франкистский мятеж, отправили в Испанию.

Первое, чем ему пришлось заниматься — организация обороны Мадрида. Уже в начале ноября войска мятежников вышли на ближние подступы к испанской столице. 6 ноября бои шли уже на окраинах города. Военные советники торопились организовать оборону. А 8 ноября в городе появилась первая из Интернациональных бригад, этой гвардии Коминтерна. Франкистам так и не удалось взять город.

«Неоценим вклад советников — специалистов Красной Армии в оборону Мадрида. Кто еще мог подсказать „милисианос“, как построить в условиях миллионного города долговременную оборону со стрелковыми окопами полного профиля, с правильно расположенными орудиями и пулеметами. И, разумеется, советники не только учили, но и учились, строя оборонительные рубежи на подступах к Мадриду. Показывая мадридцам, как следует вгрызаться в камень, как и где возводить проволочные заграждения, как и где готовить секторы обстрела. Откуда испанцам, не воевавшим целую вечность, было знать, что на один погонный километр фронта нужно около четырех тонн колючей проволоки и около двух тысяч мин и фугасов! Требовалось немедленно переключить заводы столицы на производство всего необходимого для фронта, и в этом важнейшем деле на помощь защитникам Мадрида также приходили „совьетикос“ (Горчаков О. Ян Берзин: судьба командарма невидимого фронта // Новая и новейшая история. М., 1989. № 2. С.136). Действительно, как сражаться в условиях нехватки всего необходимого, интервенции и блокады, лучше командиров Красной Армии научить не мог никто.

Из Мадрида Берзин отправился в Валенсию, город, куда из осажденного Мадрида переехала столица Испанской республики. Обстановка была сложной, а надо было разобраться в ней досконально, чтобы советы военного советника были правильными. Вот когда ему пригодились навыки работы в военной разведке! Главный советник занимался многим. Он выезжал на фронт, налаживал руководство войсками и обеспечение армии. Ну, и конечно, любимое его детище — разведка, на сей раз республиканская. Испанцы, в отличие от многих предыдущих кадров Берзина, не имели опыта подпольной и конспиративной работы, их нужно было учить всему с самого начала. А еще труднее было наладить грамотное использование разведывательной информации в республиканских штабах.

В районах, занятых франкистами, развивалось партизанское движение. Диверсанты-интернационалисты взрывали мосты и поезда, устраивали засады и нападали на гарнизоны. В Валенсии была создана школа «Красный партизан», где, под руководством Берзина, проходили подготовку диверсионные группы и отряды — от 8 до 40 человек. И при каждом таком отряде тоже был советник, а фактически — руководитель отряда. Отряды сочетали диверсии и разведку. Позднее и испанский опыт был использован во время Великой Отечественной войны, в том числе и самими испанцами, которые оказались в Советском Союзе.