Уже через несколько дней после прихода Гитлера к власти в Германии, 4 февраля 1933 г., Центр направил в Берлин директиву, в которой, исходя из того, что «новый режим сделает все, чтобы выявить новые доказательства нашей работы как козыря против Союза при переговорах на Западе или с нами», предлагал резидентуре «форсировать дальнейшую перестройку ее деятельности».
О результатах этой перестройки можно судить по отчету 3-го (германского) отделения разведки за 1933 год, подписанному Кедровым. В нем сказано: «В результате проводимых национал-социалистским правительством мероприятий (массовые аресты, разгром организаций и другие репрессии) наша работа в основном не пострадала. Мы потеряли двух агентов. Поссанер вне зависимости от связи с нами был арестован за свои старые грехи перед НСДАП. Был арестован также наш источник А-210 — бывший коммунист».
«Благодаря своевременно принятым мерам, — писал Кедров, — мы избежали каких-либо осложнений в нашей работе. Вся наша агентура работает исключительно в нелегальных условиях».
До прихода фашистов к власти освещение внешнеполитической деятельности Германии не было первоочередной задачей разведки, и поэтому она формулировалась в общем виде — разрабатывать и разоблачать «националистскую работу в Германии против СССР» и добывать политическую информацию. В этом плане к началу 1933 года резидентура имела неплохие результаты. Однако уже в первые месяцы 1933 года работа резидентуры чрезвычайно осложнилась, и она понесла первые потери среди своих связей и источников информации.
В связи с этим резидентура получила указание из Центра об ограничении работы с источниками информации. Тем не менее, как следует из отчета ИНО ОГПУ за 1933 год, берлинской резидентурой только из МИД Германии было получено 12 важнейших документов и информаций, в том числе: инструкция Гитлера немецкой делегации в Женеве о позиции в отношении английского плана ограничения вооружений, содержание беседы Гитлера с назначенным в Москву послом Надольным по вопросам восточной политики, информация о намерении Гитлера явочным порядком проводить довооружение Германии и ряд других материалов. Продолжала поступать и некоторая информация по нацистской партии.
В июне 1933 года закончил свою работу в качестве резидента в Берлине Борис Давыдович Берман. На смену ему к концу года приехал Борис Моисеевич Гордон, возглавлявший резидентуру до 1937 года. За плечами у Бориса Моисеевича был большой опыт военно-политической работы. С 1918 по 1926 год он занимал команднополитические должности в РККА, затем до 1931 года был на партийной работе, после чего учился в Институте красной профессуры по специальности «мировое хозяйство и мировая политика».
В начале 1934 года главными объектами советской разведки в Германии были определены армия, полиция, МИД, НСДАП, а к концу года Центр поставил перед резидентурой задачу по проникновению в окружение Гитлера, Геринга и военного министра Бломберга. Указывалось, в частности, на необходимость приобретения источников информации о секретных военно-политических соглашениях и договорах Германии с другими капиталистическими странами, направленных против СССР.
Резидентуре предлагалось также приобретать источники информации для освещения конъюнктуры на рынках хлеба, леса, нефти, пушнины.
Научно-техническая разведка рассматривалась как одно из главных направлений работы. Резидентура должна была добывать информацию о новейших видах военной техники, а также выявлять планы немецких концернов по развертыванию враждебной деятельности на территории СССР. Резидентуре рекомендовалось в этих целях обеспечить создание агентурной сети в концернах «Сименс», «АЭГ», «ИГ Фарбениндустри», «Крупп», «Юнкере», «Рейнметалл», «Бамаг», «Ман», «Цейсе».
Новый резидент энергично и профессионально взялся за дело, и под его руководством довольно быстро был преодолен спад в работе резидентуры, вызванный обострением обстановки в стране в 1933–1934 годах. Уже в 1935 году заметно активизировалась работа по приобретению новых источников информации. А 1936 год можно считать пиком работы резидентуры. Она располагала источниками в важнейших объектах Германии и добывала ценную информацию о внутриполитической ситуации в стране, положении в НСДАП, гитлеровском руководстве, устремлениях и военных приготовлениях в стране. Резидентура освещала экономическое положение Германии, способствовала заключению выгодных торговых сделок с немецкими фирмами, а также вела работу по выявлению подрывной деятельности германских концернов против СССР.
Только за один 1935 год резидентурой было привлечено к сотрудничеству по политической линии 13 источников. Среди них особого внимания заслуживал сотрудник Министерства хозяйства Арвид Харнак, ставший одним из руководителей антифашистской организации Сопротивления. В дальнейшем через него был приобретен еще ряд ценных источников информации, составивших агентурную группу, получившую известность под названием «Красная капелла».
«Анализ работы берлинского аппарата органов внешней разведки в 1933–1937 годах, — говорится в одном из архивных документов того времени, — показывает, что оперативное сочетание разведывательной работы с «легальных» и нелегальных позиций дало положительные результаты в тяжелой агентурно-оперативной обстановке в Германии после прихода к власти фашизма. Наш разведывательный аппарат не только сумел избежать провалов и обеспечить активную работу агентуры, но и добиться положительных результатов в вербовке источников информации… Резидентуры приобрели агентов в национал-социалистской партии, среди руководства антисоветских эмигрантских организаций, сотрудников специальных служб. Немало ценных агентов удалось приобрести научно-технической разведке».
Оживление в работе резидентуры продолжалось до 1937 года, до того момента, когда в СССР началась волна политических репрессий. В мае 1937 года руководитель берлинской резидентуры Б.М. Гордон был вызван в Москву и вскоре репрессирован. Одновременно отстранили от работы начальника отделения ИНО по Германии и многих сотрудников этого подразделения. Из Берлина были отозваны почти все сотрудники резидентуры. Многих из них постигла участь Б.М. Гордона.
В этой обстановке в мае 1937 года резидентуру возглавил переведенный из парижской резидентуры Александр Иванович Агаянц. До 1926 года Александр Иванович был на партийной работе в Азербайджане, затем на учебе в Институте народного хозяйства имени Г.В. Плеханова, а с 1926 года он — кадровый сотрудник органов ОГПУ. В 1934–1937 годах Агаянц работал в Париже.
Берлинской резидентурой А.И. Агаянц руководил недолго: в декабре 1938 года он скончался на операционном столе. На его долю выпал короткий, но очень сложный период деятельности резидентуры. Именно в 1937–1938 годах в результате политических репрессий в СССР резидентура была обескровлена: если в 1935 году резидентура состояла из 16 сотрудников, а в 1936 году — из 10, то к 1938 году в ней осталось всего 3 сотрудника. Работу с источниками информации, и прежде всего с ценными, приходилось вести самому резиденту. Активную помощь ему оказывала жена Анна.
На пороге 1939 года в резидентуре остались 2 оперативных работника без резидента. Работа почти со всеми источниками, в том числе и с наиболее ценными, была прекращена на том основании, что они были известны разведчикам, «разоблаченным» как «враги народа». Новый резидент приехал в Берлин лишь через 9 месяцев — в сентябре 1939 года. Им был протеже Берии А.З. Кобулов. В органах Кобулов работал с 1929 года, а в 1938–1939 годах, перед назначением в Берлин, был заместителем наркома внутренних дел Украинской ССР.
Новый резидент приступил к работе в период, когда гитлеровская Германия напала на Польшу и началась Вторая мировая война. В это время советская внешняя разведка сосредоточила все усилия на получении достоверной информации о планах гитлеровской Германии в отношении Советского Союза и о ее военных приготовлениях.
В задании Центра берлинскому резиденту в декабре 1940 года указывалось: «Вам необходимо всеми доступными официальными и агентурными путями изучать и «разрабатывать» личный состав интересующих нас учреждений..: МИД, «бюро Риббентропа», внешнеполитического и иностранного отделов НСДАП, Министерства пропаганды, военной разведки и контрразведки, полиции безопасности, партийных руководящих инстанций, организаций, занимающихся изучением СССР или созданных для поддержания хозяйственных и культурных отношений с Советским Союзом».