Гражданская война на Дальнем Востоке к этому времени закончилась, но враждебная советскому государству деятельность отнюдь не завершилась. Центр ее переместился в Маньчжурию, откуда под руководством японцев на территорию СССР постоянно забрасывались диверсионные группы и военизированные отряды, сколоченные из представителей белой эмиграции.
Большое значение по-прежнему имела деятельность органов внешней разведки в таком центре эмиграции и подготовки антисоветских диверсий, как Харбин. Именно сюда, в резидентуру Разведу-пра РККА, и был направлен в конце 1925 года Яков, ставший Василием Петровичем Рощиным. Изменение имени и фамилии вызывалось прежде всего активным участием Якова в вооруженной борьбе за новую власть на Дальнем Востоке, а также беспокойством за безопасность его близких и родных.
В генконсульстве, под прикрытием которого должен был работать Василий Петрович, ему был поручен отдел дипкурьерской связи и диппочты. Как позже вспоминал Рощин, этот участок работы был «прост и шаблонен», без перспектив на будущее. Поэтому через год после прибытия в Харбин он поставил вопрос об откомандировании его в распоряжение Далькрайкома в Хабаровске.
Этой просьбе пошли навстречу, и в конце ноября 1926 года Василий Петрович уже укладывал чемоданы. Однако в его судьбу вмешалось руководство резидентуры ИНО ОГПУ в Харбине. Рощину предложено было остаться в Харбине и перейти на работу в сектор по борьбе с белогвардейцами, где он мог использовать накопленный опыт. После недолгих колебаний чемоданы были распакованы. В.П. Рощин стал сотрудником внешнеполитической разведки.
На Василия Петровича была возложена практически вся работа по «белому сектору». В его задачу входило выявление деятельности эмигрантских группировок, из которых формировались отряды для вывода на территорию СССР с диверсионно-разведывательными целями. А так как основную роль в создании таких отрядов играла японская разведка, то борьба с ее агентурой стала повседневной работой Рощина.
Деятельность сектора была исключительно многогранной и богатой оперативными мероприятиями. Их описание заняло бы не один том. Ограничимся лишь одним примером.
Убедившись в бесперспективности широкомасштабных антисоветских акций, японцы решили прибегнуть к новому методу борьбы: на 1927–1928 годы запланировали переброску на советскую территорию под флагом «белого партизанского движения» 10 отрядов из офицеров по 20 человек в каждом, чтобы создать у местного населения панические настроения.
Через агентуру «белому сектору» удалось выявить имена эмигран-тов-офицеров, которые были выбраны японцами на роль руководителей отрядов, и использовать эти сведения для внедрения в формирующиеся банды своей агентуры. Агентура подбиралась также из числа бывших офицеров царской армии, которые были близко знакомы по прошлой службе с руководителями отрядов и пользовались их доверием. Такими людьми были, в частности, бывший полковник царской армии Алексей Андреевич Клюканов и Валерий Евгеньевич Сотников, в прошлом служивший в армиях Колчака и генерала Дитерихса и разочаровавшийся в «белом движении». Им удалось внедриться в первые два из формировавшихся отрядов, выявить маршруты движения, место и время перехода советской границы. В результате бандформирования были наголову разгромлены, что привело в итоге к расформированию остальных отрядов, и замысел японской разведки провалился.
В Харбине Василий Петрович проработал до ноября 1930 года и был направлен в центральный аппарат разведки в Москву. Его принял А.Х. Артузов и в начале 1932 года назначил заместителем начальника отделения. Здесь он занимался обеспечением документации для разведчиков-нелегалов и конспиративной связи с ними.
Именно эта работа и стала его основной задачей, когда летом 1932 года Василий Петрович прибыл в берлинскую резидентуру. Объясняя причины, по которым он был направлен с такой задачей именно в Германию, Рощин позже вспоминал: «В то время считалось, что войну против нас развернут страны Антанты. В Германии же существовала Веймарская республика, и режим в стране позволял развернуть нашу работу, в том числе по паспортно-техническому делу и связи». К реализации этой задачи Василий Петрович приступил с присущими ему ответственностью и тщательностью.
Круг обязанностей В.П. Рощина в резидентуре, однако, был шире. Он вел активную работу с ценными агентами, изучал кандидатов на вербовку.
В.П. Рощин внимательно следил за внутриполитическим положением в Германии и часто спрашивал себя, а в достаточной ли мере мы видим угрозу со стороны фашизма. Эти мысли занимали его еще перед отъездом в Берлин. В напутствиях руководителей ИНО подчеркивалось, что на Советский Союз могут напасть страны Антанты, причем, возможно, очень скоро. Угроза со стороны Англии и союзников в те годы действительно была реальной. Даже германское правительство фон Папена рассчитывало присоединиться к странам Антанты в их походе против России и ратовало за союз с ними. Но с приходом Гитлера к власти источник непосредственной угрозы для СССР изменился. Попав в страну и оказавшись непосредственно в гуще политических событий, Василий Петрович все больше приходил к выводу, что именно Германия становится основным потенциальным противником. В информации берлинской резидентуры о предстоящем приходе Гитлера к власти, возникновении нового источника опасности для нашей страны немалая заслуга и В.П. Рощина.
В то же время разведчик видел, что даже среди нацистских активистов в тот период встречались люди, которые, по крайней мере на словах, выдавали себя за друзей СССР. Василий Петрович считал, что это создавало возможность установления с ними доверительных и даже агентурных отношений. «Были десятки случаев, особенно в 1932–1934 годах, — вспоминал позже Рощин, — когда можно было завязать и установить с активными перспективными нацистами такие отношения, но мы их использовали не всегда».
Жизнь подтвердила опасения разведчика, показав, что фашистская Германия действительно превратилась в главную угрозу для Советского Союза. Работать резидентуре становилось все труднее, возник вопрос о необходимости вести работу по Германии из других стран. Именно в этот момент, в мае 1935 года, В.П. Рощина из Берлина переводят в Австрию в качестве резидента. Теперь ему предстояло проникать отсюда в нацистские круги Германии и получать информацию об их замыслах. Доставшееся от предшественников агентурное «наследство» оказалось весьма слабым для решения такой задачи, и Василий Петрович с присущей ему скрупулезностью и настойчивостью начал поиски новых возможностей. За время работы в Вече — с 1935 года до аншлюса Австрии в 1938 году — ему удалось приобрести ряд источников, которые обеспечивали Центр информацией о внутриполитической обстановке в Австрии, а также о политических и военных приготовлениях нацистской Германии к присоединению Австрии.
Наиболее ценными из них были сотрудники Главной дирекции общественной безопасности ведомства федерального канцлера и органов политической полиции. Приобретение одного из них — «Наездника», как позже вспоминал Василий Петрович, было «первым и наиболее сложным». Во-первых, он был выходцем из чуждой среды, связанным с враждебными кругами; во-вторых, имел сумбурные идеологические воззрения: то высказывался в прокоммунистическом духе, то в пронацистском. Профессиональный опыт и чутье Рощина позволили после тщательного изучения «Наездника» подобрать к нему ключи и договориться о сотрудничестве. «“Наездник”, - писал Рощин, — работал хорошо, каждую неделю представлял сообщения обо всем, что происходило в тайной полиции».
Сотрудничество с другим ценным источником — «Кумом» — было установлено Василием Петровичем на основе симпатий «Кума» к России. Установив, что «Кум» по субботам парился в роскошной венской бане «Диана-Бад», Рощин также начал ее посещать и через некоторое время нашел повод для знакомства с «Кумом». Последний охотно пошел на контакт с сотрудником советского посольства, не скрывал своего интереса и расположения к Советскому Союзу, и уже во время второй беседы с ним была достигнута договоренность о сотрудничестве.