В конце 1951 года Клеменс провел с Фельфе зондирующую беседу, а затем предложил ему сотрудничать с советской разведкой.
В августе 1951 года в Восточном Берлине Фельфе встретился с представителями советской разведки. Беседа касалась работы Фельфе в адвокатской конторе и в Министерстве по общегерманским вопросам, его связей среди сотрудников разведывательных и контрразведывательных органов. Фельфе было рекомендовано предпринять шаги для устройства на работу именно в разведывательную службу Гелена.
Активная деятельность «Организации Гелена» против советских оккупационных войск в Германии и Австрии, а также подрывная работа против ГДР заставляли советские спецслужбы предпринимать серьезные контрусилия.
К началу 50-х годов советская разведка уже располагала солидными агентурными позициями в «Организации Гелена», систематически получала информацию об агентуре Гелена, работавшей против советских войск и правительственных учреждений ГДР. Наступательную работу против геленовцев вели и спецслужбы молодой ГДР. В тот период Гелен насаждал агентуру в расположении военных городков, на железных дорогах, вблизи аэродромов, в министерствах и ведомствах ГДР. Руководство республики решило провести аресты геленовской агентуры. В результате первой операции было арестовано сразу более 400 агентов, результаты второй были не ниже. Территория была очищена от значительного числа вражеских агентов.
Выполняя задание, полученное в Восточном Берлине, Фельфе стал перебирать старые связи по Дрездену, по работе в разведывательном управлении PCX А. Осенью 1950 года было создано так называемое «ведомство Бланка», будущее министерство обороны ФРГ. Несколько позже, вопреки Потсдамскому соглашению, министры иностранных дел трех западных держав одобрили решение о ремилитаризации Германии. Укреплялись и спецслужбы. Нужны были кадры.
Именно в это время с Фельфе восстановил контакт бывший полковник вермахта Крихбаум. Он был хорошо осведомлен о работе Фельфе в Министерстве по общегерманским вопросам и предложил ему работу в генеральном представительстве «L» «Организации Гелена», находившемся в Карлсруэ. 15 ноября 1951 года Фельфе был зачислен в состав этого представительства. Оно действовало под вывеской торговой фирмы, шефом был бывший сотрудник абвера Бен-цингер. Работа началась с изучения старых личных дел и поиска кандидатов для вербовки. И здесь Фельфе столкнулся с тем, что геле-новская разведка работала не только против Востока. Как он сообщал в Восточный Берлин, в 1951–1952 годах генеральное представительство интенсивно работало над приобретением агентуры в ключевых политических и экономических сферах ФРГ и Западного Берлина: в федеральных и земельных министерствах, политических партиях, профсоюзах и др. При этом заводились досье на ведущих политиков как правящих, так и оппозиционных партий.
Начало работы Фельфе в «Организации Гелена» заставило уделять больше внимания его безопасности и организации надежной конспиративной связи. Наряду с личными встречами, которые стали проводиться два-три раза в год, Фельфе предложил использовать в качестве связника Клеменса, который раз в два месяца регулярно появлялся в Западном Берлине. До 1953 года переход из Западного Берлина в Восточный особых проблем не составлял. Это использовалось для доставки агентурных материалов от Фельфе. По мере упрочения положения Фельфе их количество возрастало: как правило, на каждую встречу Фельфе или Клеменс привозили 10–12 заснятых пленок фотоаппарата «Минокс» и пару магнитофонных катушек. Спустя год с согласия Центра они периодически стали использовать в качестве связника и своего коллегу по Дрездену и по СД Эрвина Тибеля. По их утверждению, Тибель использовался ими «втемную», не зная, что везет и кому. Таким образом, постепенно сложилась агентурная группа, где лидером был Хайнц Фельфе — интеллектуал и организатор.
Работая в генеральном представительстве в Карлсруэ и в одном из филиалов, Фельфе и Клеменс снабжали советскую разведку информацией об операциях на территории ФРГ и ГДР, шпионаже против французских представительств в ФРГ (что делалось по согласованию с американцами). В этот период от Фельфе периодически поступала важная политическая информация. Фельфе смог направить в Восточный Берлин так называемую «Ориентировку 6600», в которой речь шла о мероприятиях геленовской разведки по подготовке к путчу 17 июня 1953 года, а также ряд других документов по проведению специальных мероприятий.
Полученные от Фельфе сведения позволили своевременно прореагировать на инспирированный Западом в 1953 году путч в Берлине.
В соответствии с заданием Центра Фельфе в 1952–1953 годах искал пути и возможности для перехода на работу в центральный аппарат геленовской разведки в Пуллах под Мюнхеном. Решению этой задачи способствовал перевод на руководящую работу в Пуллах из Карслруэ одного из друзей агента.
1 октября 1953 года Фельфе выехал в Пуллах, чтобы приступить к выполнению новых обязанностей в подразделении центрального аппарата геленовской разведки по контршпионажу, задачей которого было проникновение в разведывательные и контрразведывательные службы СССР и некоторых других социалистических стран. Это подразделение являлось ведущим и координирующим. Сюда стекались сведения из всех генеральных представительств и филиалов, в том числе и о совместных операциях с разведслужбами США, Англии и Франции.
К моменту перевода Фельфе в Пуллах «Организация Гелена» представляла собой совершенный шпионский аппарат, соответствующий по стилю и методам работе ЦРУ. И немудрено: за время работы «Организации Гелена» на американцев они вложили в нее около 200 млн долларов.
В июле 1955 года кабинетом Аденауэра было принято решение о превращении «Организации Гелена» в федеральную разведывательную службу (Бундеснахрихтендинст, БНД), и с 1 апреля 1956 года организация начала функционировать как федеральная служба во главе с президентом, который подчинялся непосредственно федеральному канцлеру. Фельфе был переведен в положение федерального чиновника, получил ранг правительственного советника и был назначен начальником реферата «контршпионаж против СССР и советских представительств в ФРГ». Используя свое положение, в связи с установлением дипломатических отношений между СССР и ФРГ после визита в Москву Аденауэра Фельфе удалось добиться создания в городке Бад-Хоннефе, где первоначально разместилось советское торгпредство, группы БНД, задачей которой было наблюдение и разработка проживающих и работающих в Бад-Хоннефе советских граждан. Руководителем этой группы по протекции Фельфе был назначен его друг и коллега по работе на советскую разведку Ганс Клеменс.
Агентурные возможности Фельфе в связи с назначением его начальником реферата существенно расширились. Через его стол шла масса важных документов, таких как еженедельные политические обзоры, которые разведка готовила для федерального канцлера, правительственные меморандумы, в том числе связанные с планами правительства по перевооружению ФРГ, позиции правительства ФРГ в связи с визитом в Москву Аденауэра и т. д. В сложнейший период холодной войны, когда речь шла об интеграции Западной Германии во вновь создаваемые в Западной Европе союзы и блоки, о создании бундесвера, требованиях доступа для Западной Германии к ядерному оружию, Фельфе умело добывал документы и информацию по внешне- и внутриполитической проблематике. Вся эта деятельность, как прямо заявил позже в своей книге «Мемуары разведчика» Фельфе, была «подчинена интересам принятия Советским Союзом правильных решений».
В силу положения агентов, значения получаемой от них информации практически в каждой встрече принимали участие уполномоченные МГБ-КГБ в ГДР, в частности генералы Е.П. Питовранов, А.М. Коротков, И.А. Фадейкин. Наибольшее впечатление на Фельфе произвел Александр Михайлович Коротков. В книге «Мемуары разведчика» Фельфе, вспоминая о Короткове, пишет: «Его отличный немецкий язык, окрашенный венским диалектом, его элегантная внешность и манеры сразу же вызвали у меня симпатию. Он хорошо ориентировался в различных политических течениях в Федеративной Республике. Не раз мы с ним горячо спорили».