Его место на посту руководителя РОВС занял генерал Евгений Миллер, который еще более рьяно, чем его предшественник, вел враждебную СССР работу. И Миллер в сентябре 1937 года повторяет судьбу Кутепова. Он также бесследно исчезает. Но данных о причастности к этому факту Серебрянского не имеется.
В 1936 году в Испании на выборах 16 февраля победил Народный фронт, созданный по инициативе Коммунистической партии, а в июле того же года вспыхнул военно-фашистский мятеж, поддержанный Италией и Германией. В ответ развернулась национальная революционная война испанского народа против фашизма, поддержанная демократическими силами всех стран. В марте 1939 года республика пала под ударами превосходящих сил интервентов и внутренней контрреволюции; в Испании установилась фашистская диктатура во главе с генералом Франко.
Тогда, в 1936 году, особая группа Якова Серебрянского получила задание оказать посильную помощь революционной Испании.
Легкий летний ветерок колышет национальный флаг Франции, укрепленный на флагштоке административного здания на временном аэродроме. На летном поле 12 новеньких самолетов, только что собранных фирмой «Девуатин». Фирма «Девуатин» поставила эти машины по заказу некой нейтральной страны Геджас. На самом деле деньги, переданные фирме «Девуатин», принадлежали разведывательному управлению Красной Армии, ИНО ОГПУ, который в то время уже назывался 7-м отделом Главного управления государственной безопасности (ГУГБ) НКВД СССР.
На летное поле аэродрома пришли пилоты во французской военной форме якобы для того, чтобы провести .испытание самолетов, которые должны были поступить и на вооружение французской армии. Летчики сели в самолеты, взревели моторы, новенькие машины одна за другой поднялись в безоблачное небо Франции и… перелетели в лазурное небо Испании, приземлившись на аэродроме воюющей демократической Испанской республики.
Разразился неслыханный международный скандал. Президента Франции Блюда и военного министра Перню обвинили в покровительстве республиканской Испании. А несколько позже, 31 декабря 1936 года, в Советском Союзе было опубликовано постановление ЦИК Союза ССР о награждении «за особые заслуги в деле борьбы с контрреволюцией тов. Серебрянского Я.И. орденом Ленина». Это была вторая после ордена Красного Знамени награда Якова Серебрянского. В конце войны он еще был награжден орденом Красной Звезды и орденом Ленина.
В 1940 году по приказу Сталина в Мексике был ликвидирован Лев Троцкий. Троцкистское движение было обезглавлено, но еще раньше из Парижа тайно исчезли архивы Троцкого.
Долгое время не удавалось напасть на след этих архивов. Известно было лишь то, что архивы находятся где-то в Европе. Серебрянскому и его людям удалось выяснить и это. Об архивах Серебрянский узнал от агента Мака, бывшего ранее в близких отношениях с сыном Троцкого Львом Седовым, умершим в парижской больнице еще в 1938 году. Оказалось, что архивы хранятся в Париже на квартире меньшевика Николаевского. С помощью многоступенчатой и хитроумной комбинации, в которой принимал активное участие агент Генри, работавший в полиции, архивы (несколько ящиков) тайно были изъяты из квартиры Николаевского и переданы легальному резиденту в Париже Георгию Косенко, а затем отправлены в Москву. В тайном изъятии архивов Троцкого Серебрянский принимал личное участие. Агент Генри за эту операцию был награжден орденом Красной Звезды. (Кстати, в своих воспоминаниях П.А. Судоплатов ошибочно называет псевдоним агента: Гарри вместо Генри.)
Когда в 1938 году на посту наркома государственной безопасности Ежова заменил Берия, в Центр отозвали всех резидентов. Почти всех их и начальников управлений и отделов в Москве арестовали. В Москву из Парижа отозвали и Серебрянского вместе с женой. Их арестовали 11 ноября 1938 года прямо у трапа самолета. Это был второй арест в жизни Якова Серебрянского. Первый раз его арестовали в декабре 1921 года как эсера, но через три месяца освободили. Во время второго ареста обвинили в шпионаже в пользу Англии и Франции. Следствие по делу, Серебрянского вел Абакумов.
Только через два с лишним года, 7 июля 1941-го, военная коллегия приговорила Серебрянского за шпионаж в пользу Англии и Франции к высшей мере наказания, а его жену к 10 годам лишения свободы за недоносительство о враждебной деятельности мужа.
Когда началась война, чтобы хоть как-нибудь восстановить разрушенную в ходе необоснованных репрессий внешнюю разведку, из тюрем и лагерей освободили оставшихся в живых сотрудников государственной безопасности. В декабре 1941 года по ходатайству Судоплатова, который подбирал кадры для вербовки агентуры по глубокому оседанию в странах Западной Европы и США, был освобожден и Серебрянский вместе с женой.
После двух с половиной лет заключения он начал работать на победу СССР в Великой Отечественной войне. Став начальником отделения, Серебрянский занимался заброской агентуры на оккупированную территорию и организацией диверсий в тылу врага.
В 1946 году министром государственной безопасности был назначен Абакумов. Тот самый, который в 1938 году вел дело Серебрянских. Естественно, в таких условиях оставаться на работе в органах государственной безопасности было просто опасно для жизни. И Яков Серебрянский, он же Бергман, он же Борох, прослуживший в ВЧК-ОГПУ-НКВД-НКГБ СССР двадцать шесть лет, ставший действительно виртуозом разведки, в звании полковника вынужден был уйти на пенсию.
После смерти Сталина Серебрянского вновь пригласили на службу и назначили одним из заместителей начальника 4-го (разведывательно-диверсионного) Управления НКВД—НКГБ, на что он с радостью согласился.
Однако и тут судьба сыграла с ним злую шутку. Серебрянского назначили в апреле 1953 года заместителем Судоплатова, который в 1941 году способствовал его освобождению из заключения. Но уже в октябре 1953 года, после ареста Берии, вновь арестовали, и опять вместе с женой.
Теперь ему ставилось в вину участие в так называемом бериевском заговоре с целью государственного переворота и убийства членов Президиума Центрального Комитета партии. Это же вменялось в вину и арестованному Павлу Судоплатову. Но Якову Серебрянскому припомнили еще и то, что в 1941 году один «враг народа» освободил из заключения другого «врага». Что, мол, заступничество Судоплатова спасло его от высшей меры наказания.
Поскольку арест и обвинение самого Л.П. Берии в государственной измене явились результатом борьбы за власть, а Судоплатов, Эйтингон, Серебрянский и многие другие оказались в жерновах этой борьбы, следователи долгое время не могли найти никаких доказательств обвинений, предъявленных Серебрянскому и его жене, тем более что Полина Натановна никогда не была официальным сотрудником органов государственной безопасности. В 1955 году ее освободили из заключения. Умерла она в 1983 году, многие годы добиваясь реабилитации мужа.
Однако в отношении Я.И. Серебрянского следствие продолжалось, хотя явно зашло в тупик, так как не собрало никаких доказательств. Яков Исаакович, перенесший до этого несколько инфарктов, в 1956 году скоропостижно умер прямо в тюрьме во время допроса следователем военной прокуратуры Цареградским. Для следствия это было находкой. Не надо было мучиться над поисками доказательств или признаваться в необоснованности обвинений и ареста.
Характерно, что после смерти Серебрянского по его делу было составлено заключение, в котором говорилось, что никаких доказательств в заговоре Берии не обнаружено. В этом же заключении говорилось: нет оснований считать, что обвинение Серебрянского в шпионаже в 1938 году было неправильным. Тем не менее прокуратура, мол, обратилась в Верховный суд СССР с просьбой заменить ему высшую меру наказания на 25 лет тюремного заключения. И тут же приписка, что суд не состоялся в связи со смертью заключенного.
Реабилитировали Я.И. Серебрянского посмертно только в 1971году, когда председатель КГБ СССР Ю.В. Андропов узнал о его судьбе во время подготовки первого учебника по истории советской разведки, который начали писать по его указанию.
