Между тем подготовка к убийству Мирбаха шла полным ходом. Используя служебное положение, Яков Блюмкин занимался сбором информации о германском посольстве. Ему удается отыскать среди военнопленных австрийской армии родственника германского посла Роберта Мирбаха. Изощренные способы допроса и психологического воздействия позволили Блюмкину взять с него подписку о сотрудничестве с ВЧК. Одновременно он вербует еще несколько работников посольства. В результате в его руках оказался план помещений и постов внутренней охраны посольства.
Ранним утром 6 июля 1918 года Блюмкин пришел в ВЧК, взял бланк удостоверения и напечатал: «Всероссийская чрезвычайная комиссия уполномочивает ее члена Якова Блюмкина и представителя Революционного трибунала Николая Андреева войти в переговоры с Господином Германским Послом в Российской Республике по поводу дела, имеющего непосредственное отношение к Господину Послу». Блюмкин расписался за секретаря ВЧК Ксенофонтова, а один из членов ЦК ПЛСР подделал подпись Дзержинского. Вскоре пришел В. Александрович, который поставил на мандате печать.
В гараже Блюмкину по распоряжению Александровича предоставили «паккард» с открытым верхом. Яков заехал в гостиницу, переоделся и отправился в 1-й Дом Советов (гостиница “Националь”), где в квартире П.П. Прошьяна, члена ЦК ПЛСР, его уже ждал Николай Андреев. Террористы получили по бомбе и револьверу.
Четвертым участником покушения стал матрос из отряда ВЧК, вооруженный бомбой. В случае гибели шофера, он должен был сесть за руль.
В 14 часов 15 минут «паккард» остановился у особняка германского посольства в Денежном переулке. Выйдя из машины, Блюмкин приказал шоферу не глушить мотор.
Граф Мирбах, боясь покушений, избегал приема посетителей Однако, узнав, что прибыли официальные представители советской власти, он спустился в гостиную. Гости и хозяева расположились за круглым массивным мраморным столом — с одной стороны Блюмкин, напротив него — Мирбах, сотрудники посольства Карл Рицлер и Леонгарт Мюллер. Андреев встал у дверей.
Яков разложил на столе бумаги и принялся объяснять послу, что ВЧК арестовала его родственника, офицера австрийской армии, по обвинению в шпионаже. Он предъявил графу протоколы допроса Роберта Мирбаха и бумаги, полученные из датского консульства.
Вильгельм Мирбах заявил, что с этим родственником он никогда не встречался и ему безразлична его судьба. А Рицлер добавил, обращаясь к графу: «Ваше сиятельство, я полагаю, что следует прекратить этот разговор, а Чрезвычайной комиссии дать письменный ответ через Народный комиссариат иностранных дел».
В этот момент в разговор вмешался Андреев: «Видимо, господину графу интересно знать, какие меры будут приняты с нашей стороны?» И Блюмкин тут же повторил вопрос: «Да, господин посол, вы желаете это знать?» И, не дожидаясь ответа, он выхватил револьвер и несколько раз выстрелил в немцев. Рицлер и Мюллер упали на пол, граф побежал в соседний зал. Андреев догнал Мирбаха и кинул ему под ноги бомбу, но она не взорвалась. Тогда террорист сильным ударом свалил графа и отскочил в сторону. В этот момент Блюмкин поднял бомбу и бросил ее в Мирбаха. Раздался громкий взрыв. Яков отлетел на несколько шагов. На полу около полуметровой выбоины остался лежать раненный в голову Мирбах.
Оставив на столе шляпы, револьвер, портсигар, документы и портфель с запасной толовой бомбой, террористы бросились к разбитому окну. Андреев через несколько секунд уже был в автомобиле. Блюмкин же приземлился неудачно. К тому же, когда он перелезал через железную ограду, из посольства открыли огонь, Пуля угодила Якову в ногу. Он с трудом забрался в «паккард».
Через несколько минут террористы были уже во дворе особняка Морозова в Трехсвятительском переулке. Здесь размещался штаб отряда ВЧК, которым командовал левый эсер Д.И. Попов. Блюмкину изменили внешность: остригли, сбрили бороду, переодели в красноармейскую форму. Затем перевезли в лазарет, на другой стороне переулка.
Не прошло и получаса после взрыва в Денежном переулке, как управляющему делами Совнаркома Бонч-Бруевичу позвонил Чичерин и сообщил о покушении на Мирбаха.
Бонч-Бруевич немедленно передал это сообщение Председателю Совнаркома В.И. Ленину. Узнав о случившемся, Ленин распорядился усилить охрану германского посольства. Затем связался с Л.Д. Троцким, Я.М. Свердловым, Ф.Э. Дзержинским и другими руководителями государства и поставил их в известность о террористическом акте. Во все районные комитеты РКП(б), районные Советы была отправлена телефонограмма, в которой сообщалось о том, что в немецком посольстве взрывом бомбы тяжело ранен Мирбах. «Это явное дело монархистов или тех провокаторов, которые хотят втянуть Россию в войну в интересах англо-французских капиталистов, подкупивших и чехословаков. Мобилизовать все силы, поднять на ноги все немедленно для поимки преступников. Задерживать все автомобили и держать до тройной проверки. Предсовнаркома В. Ульянов (Ленин)».
Вскоре поступили сведения о том, что Мирбах скончался и что его убийство осуществлено левыми эсерами. Ленин приказал задержать в Большом театре депутатов съезда Советов от этой партии. В пятом часу он вместе с Председателем ВЦИК Свердловым поехал в германское посольство, чтобы выразить негодование по поводу акта политической провокации и соболезнование. Там уже находился Дзержинский, который выехал в посольство вместе с Л.М. Караха-ном сразу же после телефонного разговора с Лениным. На месте преступления работали следователи и комиссары, а также бойцы из отряда ВЧК.
Дзержинский, взяв с собой Беленького и Трепалова, поехал в штаб отряда Попова. Но Блюмкина он там не нашел. Более того, Дзержинский и сопровождавшие его чекисты были обезоружены и арестованы. На улицах начались аресты большевиков, занимавших важные должности в советском и военном аппаратах.
Вечером левые эсеры овладели зданием ВЧК. Они задержали и привели в штаб Попова М.Я. Лациса, только что объявленного исполняющим обязанности председателя ВЧК. Ночью отряд эсеров захватил почтамт и телеграф. В разные города полетели воззвания, сообщавшие о переходе власти к левоэсе-ровской партии. ЦК ПЛСР направил эмиссаров в Покровские казармы. Агитаторы призывали красноармейцев поддержать намерение левых эсеров сорвать Брестский договор, заставить большевиков выступить против германского империализма.
Но уже к утру 7 июля большевикам удалось освободить телеграф и почтамт, захватить Покровские казармы. Начался артиллерийский обстрел штаба Попова. В полдень левые эсеры прекратили сопротивление и бежали из города по Владимирскому шоссе. Почти все они затем сдались властям.
Убийство Мирбаха поставило Советскую Россию на грань войны с Германией. Германское правительство в ультимативной форме потребовало от русских властей согласия на ввод в Москву немецкого воинского подразделения для охраны посольства. Возникла реальная угроза суверенитету молодого Советского государства. Правительству Ленина с большим трудом удалось предотвратить новую германскую интервенцию.
Теракт левых эсеров вызвал бурю негодований в стране. В опубликованном 7 июля правительственном сообщении об убийстве Мирбаха террористы были названы негодяями и агентами англо-французского империализма. В газетах появились статьи, которые разоблачали провокаторский характер действия Блюмкина, а его самого клеймили как «двойника Азефа», пробравшегося в ВЧК.
Иначе относились к убийству Мирбаха противники большевиков. Они надеялись, что конфликт с Германией приведет к падению советской власти. В их глазах Блюмкин выглядел патриотом, совершившим самоотверженный поступок ради спасения страны. Так же отнеслась к нему и часть интеллигенции, расценившая Брестский мир как предательство национальных интересов России.
27 ноября 1918 года состоялось заседание ревтрибунала при ВЦИК по делу о контрреволюционном заговоре левых эсеров. Суд определил руководителям и участникам мятежа различные меры наказания. Блюмкин и Андреев заочно были приговорены к трем годам тюрьмы с применением принудительных работ.,