Авдотья Ивановна, овдовев, сама вела свои дела. Счетоводство свое она вела углем на потолочных балках. Должникам, не платившим долги по неуважительным причинам, особенно же замеченным ею в домашнем буйстве, она грозила словами: «Смотри плати, а то похерю!» И должник при первом же случае платил долг и давал зарок остепениться, страшась одной мысли, что Авдотья Ивановна может «похерить» запись за ним и таким образом заклеймит его как недобросовестного человека.
Михаил Федорович оказался деятельным помощником своему тестю. Он ездил с хлебным товаром по базарам и ярмаркам: в Ильинский Погост, в Павловский Посад, в Орехово. Ежегодно же ездил за хлебом в степь, доставляя его оттуда в Егорьевск на волах. Таким образом, он отлучался из дому на долгое время, Гликерия Александровна была отдана замуж чуть ли не 14 лет и в первые годы своего замужества во время таких отлучек мужа играла в куклы.
Из позднейшего же времени сохранилось в семье воспоминание о таком случае. Раз как-то Михаил Федорович очень долго не возвращался из поездки в степь. Домашние по нем сильно соскучились; их воображению представлялись и разбойники и прочие ужасы тогдашних дальних поездок, и они, конечно, усердно молились за него. Однажды, отходя ко сну, Гликерия Александровна особенно долго и горячо молилась пред иконой св. Николая о благополучном возвращении мужа и в таком настроении легла спать. Под утро ей снится сон: будто она опять молится и вдруг отворяется дверь, входит передовой обозный чумак и говорит ей: «Обоз пришел, Михаил Федорович здоров, кланяется тебе и скоро приедет». Когда она, вставши утром, стала на свою обычную утреннюю молитву, вдруг отворилась дверь, вошел действительно передовой чумак и она услыхала наяву те самые, радостные для нее слова, которые слышала во сне.
Михаил Федорович, оставаясь в деревне после братьев, носил там отцовское прозвище «Бардыгин». Оно удержалось за ним и в Егорьевске. Поэтому когда он, в 1854 году, уже будучи сам хозяином, приписывался к купеческому сословию, то это прозвище по его просьбе обратили ему в законную фамилию. Дом, в котором жил Михаил Федорович, стоял на углу Соборной площади, там же, где и теперь находится каменный двухэтажный дом Бардыгиных. Тогда дом был очень небольшой, тоже двухэтажный, с каменным только низом. В нижнем этаже была с одной стороны бакалейная лавка, с другой бараночная и хлебная пекарня. Эта мелочная торговля, однако, не могла прокормить семейство, и поэтому, чтобы хоть немного увеличить доход, приходилось сдавать верх дома внаем, а самим помещаться в кухне нижнего этажа.
В 1835 году, 4 марта, у Михаила Федоровича родился первый сын, Никифор Михайлович. За ним следовали дочери Анастасия (1838 год), Мария (1842 год), Акулина (1845 год), Ольга (1847 год) и сын Иван (1852 год). Сестры Никифора Михайловича, кроме Марии, вышедшей замуж за фабриканта Ивана Потаповича Любомилова, в цветущих годах ушли в Коломенский Брусенский монастырь. Брат его, Иван, умер одиннадцати лет, убившись в игре.
Никифор Михайлович был одарен от природы ясным умом, энергичным и предприимчивым характером, а от родителей унаследовал твердую веру и доброе сердце. Грамоте он выучился у вековушки «Пашихи», ходившей читать Псалтирь над покойниками и жившей в Солдатской слободе. Дальнейшее же образование он получил у соборного дьячка Дмитрия Федоровича Лебедева и больше ни в каких учебных заведениях не был. Это, однако, не помешало ему, обладая любознательностью и способностями, заниматься потом много самообразованием. В долгие осенние и зимние вечера, когда домашние женщины пряли, он часто сидел за какой-нибудь книжкой, прислонившись поближе к их «лучине». Никифор Михайлович рассказывал, как он, бывало, украдкой наклонял в светце лучину, чтобы она поярче горела и было посветлее, и как почти тотчас же получал крепкий подзатыльник: ведь так лучина скорее сгорала и расход на освещение увеличивался. Мать его, Гликерия Александровна, часто видя у него книжки, вовсе не похожие на церковные, а особенно вроде «Бовы Королевича» или «Еруслана Лазаревича», с огорчением говорила про него своему духовнику о. Лаврентию: «Все вот читает какие-то пустые книжонки!» О. Лаврентий, очевидно понимавший мальчика, его огромную любознательность, его даровитость и твердость, успокаивал ее, говоря по старине, попросту: «Не бойся, Лукерья Александровна, — пчелка и с падали мед берет».
С раннего возраста начал Никифор Михайлович помогать отцу в занятиях по торговле и скоро стал его правою рукою. Он трудился и по дому, и в лавке; ездил сам в Коломну на трех лошадях за мукой, и, бывало, ему приходилось хаживать из Коломны 40 верст пешком, чтобы только выгадать 15 копеек в провозе, положив на телегу лишний мешок; езжал он также в Орехово, в Павловский Посад и в Ильинский Погост с хлебом, баранками, пряниками и т. п.
Так шло понемногу торговое дело до Крымской кампании, когда Михаилу Федоровичу пришлось пережить тяжелое время. По окончании войны цены на хлеб внезапно упали, а у него было принято много хлеба, купленного в степи по дорогим ценам и в долг. Он разорялся, и кредиторы, зная его ограниченные средства, опасались, что и он, как это нередко в таких случаях бывает, «скинет» со своих долгов, дабы оставить себе средства для продолжения дела. Но Михаил Федорович сам остался ни с чем, а им отдал весь долг свой до копейки.
Требование совести, таким образом, было удовлетворено, и этот поступок Михаила Федоровича, конечно, навсегда утвердил основание успеху дел его семьи в дальнейшем будущем. Но в то время сам он так упал духом, что не мог более даже и подумать опять завести хотя бы прежние свои предприятия, а решил ограничиться маленькой булочной и сам со своими домашними принялся печь булки и баранки. Небольшое подспорье получалось от размотки пряжи, которую семья Михаила Федоровича брала от местных фабрикантов, в том числе и от его же братьев.
В этот тяжелый момент выручил семью энергичный, предприимчивый дух Никифора Михайловича, который задумал взяться за новое дело. Он давно уже наблюдал, как хорошо шли дела у егорьевских фабрикантов и как постоянно увеличивался повсюду сбыт бумажных тканей. И вот, когда после Крымской войны ткацкое дело особенно оживилось, он начал раздумывать о том, как бы и ему завести такое же производство. Построить сразу фабрику и поставить рабочих, конечно, не было никакой возможности. Поэтому приходилось начинать с того, чтобы вместо размотки чужой пряжи покупать ее, руками своей семьи разматывать, самому сновать основы и отдавать затем по деревням ткачам-кустарям для выработки, сработанный же товар самому отвозить для продажи в ярмарки на Украину, куда сбывалось большинство егорьевских товаров.
Уже имевшийся торговый опыт и природный практический ум Никифора Михайловича вполне оправдывали его смелость и ручались за успех. Однако не легко оказалось ему получить на это дело согласие отца. Своих денег на покупку пряжи и расплату с ткачами у Никифора Михайловича не было. А Михаил Федорович, удрученный падением своей хлебной торговли, строго рассчитывал каждую копейку и к затее сына отнесся с большим недоверием. Никифор Михайлович представлял все доводы, указывал на пример других, между прочим на своих же дядей Филиппа и Савелия, у которых дело шло, хотя они и вели его очень «просто».
Наконец, он обратился к содействию добрых знакомых: Леонтия Агаповича Фролова, Хрисанфа Гавриловича Кулакова и Василия Дмитриевича Клопова, которым и Михаил Федорович, и Гликерия Александровна уже начали жаловаться, что вот, мол, «Микеша» все пристает к нам «с нанкой». Добрые знакомые поддержали энергичного молодого человека, их советы подействовали, и в 1857 году Михаил Федорович «завел нанку». Так как новое дело привлекло к себе все внимание новых фабрикантов, то для ведения прежнего и вообще для помощи в том же году был приглашен и первый служащий — Лаврентий Михайлович Панкратьев.
Дело началось, но родители все-таки мало верили в его успех. Особенно недовольна была Гликерия Александровна. Товар вырабатывался зимой, когда у крестьян не было полевых работ, а продаваться должен был летом и осенью. Видя, как Никифор Михайлович целую зиму все только забирает все деньги из ее лавочной выручки, она почти каждую выдачу денег, особенно к концу зимы, сопровождала словами: «Разбойник ты, долго ли ты еще будешь нас обирать-то?» Никифор Михайлович горячо любил свою мать; ему, конечно, тяжело было видеть ее сомнения, но он слишком верил в успех, чтобы бросить дело. «Погоди, маменька, — ласково уговаривал он ее, — все тебе верну, придет время». И время пришло.