Фабрика эта начала функционировать в 1871 году под руководством двух главных мастеров, выписанных из Англии.
Так как механическая выработка миткаля далеко по качеству своему превосходила ручную выработку, то требование на новый товар было очень большое, и продажа его для фабриканта была выгоднее.
Вследствие этого фабрика быстро начала расширяться, и к началу 80-х годов в ней уже действовало 1 120 ткацких станков.
В первое время основания механическо-ткацкой фабрики миткаль, вырабатывавшийся на ней, сбывался по-прежнему, как и ручной, на ситценабивные фабрики села Иванове (ныне Иваново-Вознесенск), а к концу 70-х годов на этот товар уже явились требования от фабрикантов Московского района.
С этого времени (с конца 80-х годов) скворцовский миткаль занял почетное место среди товаров, производимых первоклассными русскими фирмами.
В 1889 году Иван Иванович приобрел у «Торгового дома А. Павлова сыновей» другую фабрику, тоже миткалево-ткацкую.
Но через два года ему пришлось прекратить свою деятельность навсегда: в 1890 году он тяжело заболел и в 1892 году скончался.
После его смерти все дела перешли к его единственной наследнице, дочери Матрене Ивановне, по мужу Павловой.
Матрена Ивановна, будучи от природы женщиной деятельной и энергичной, не нашла нужным ликвидировать дела, а стала их продолжать.
Первым долгом она обратила внимание на техническое состояние фабрик которые во время болезни Ивана Ивановича несколько в этом отстали.
Ею была предпринята капитальная перестройка, она улучшила и обновила здания фабрики, машины, квартиры служащих и больницы. Все торговое и фабричное дело велось до 1 октября 1894 года под фирмой «Наследница Ивана Ивановича Скворцова — Матрена Павлова». Во всех ее делах ей содействовал муж — Петр Александрович Павлов. Kроме фабрично-торговой деятельности, Матрена Ивановна была не чужда и деятельности благотворительной, завещанной ей отцом. Она пожертвовал. крупные суммы на ремонт и обеспечение местных храмов. Сумма пожертвований достигла 150 000 рублей. Затем ею же было много пожертвовано в Московский университет, на постройку здания для библиотеки имени ее отца. Много ею же сделано и других добрых дел. Совместно с мужем, Петром Александровичем, она выстроила при фабрике прекрасное училище для детей рабочих и служащих, на что было затрачено 35 000 рублей. Вследствие болезни Матрены Ивановны, постигшей ее в 1894 году, она не могла принимать непосредственного участия в ведении дела, и оно все целиком легло на мужа ее, Петра Александровича. Спустя же десять лет, в 1904 году, она передала принадлежащее ей дело мужу и сыну, тогда еще малолетнему, Павлову Николаю Петровичу.
В 1897 году Петром Александровичем для более рационального ведения дела было учреждено, от имени своего и малолетнего сына Николая Петровича, паевое товарищество под названием «Товарищество мануфактур, основанных Иваном Ивановичем Скворцовым».
Главным пайщиком и владельцем предприятий становится внук основателя мануфактур — Николай Петрович. Но до его совершеннолетия по-прежнему руководителем всего был отец — Петр Александрович.
В 1903 году в ведении дела начал принимать участие и главный пайщик товарищества — Николай Петрович, а в 1906 году, когда Петр Александрович вышел из товарищества, Николай Петрович стал почти единоличным владельцем паев. Он в качестве директора-распорядителя принял на себя все руководство по ведению всего торгового и фабричного дела.
Молодой и смелый в своих начинаниях, Николай Петрович, вступив в непосредственное управление всем делом, занялся главным образом вопросом об обеспечении разросшихся до громадных размеров фабрик своей пряжей. С этой целью он в 1907–1908 годы предпринял постройку обширной прядильной фабрики, причем местом ее постройки избрал село Середу, где находилась родоначальница всех его фабрик.
Бумагопрядильная фабрика сначала занимала прекрасное пятиэтажное здание со служебным при нем корпусом, котельною и электрической станцией.
При серединских фабриках товарищества имеются два храма: большой храм во имя Божией Матери Всех Скорбящих Радости, малый — во имя Успения Пресвятой Богородицы.
Основатель мануфактур, Иван Иванович, задумал в 1886 году построить свой храм, так как имевшиеся храмы в селах Середе и Никольском находились от фабрики в двух верстах. Для нового храма он избрал место близ фабрики, при Середском кладбище, в центре фабричного населения. В 1886 году он приступил к постройке храма вместимостью на 200 человек и постройку его окончил в 1887 году. 12 июня 1887 года храм был освящен преосвященным Александром, епископом костромским. Постройка храма стоила до 40 000 рублей. Ввиду того что построенный Иваном Ивановичем храм был бесприходный, то явилась необходимость в утверждении особого причта, что строитель храма и привел в исполнение. Для этого приобрел рядом с храмом землю, устроил причтовые дома и с разрешения владыки пригласил причт — священника и диакона, обеспечив его содержанием. На приобретение земли, постройку домов для причта и его обеспечение Иван Иванович затратил до 25 000 рублей.
С годами местные фабрики расширялись. Из небольших деревушек близ фабрик выросли большие слободы с общим населением до 15 000 человек.
Храм был один и не мог вместить всех желающих молиться. Этой назревшей нужде навстречу идут преемники Ивана Ивановича — дочь Матрена Ивановна, ее муж Петр Александрович и внук Николай Петрович. Они, объединившись на деле Ивана Ивановича под фирмою «Товарищества мануфактур, основанных Иваном Ивановичем Скворцовым», и являясь единственными владельцами предприятий товарищества, решают расширить построенный Иваном Ивановичем храм настолько, чтобы он мог вместить 2 000 человек.
С этой целью они приступают к перестройке малого храма в громадный собор, вместимостью в 2 000-2 500 молящихся, и закладывают его 5 июня 1897 года.
Храм строится по плану и под наблюдением московского архитектора П. П. Зыкова, при заботах жертвователей, в особенности Петра Александровича, и при участии ближайших их помощников: священника отца Феодора Даниловского и управляющего фабрикой товарищества Андрея Парменовича В олова.
Храм строился в продолжение почти 8 лет и был окончен постройкой в конце 1904 года.
13 февраля 1905 года преосвященнейшим Виссарионом, епископом костромским, в присутствии храмосоздателей и массы молящихся, он был освящен.
Маститый владыка, всю жизнь проведший в Москве, при освящении храма сказал: «Много освящал храмов в жизни своей, но такой великолепный храм освящаю в первый раз. Поистине, стоя в нем, действительно, яко на небеси стояти мнишь».
После освящения нового большого храма явилась такая масса молящихся, что один причт не мог исполнить всех служб и треб. С этой целью строители храма испросили разрешение на учреждение второго причта. И вот с 1905 года при храме учрежден второй причт, в лице священника и диакона, причем содержание причта обеспечено вкладом.
Строителями на постройку храма израсходовано до 425 000 рублей.
Так как постройка храма была произведена расширением первой церкви, то богослужения в ней пришлось временно прекратить. И ввиду нужды в храме строители церкви, чтобы не лишать население религиозных потребностей, устроили вблизи строящегося храм другой — малый. Этот храм существует и сейчас, богослужения в нем совершаются ежедневно, и он служит усыпальницей.
Независимо от постройки и содержания своего храма, основатель мануфактур Иван Иванович и его преемники немало труда и жертв клали и на поддержание и украшение соседних Середского и Никольского храмов. Последний был особой заботой и вниманием всех. Иван Иванович, будучи прихожанином Никольского храма, долгое время состоял в нем ктитором. Сколько он жертвовал на украшение храма, было его тайной, но во всяком случае, судя по устройствам и украшениям, жертвы были велики. При этом храме Иван Иванович и похоронен, согласно его желанию.
После смерти Ивана Ивановича заботой преемников также был этот храм, и они в разное время сделали много украшений в нем: заново сделан иконостас, написана живопись, переустроено отопление и прочее; на все это затрачено не менее 20 000 рублей.