Пока одни математики предпринимали усилия, чтобы обосновать математический анализ, другие подвергали сомнению его правильность. Самым сильным нападкам математический анализ подвергся со стороны философа епископа Джорджа Беркли (1685-1753), опасавшегося, что вдохновляемая математикой философия механицизма и детерминизма создает растущую угрозу религии. В 1734 г. Беркли опубликовал сочинение под названием «Аналитик, или Рассуждение, адресованное одному неверующему математику [таковым он называл Эдмонда Галлея], в котором исследуется, являются ли предмет, принципы и заключения современного анализа более отчетливо познаваемыми и с большей очевидностью выводимыми, чем религиозные таинства и положения веры» [21]. «Вынь бревно из глаза своего, и ты узришь соринку в глазу брата своего». Беркли с полным основанием сетовал на загадочность и непонятность того, чем занимаются математики, поскольку те никак не обосновывали и не объясняли своих действий. Беркли подверг критике многие из рассуждений Ньютона, и в частности указал на то, что в «Рассуждении о квадратуре кривых» Ньютон (обозначавший приращение через x,а не h,как это сделали мы) выполнил несколько алгебраических операций, после чего отбросил члены, содержавшие h,мотивируя это тем, будто приращение hтеперь обратилось в нуль. [Ср. равенства (3)и (4).] Поступая так, продолжал Беркли, Ньютон допустил вопиющее нарушение закона противоречия. Такого рода рассуждения в теологии были бы признаны неприемлемыми. Беркли утверждал, что первые флюксии (первые производные), по-видимому, выходят за рамки человеческого разумения, поскольку находятся за пределами конечного.

А если непостижимы первые [флюксии], то что можно сказать о вторых, третьих [производных от производных] и т.д.? Тот, кто сумеет постичь начало начал или конец концов… возможно, окажется достаточно проницательным, чтобы понять подобные вещи. Но, по моему глубокому убеждению, большинство людей не в состоянии понять их в каком бы то ни было смысле… Тому, кто сумеет превратить вторую и третью производную, думается, вряд ли стоит особо привередничать по поводу того или иного пункта в Священном писании.

Говоря об исчезновении (обращении в нуль) hи k,Беркли заметил: «Предполагая, что приращения исчезают, мы, несомненно, должны предположить, что их пропорции, выражения и все, вытекающее из их существования, исчезает вместе с ними». По поводу предложенного Ньютоном представления о производной как об отношении двух исчезающе малых величин hи k,Беркли высказался так: «Они не конечные величины, не величины бесконечно малые, не ничто. Как же не назвать их призраками покинувших нас величин?».

Столь же критически Беркли отнесся и к подходу Лейбница. На введенные Лейбницем понятия он обрушился еще в своей ранней работе «Трактат о принципах человеческого знания» (1710, переработанное издание — 1734) ([21], с. 149-248):

Некоторые из них, имеющие громкое имя, не довольствуются мнением, будто конечные линии могут быть делимы на бесконечное число частей, но утверждают далее, что каждая из этих бесконечно малых частей в свою очередь делима на бесконечное число других частей, или бесконечно малых величин второго порядка, и т.д. ad infinitum.Они утверждают, говорю я, что существуют бесконечно малые части бесконечно малых частей и т.д. без конца… Другие утверждают, что все порядки бесконечно малых величин ниже первого порядка суть ничто…

([21], с. 234.)

Критику идей Лейбница Беркли продолжил в своем «Аналитике» [«Аналитик, или Рассуждение, адресованное неверующему математику» ([21], с. 395-442)]:

Лейбниц и его последователи в их calculus differentialisбез тени сомнения сначала предполагают и затем отвергают бесконечно малые величины, что не может не заметить любой мыслящий человек, наделенный ясным умом и здравостью суждений и не относящийся к такого рода вещам с предвзятой благосклонностью,

Отношение дифференциалов, утверждал Беркли, геометрически должно означать тангенс угла наклона секущей, а не касательной. Эту ошибку математики совершают, пренебрегая высшими дифференциалами. Так, «благодаря двойной ошибке вы приходите хотя и не к науке, но все же к истине», потому что одна ошибка компенсирует другую. Неудовольствие Беркли вызвал и второй дифференциал Лейбница d(dx)— «разность величины dx,которая и сама едва различима».

«Можно ли назвать действия современных математиков, — спрашивал Беркли, имея в виду подход как Ньютона, так и Лейбница, действиями людей науки, если они с гораздо большим рвением стремятся применить свои принципы, нежели понять их?» «Во всякой другой науке, — утверждал Беркли, — люди доказывают правильность заключений, исходя из принятых ими принципов, а не принципы, исходя из заключений».

Беркли завершал свой «Аналитик» целой серией вопросов. Вот некоторые из них:

Разве математики, столь чувствительные в вопросах религии, столь же скрупулезно придирчивы в своей науке? Разве не полагаются они на авторитет, принимая многое на веру, и разве не веруют они в вещи, непостижимые для разума? Разве нет у них своих таинств и, более того, своих несовместимостей и противоречий?

Многие математики выступили с ответом на критику Беркли, и каждый из них пытался, но безуспешно, обосновать математический анализ. Наиболее значительную попытку предпринял Эйлер. Он полностью отверг геометрию как основу анализа и начал работать с функциями чисто формально, т.е. строить рассуждения, исходя из алгебраического (аналитического) представления функций. Эйлер отверг и предложенное Лейбницем понятие бесконечно малой как величины, которая меньше любого заданного числа, но все же не равна нулю. В своем сочинении «Основы дифференциального исчисления» ( Institutiones calculi differentialis,1755), классическом курсе математического анализа XVIII в., Эйлер привел следующее рассуждение:

Каждая величина, несомненно, может уменьшиться настолько, что исчезнет полностью и растает. Но бесконечно малая величина есть не что иное, как исчезающая величина, и поэтому сама равна нулю. Это полностью согласуется также с определением бесконечно малых величин, по которому эти величины должны быть меньше любого заданного числа. Ясно, что такая величина не может не быть нулем, ибо если бы она была отлична от нуля, то вопреки предположению не могла бы быть меньше самой себя.

Такие бесконечно малые, как dx(обозначение Лейбница), равны нулю, следовательно, равны нулю (dx) 2, (dx) 3и т.д., утверждал Эйлер, потому что последние принято считать бесконечно малыми более высокого порядка, чем dx.Производная dy/dx(в обозначениях Лейбница), бывшая для Лейбница отношением бесконечно малых, понимаемых в его смысле, для Эйлера, по существу, обращалась в неопределенность 0/0. Эйлер утверждал, что 0/0 может принимать много значений, так как n∙0 = 0при любом числе n,и, разделив равенство на 0, мы получим n = 0/0. Какое именно значение принимает 0/0 для вполне определенной функции, можно установить с помощью обычного метода вычисления производной. Эйлер демонстрирует это на примере функции  y = x 2.Придадим переменной  xприращение h(Эйлер обозначал приращение ω). Пока h,по предположению, не равно нулю. [Ср. сказанное в связи с выражениями (1)(4).] Следовательно,

k/h= 2 x+ h.

Там, где Лейбниц считал приращение hбесконечно малым, но не равным нулю, Эйлер положил hравным нулю, после чего отношение k/h,т.е. 0/0, оказалось равным 2x.