Исследование вероятности в том виде, каким мы видим это сегодня, началось лишь в семнадцатом веке, однако изучение комбинаций и перестановки объектов или событий имеет более длинную историю. Огромный интерес к ним был в Индии, особенно у джайнских математиков, работавших в IV веке до нашей эры. Джайнов вдохновляла религия, но большинство более поздних авторов стремилось изучить эти процессы для того, чтобы провести анализ азартных игр — предсказать возможные результаты и вывести правила, которые сделают игру совершенно честной. Поскольку вероятность стала тесно переплетаться со статистикой, появились новые методы анализа данных как в естественных, так и в общественных науках. Хотя эта наука никогда не покидала игорные столы, статистика в эпоху Просвещения стала математическим способом проведения государственной политики и гарантировать моральную и социальную справедливость.

Джайнизм появился в Индии почти одновременно с буддизмом, и его математическая литература относится к третьему или четвертому векам до нашей эры. Джайны выказали особый интерес к работе с числами и к средствам для того, чтобы выразить очень большие количества. Они обсуждали различные типы бесконечных чисел и методы их получения, а также различные способы комбинирования бесконечного числа объектов. Они занимались этими исследованиями, изучая различные способы сочетать пять чувств. Интерес к перестановкам можно увидеть также в ведической литературе — там это выражалось в способах объединения слогов в поэтические произведения и молитвы. В Майсуре в девятом веке джайнский математик Махавир (ок. 850) создал ставшие теперь стандартными правила комбинаций и перестановок.

Исследование комбинаций и перестановок теперь называется комбинаторикой. Космологическое и мистическое использование законов комбинаторики можно увидеть в трудах каталонского философа и мистика тринадцатого века Раймунда Луллия (1232 — ок. 1316), но, похоже, они прошли незамеченными для большинства математиков. Стимулом для изучения комбинаторики стала вполне мирская озабоченность азартной игрой. В «Божественной комедии» Данте упоминается «азартная игра», в которую играют с тремя костями. Один игрок бросает кости, а другой должен сделать предположение относительно их суммы. В поэме тринадцатого века «De vetula», написанной поэтом, известным как псевдо-Овидий, перечисляются 56 различных способов, которыми могут выпасть кости. Обе работы породили различные комментарии относительно математических правил игры. «Предыстория» этого предмета, вероятно, заканчивается трудом Кардано «Книга об игре в кости», изданным после его смерти в 1663 году, но написанным на сотню лет раньше, в котором описывается, как установить правильные ставки и в игре в кости, и в карточных играх.

Теория вероятности достигла нового уровня сложности в переписке 1654 года между Блезом Паскалем и Пьером де Ферма. Они обсуждали так называемую проблему очков игрока, которая касается разделения выигрыша между двумя игроками, когда игру в кости приходится оставить незаконченной. Этой проблемой занимались многие итальянские математики эпохи Ренессанса, включая Пачоли, Кардано и Тарталью, но ни один из них не добился окончательного решения. Ферма предпочел метод, основанный на составлении списка всех возможных результатов и вычислении абсолютного победителя в каждой игре. Вычисления становятся весьма длинными, поскольку число игр увеличивается, и Паскаль предпочитает метод математического ожидания. В своем «Трактате об арифметическом треугольнике» он объяснял отношения между числами в треугольнике Паскаля и о необходимых комбинациях. Каждый ряд треугольника дает коэффициенты биномиального разложения: третий ряд, например, дает числа 1, 3, 3, 1, которые служат коэффициентами разложения (а+ b)³ = а³ + 3a²b + 3ab² + b³. Число 3 во втором элементе показывает, что есть три комбинации, дающие а²b, то есть aab, аbа и bаа. Используя соответствующий ряд в треугольнике Паскаля, можно таким образом быстро решить задачу разделения выигрыша. Если игроку А нужно две игры для того, чтобы выиграть, в то время как игроку В для этого нужно три игры, то один из игроков должен победить по крайней мере в четырех играх. Из ряда 1, 4, 6, 4, 1 в треугольнике Паскаля, выигрыш должен быть разделен в соотношении (1+4+6): (4+1) или 11:5.

Эти проблемы обычно обсуждались в терминах дробей, а не вероятностей. Первое теоретическое обсуждение вероятностей, лежащих в промежутке между 0 и 1, мы находим в трактате «Искусство предположений» Якоба Бернулли, изданном в 1713 году уже после его смерти. Он также указал, что вероятности можно оценить по частоте выпадения события, и попытался установить верхний предел числа испытаний, после которого можно быть «нравственно уверенным» в оценке вероятностей. К сожалению, такое строгое условие приводило к очень высоким значениям числа необходимых испытаний: например, чтобы быть на 99,9 % уверенным относительно правильного соотношения числа шаров разного цвета в коробке, потребовалось бы 25.500 испытаний. Эта процедура была уточнена Абрахамом де Муавром (1667–1754), который правильно оценил нормальное распределение как предел двучлена и получил более разумное число испытаний, позволяющих экспериментально приблизиться к истинным значениям вероятности. Де Муавр также многократно переиздавал свой труд «Страхование жизни», в котором эти открытия были применены к оценке страхования жизни и вычислению ренты. Стимул для того, чтобы применить вероятностные методы к демографическим данным, появился совершенно неожиданно. И здесь нам снова придется обратить взор к небесам.

Астрономам, пытавшимся определить точные орбиты планет, приходилось полагаться на результаты ряда наблюдений, в каждом из которых имелась небольшая ошибка. Таким образом, каждое измерение могло привести к немного иному уравнению орбиты планеты, и было неясно, какой метод следует использовать, чтобы гарантировать, что взятый набор данных позволит вычислить самую точную орбиту. И Кеплер, и Галилей боролись с этими ошибками наблюдения. Основной идеей было найти кривую, которая минимизировала бы общее число ошибок, и в 1805 году эта задача была решена Лежандром в его «Новых методах определения орбит комет» методом наименьших квадратов. В этой работе было приведено понятное обоснование и дан удобный обобщенный метод. В 1809 году Гаусс публикует свой метод в трактате «Теория движения небесных тел», утверждая, что использует его уже с 1795 года, и тем самым оспаривая приоритет Лежандра. Действительно, похоже, что уже в 1801 году Гаусс использовал именно этот метод для вычисления пути движения недавно обнаруженного астероида Церера на основании всего нескольких неоднородных данных наблюдений, сделанных ранее в том же году. Он также показал, что распределение ошибок происходило по тому, что сегодня называют гауссианой или нормальной кривой, и обобщало более ранний результат де Муавра. Обоснование метода Гаусса заключалось в том, что это распределение делало среднее значение наблюдений наиболее вероятным. Затем Лаплас уточнил методику расчета: каким бы ни было распределение ошибок отдельных замеров, их средние значения стремились к нормальному распределению. Он также показал, что оценки наименьших квадратов Лежандра будут также стремиться к тому же самому распределению. Астрономы быстро признали ценность предложенного метода, тем более что было известно — ошибки астрономических наблюдений были неизбежными. К ним приводила не просто недостаточная точность измерительных инструментов, но и искажение пути движения света, идущего от звезд и попадающего в очаги турбулентности в атмосфере. В 1812 году Лаплас издал свой великий трактат «Аналитическая теория вероятности», в котором синтезировал все события в математике, происходившие до этого момента. Эта книга оставалась для многих поколений ученых главным текстом по математике.