Инстинкт, по представлению средневековых монахов и даже значительно позднее, понимался как бессознательное, внутреннее побуждение, целесообразность которого обусловлена божеством. Борьба материализма и идеализма в яркой форме отразилась на понятии инстинкта. Философы-материалисты ХVIII в. (особенно Ламеттри и Кабанис), взяв материалистическую сторону учения Декарта о рефлекторном принципе действия нервной системы, объясняли инстинктивные влечения как результат определенных изменений, происходящих в той или другой системе организма.

Описание и научная характеристика инстинктивных актов поведения у животных дается в XVIII в. в работах Бюффона, Реомюра, Леруа, Альбрехта, Галлера, Реймаруса. Последний дает четкое для своего времени определение: все акты поведения, которые предшествуют индивидуальному опыту и исполняются животными одинаковым образом, должны быть рассматриваемы как инстинкт. В начале XIX в. Ламарк провозгласил идею зависимости поведения животных, их инстинкта и образа жизни от окружающих условий их обитания. Тем самым было выдвинуто материалистическое объяснение происхождения инстинкта от условий жизни животного. В первой половине прошлого столетия Фредерик Кювье производит уже эксперименты по изучению формирования сложных инстинктов у животных. Его известные опыты, посвященные «строительному» инстинкту бобров, не потеряли значения и до настоящего времени. Большой интерес для учения о поведении и инстинктивной деятельности животных имели взгляды К. Рулье. В самом начале 40-х годов он выступил против того, что инстинкт и психическая деятельность животных непознаваемы и не подлежат научному анализу. Основной подход к объяснению инстинктивной деятельности у Рулье — это вопрос о причинах, определяющих историческое развитие данной формы деятельности животных. Эту причину Рулье, так же как и Ламарк, видел в том образе жизни, в тех условиях существования, в которых на протяжении своей истории пребывал тот или другой вид.

Важным этапом в исследовании инстинктов явилось учение Дарвина. Дарвин дал ясное определение инстинкта: «Такой акт, который может быть выполнен нами лишь после некоторого опыта или одинаково многими особями без знания с их стороны цели, с которой он производится, обыкновенно называют инстинктом». Так же как и для морфологических признаков, направляющую причину развития инстинкта Дарвин видел в естественном (или искусственном) отборе наследственной изменчивости инстинктивных актов. Учение Дарвина внесло принципиально новое в вопрос о происхождении инстинктов. Дарвин указывал, что инстинкт животных отныне… «не нарочно дарованные или созданные инстинкты, а только следствие одного общего закона, обусловливающего развитие всех органических существ, именно размножения, изменения, переживания наиболее сильных и гибели слабых».

Дальнейшее изучение инстинкта пошло по двум основным руслам. С одной стороны, по линии детального изучения многообразия и адаптивного значения инстинкта у различных животных. Представителем этого направления работ за рубежом был Ллойд Морган, у нас — В. Вагнер. Вагнер собрал и обобщил большое количество фактов об инстинктах у животных и изучил изменчивость и адаптивное значение ряда инстинктов.

Другое направление в развитии учения об инстинкте связано с физиологией. И.П. Павлов с первых шагов объективного изучения высшей нервной деятельности разделил все рефлексы, лежащие в основе поведения животных, на две группы: условные и безусловные. Сложные безусловные рефлексы И.П. Павлов отождествлял с инстинктом. Основание для отождествления инстинкта с рефлексами он видел в следующем: во-первых, в невозможности провести резкую границу между инстинктом и рефлексами; во-вторых, в не меньшей сложности рефлексов по сравнению с инстинктом, поскольку рефлексы, как и инстинкт, образуют «многоэтажные» цепи, захватывающие весь организм, причем конец одного рефлекса возбуждает начало другого; в-третьих, отдельные звенья сложной цепи рефлексов, так же как и инстинкт, зависят от гуморального состояния организма и от взаимодействия друг с другом, На основании этого И.П. Павлов писал: «Таким образом, как рефлексы, так и инстинкты — закономерные реакции организма на определенные агенты, и поэтому нет надобности обозначить их разными словами. Имеет преимущество слово «рефлекс», потому что ему с самого начала придан строго научный смысл». И.П. Павлов выделил следующие основные рефлекторные (инстинктивные) реакции организма: 1) пищевые; 2) оборонительные; 3) половые; 4) ориентировочные; 5) родительские. Эти группы инстинктивных реакций являются общими для всех видов животных. Однако отдельные виды имеют специфические, характерные лишь для них инстинкты, например «строительные» инстинкты бобров, инстинкты миграции у перелетных птиц и др.

Несмотря на несомненную рефлекторную природу инстинкта, понятие инстинкта должно быть сохранено. Это диктуется тем, что эколого-физиологические исследования, проведенные за последние годы, с несомненностью указывают на то, что сложные рефлекторные акты поведения, которые обозначались как инстинкт, формируются не только из цепей безусловных рефлексов, но обязательными компонентами при их становлении являются условные, индивидуально приобретенные рефлексы. Установлено, что индивидуальный опыт животного, приобретенный в первые дни, часы и даже минуты жизни, может в чрезвычайно резкой форме отразиться на инстинктивном поведении животного в течение всей его последующей жизни. Так, например, детальное исследование биологической адаптации поведения воробьиных птиц, проведенное А.Н. Промптовым, показало, что обязательными компонентами столь важных инстинктивных актов поведения, как, например, строительство гнезд, характер пения самцов в брачный период и др., являются индивидуально приобретенные рефлексы. Бели птица не имела возможности в течение своей индивидуальной жизни приобрести двигательные навыки к манипулированию различными объектами (стручками, семенами, почками деревьев и т. д.), то и постройка самого гнезда оказывается малосовершенной. А некоторые виды птиц (например, канарейки) вообще не в состоянии нормально строить гнезда. Точно так же характер пения самцов многих видов птиц складывается в результате тесного взаимодействия врожденных и индивидуально приобретенных компонентов поведения. Птенец полевого жаворонка, воспитанный вместе с поющим самцом канарейки, по достижении половой зрелости хорошо копирует песни канарейки; но выкормыш, воспитанный в сообществе многих видов поющих птиц, в том числе и самцов своего вида, обязательно скопирует песнь именно своего вида. Из этих примеров ясно видно, что врожденной основой инстинктивного поведения является определенная безусловнорефлекторная «канва», которая под влиянием индивидуального опыта приобретает то или другое конкретное выражение. Опираясь на свои эколого-физиологические исследования, А.Н. Промптов говорит о наличии у взрослых животных различных «бикомплексов активности», формирующихся в результате взаимодействия врожденных и индивидуально приобретенных компонентов поведения и характеризующих видовое поведение особей в определенные периоды их индивидуальной жизни. К аналогичным выводам пришел и Л.В. Крушинский, показавший, что формирование поведения животных осуществляется всегда в результате теснейшего взаимодействия врожденных и индивидуально приобретенных компонентов поведения. Комплексы врожденных и индивидуально приобретенных актов поведения Л.В. Крушинский определяет как унитарные реакции, являющиеся едиными целостными актами поведения, в которых объединены, интегрированы условные и безусловные рефлексы.