Дальнейшее изучение инстинкта пошло по двум основным руслам. С одной стороны, по линии детального изучения многообразия и адаптивного значения инстинкта у различных животных. Представителем этого направления работ за рубежом был Ллойд Морган, у нас — В. Вагнер. Вагнер собрал и обобщил большое количество фактов об инстинктах у животных и изучил изменчивость и адаптивное значение ряда инстинктов.
Другое направление в развитии учения об инстинкте связано с физиологией. И. П. Павлов с первых шагов объективного изучения высшей нервной деятельности разделил все рефлексы, лежащие в основе поведения животных, на две группы: условные и безусловные. Сложные безусловные рефлексы И. П. Павлов отождествлял с инстинктом. Основание для отождествления инстинкта с рефлексами он видел в следующем: во-первых, в невозможности провести резкую границу между инстинктом и рефлексами; во-вторых, в неменьшей сложности рефлексов по сравнению с инстинктом, поскольку рефлексы, как и инстинкт, образуют «многоэтажные» цепи, захватывающие весь организм, причем конец одного рефлекса возбуждает начало другого; в-третьих, отдельные звенья сложной цепи рефлексов, так же как и инстинкт, зависят от гуморального состояния организма и от взаимодействия друг с другом. На основании этого И. П. Павлов писал: «Таким образом, как рефлексы, так и инстинкты — закономерные реакции организма на определенные агенты, и поэтому нет надобности обозначить их разными словами. Имеет преимущество слово «рефлекс», потому что ему с самого начала придан строго научный смысл». И. П. Павлов выделил следующие основные рефлекторные (инстинктивные) реакции организма: 1) пищевые; 2) оборонительные; 3) половые; 4) ориентировочные; 5) родительские. Эти группы инстинктивных реакций являются общими для всех видов животных. Однако отдельные виды имеют специфические, характерные лишь для них инстинкты, например «строительные» инстинкты бобров, инстинкты миграции у перелетных птиц и др.
Несмотря на несомненную рефлекторную природу инстинкта, понятие инстинкта должно быть сохранено. Это диктуется тем, что эколого-физиологические исследования, проведенные за последние годы, с несомненностью указывают на то, что сложные рефлекторные акты поведения, которые обозначались как инстинкт, формируются не только из цепей безусловных рефлексов, но обязательными компонентами при их становлении являются условные, индивидуально приобретенные рефлексы. Установлено, что индивидуальный опыт животного, приобретенный в первые дни, часы и даже минуты жизни, может в чрезвычайно резкой форме отразиться на инстинктивном поведении животного в течение всей его последующей жизни. Так, например, детальное исследование биологической адаптации поведения воробьиных птиц, проведенное А. Н. Промптовым, показало, что обязательными компонентами столь важных инстинктивных актов поведения, как, например, строительство гнезд, характер пения самцов в брачный период и др., являются индивидуально приобретенные рефлексы. Если птица не имела возможности в течение своей индивидуальной жизни приобрести двигательные навыки к манипулированию различными объектами (стручками, семенами, почками деревьев и т. д.), то и постройка самого гнезда оказывается малосовершенной. А некоторые виды птиц (например, канарейки) вообще не в состоянии нормально строить гнезда. Точно так же характер пения самцов многих видов птиц складывается в результате тесного взаимодействия врожденных и индивидуально приобретенных компонентов поведения. Птенец полевого жаворонка, воспитанный вместе с поющим самцом канарейки, по достижении половой зрелости хорошо копирует песни канарейки; но выкормыш, воспитанный в сообществе многих видов поющих птиц, в том числе и самцов своего вида, обязательно скопирует песнь именно своего вида. Из этих примеров ясно видно, что врожденной основой инстинктивного поведения является определенная безусловнорефлекторная «канва», которая под влиянием индивидуального опыта приобретает то или другое конкретное выражение. Опираясь на свои эколого-физиологические исследования, А. Н. Промптов говорит о наличии у взрослых животных различных «биокомплексов активности», формирующихся в результате взаимодействия врожденных и индивидуально приобретенных компонентов поведения и характеризующих видовое поведение особей в определенные периоды их индивидуальной жизни. К аналогичным выводам пришел и Л. В. Крушинский, показавший, что формирование поведения животных осуществляется всегда в результате теснейшего взаимодействия врожденных и индивидуально приобретенных компонентов поведения. Комплексы врожденных и индивидуально приобретенных актов поведения Л. В. Крушинский определяет как унитарные реакции, являющиеся едиными целостными актами поведения, в которых объединены, интегрированы условные и безусловные рефлексы.
Унитарные реакции конструируют более сложные уровни — биологические формы поведения, которые являются более высокими интегрированными формами инстинктивного поведения. Таким образом, инстинктивное поведение животных является всегда результатом взаимодействия врожденных и индивидуально приобретенных рефлексов.
Однако соотношение врожденных и индивидуально приобретенных рефлексов в различных актах инстинктивного поведения животного может быть весьма различным. Так, например, едва лишь вылупившиеся птенцы кряковых уток реагируют только на специфическое крякание утки. Сходные звуки, издаваемые человеком, воспринимаются утятами так же, как сигналы матери. Очевидно, в этих случаях инстинктивная реакция на свою мать происходит под ведущим влиянием врожденных факторов. У других видов животных врожденной оказывается только безусловнорефлекторная «готовность» к быстрому установлению условнорефлекторной связи с определенными внешними раздражителями. Только что вылупившемуся птенцу серого гуся достаточно увидеть какой-либо движущийся объект, чтобы его дальнейшее поведение оказалось направленным только на данный объект как на свою мать. Поскольку в естественных условиях первым двигающимся объектом, который видит гусенок, является особь его вида, то и все его последующее инстинктивное стремление к этому раздражителю является адекватным.
Характерной чертой большинства инстинктов является приуроченность их к определенным возрастным или сезонным периодам. При этом проявление многих инстинктов коренным образом изменяет весь стереотип жизни животного. Миграционные, половые инстинкты, а также инстинкты размножения занимают определенные длительные периоды в жизни животных. В основе этого стационарного инстинктивного поведения, несомненно, лежит появление в центральной нервной системе стойких очагов повышенной возбудимости — доминанты.
Рассматривая значение принципа доминанты, А. А. Ухтомский подчеркивал, что накапливающаяся длительная стационарная активность центров нервной системы, обусловливая снижение порогов возбудимости одних реакций и торможение других, является механизмом, обеспечивающим стабильность поведения животного соответственно основным биологическим фазам его жизни. Обращаясь к причинам, лежащим в основе возникновения того или другого очага стойкого повышения возбудимости в центральной нервной системе, приводящего к проявлению определенного инстинкта, необходимо указать на очевидную роль при этом гуморальных факторов. Половые инстинкты со своей совокупностью характерных для каждого вида реакций реализуются на фоне повышенной активности половых желез. Родительские инстинкты млекопитающих и птиц обусловливаются определенными гормональными сдвигами, при которых существенную роль играет усиленная секреция передней долей гипофиза гормона пролактина. Существенную роль в формировании инстинктов птенцов играет щитовидная железа. Тиреоидэктомия птенцов приводит к длительному сохранению характерных для них инстинктивных актов поведения.
Имеется достаточно и других данных, свидетельствующих о том, что гормональные факторы являются очевидной причиной стационарных изменений возбудимости центральной нервной системы; эти изменения возбудимости и оказываются непосредственной причиной различной реактивности нервных центров, ответственных за развитие определенного инстинкта. Современные данные физиологии указывают на существование определенных нервных центров, в которых происходит замыкание дуг безусловных рефлексов, являющихся врожденными компонентами инстинктивных реакций и функциональное состояние которых имеет существеннейшее значение для осуществления того или другого инстинкта. Особенно большое значение в этом отношении имеет гипоталамическая область. Повреждение этого отдела промежуточного мозга приводит к серьезным нарушениям ряда инстинктивных актов. И наоборот, раздражение гипоталамуса слабым электрическим током посредством вживленных электродов приводит к проявлению определенных инстинктов. Поиск пищи или воды, оборонительные инстинктивные действия при раздражении различных отделов гипоталамуса детально изучены Хессом, Н. А. Николаевой, Андерсоном и др.