Основы этологии были заложены в XIX в. После первых экспериментов Сполдинга по изучению поведения животных Уитмен, тщательно наблюдая за поведением животных разных видов, указал, что многие инстинкты как врожденные реакции поведения являются настолько константными, что, подобно морфологическим структурам (органам), могут иметь таксономическое значение. Так, например, сосущие движения, которые производят голуби во время питья, являются одним из самых характерных признаков семейства голубиных. Существенным вкладом в развитие этологии явились исследования Хайнрота и Крейга (Craig, 1918). Хайнрот развивал учение о значении врожденных признаков поведения птиц (особенно утиных) для таксономической оценки вида. Крейг одним из первых указал, что поведение складывается не только из отдельных вызванных соответствующими раздражителями реакций, а направляется внутренними потребностями животных. Он подразделил инстинкты на влечения, требующие удовлетворения, и поисковое поведение с включением моторной активности и завершающего действия, которое осуществляется после того, как раздражитель найден. Совершение этого действия, по положению Крейга, приводит к снижению или полному прекращению влечения. Исследования и положения Хайнрота и Крейга в дальнейшем были уточнены и развиты главным образом Лоренцом (Lorenz, 1935, 1966) в Германии и Тинбергеном (Tinbergen, 1951), в Англии; школа развивалась в полемике с американской школой бихевиористов, которые старались объяснить все поведение животных приобретенными рефлексами, отрицая наличие врожденных факторов. Их представления оказались неправильными, но длительная борьба школ помогла их представителям уточнить и углубить знания о поведении животных. При этом этологи в значительной мере исходили из положения И.П. Павлова и его школы о разделении поведения на условные и безусловные реакции. В то время как павловская школа сосредоточила основное внимание на изучении условных рефлексов, этологи изучали главным образом биологическую целесообразность поведения и роль поведенческих актов в борьбе за выживаемость вида.

Подробнейшее описание наблюдаемого у отдельных видов набора движений с учетом тех ситуаций, в которых они проявляются, давало возможность для более точных экспериментальных исследований внутренних и внешних факторов, вызывающих эти движения. У многих видов, особенно в групповой и половой сферах поведения, наблюдаются устойчивые комплексные «церемонии» смирения, угрозы и т. д., которые проявляются строго стереотипно всеми членами данного вида, даже если они выросли в неволе и без общения с особями своего вида. Хаксли описал «вежливую» передачу водяных растений при токе у чомги и дал подобному поведению наименование «ритуалов» или «ритуальных действий». Такие поведенческие реакции в дальнейшем изучались многими учеными: так, Лоренц и его ученик Валль описывали токовые движения у речных уток. Особый интерес среди врожденных элементов поведения вызывали «замещающие» движения, по определению Тинбергена, которые обнаруживаются в конфликтных ситуациях. Например, если во время боя вспышка агрессии подавляется боязнью, а бегство, в свою очередь, тормозится агрессией, то в этих случаях часто наблюдаются замещающие действия. У многих видов замещающие движения проявляются с момента рождения и могу быть точно предсказаны наблюдателем. Так как они проявляются без адекватного индивидуального опыта, эти реакции поведения, несомненно, врожденные. Например, в конфликтной ситуации белый гусь осуществляет движения купания даже на земле; серый гусь в этих ситуациях отряхивается, петухи выполняют клевательные движения или «засыпают» в середине боя.

При осуществлении инстинктивных поведенческих реакций, помимо эффекторного выражения, большое значение имеет и специфика действующего раздражителя. Многие весьма сложные акты поведения «освобождаются» относительно простыми раздражителями без адекватного обучения. По выражению Тинбергена, эти раздражители подходят к поведению, как «ключ к замку». Этологами (Eibl-Eibesfeldt, 1963) было показано, что, помимо врожденных навыков, существует и врожденное опознавание: животное, у которого отсутствует индивидуальный опыт, реагирует на специфические «ключевые» раздражители определенным поведением. Так, небольшая рыба колюшка реагирует на строго специфические признаки самца своего вида при защите территории своего гнезда. Основным раздражителем агрессии является красная окраска брюшка. Если на территорию гнезда поместить модель самца, у которого брюшко не окрашено в красный цвет, самец не будет реагировать на эту модель.

Однако чрезвычайно грубая шарообразная болванка с красным пятном внизу вызывает у него полное выражение агрессивной реакции (Tinbergen, 1951). Эти исследования объяснили наличие множества морфологических признаков у животных, биологическое значение которых до этого не было ясно. Если быстрая «правильная» реакция имеет биологическое значение для вида, то физиологические механизмы, лежащие в ее основе, будут, согласно мнению этологов, отбираться естественным отбором. Физиологические механизмы реакции бегства от врага при первом же его появлении сформировались в результате селекции. Появление врага сразу «высвобождает» эту реакцию в ее совершенном, законченном виде. Если бы животное обучалось этой реакции методом «проб и ошибок», то одна-единственная ошибка была бы уже гибельной для него.

Исходя из положения Крейга о значении побуждающих стимулов в поведении животных, Тинберген (1974) высказал гипотезу об «иерархии инстинктов»: повышение возбудимости мозговых центров, происходящее в определенные периоды жизни животных, может «разряжаться» при действии специфических внешних раздражителей или в результате слишком низкого порога их возбудимости. Разрядка центра «поискового» поведения при определенных гуморальных изменениях поведет к поиску пищи или самки. Нахождение специфических раздражителей поведет к «разрядке» центра, стоящего на более низком уровне «иерархии». В результате осуществляется определенная рефлекторная реакция, ведущая к овладению пищей или совокуплению с самкой. При этом, согласно мнению Крейга, одни центры поведенческих реакций могут быть подавлены другими. Например, голодная чайка в период полового возбуждения может прекратить ухаживание за своим половым партнером и начать поиск корма. В данном случае решающим стимулом поведения явится не наличие внешнего раздражителя (полового партнера), а соответствующая «зарядка» пищевого центра, т. е. внутренний стимул.