Тем не менее Йена не оставлял мыслей о физике. Берлинский университет находился неподалеку, а кого там можно было увидеть, как не Планка и Эйнштейна вкупе с другими знаменитостями? Йена не преминул воспользоваться этой географической близостью и стал ходить на лекции бессмертных. Он закончил свою диссертацию об образовании и распаде молекул и, как и планировалось, начал работать на кожевенном заводе. Как и следовало ожидать, идея оказалась не слишком удачной. «Дела мои в дубильне шли не очень хорошо… Я чувствовал себя там не в своей тарелке… У меня не было ощущения, что это моя жизнь». Его жизнью были математика и физика.

В 1926 году с ним связался кристаллограф из Института Кайзера Вильгельма, которому требовался ассистент. Обязанности соединяли в себе в химическом контексте оба основных интереса Вигнера. Эта работа оказала огромное влияние на его карьеру, а тем самым и на развитие ядерной физики, поскольку познакомила Вигнера с теорией групп — математикой симметрии.

Первые существенные применения теории групп к физике состояли в классификации всех 230 возможных кристаллических структур. Вигнер писал: «Я получил письмо от кристаллографа, который хотел найти ответ на вопрос, почему положения, которые занимают атомы в кристаллической решетке, соответствуют осям симметрии. Кроме того, он сказал мне, что это должно иметь отношение к теории групп и что мне следует прочитать книгу по теории групп, а после этого найти ответ и сообщить ему».

Возможно, Антал Вигнер был в не меньшем ужасе, чем его сын, от сомнительных успехов последнего в области кожевенного дела, а потому позволил ему стать асситентом кристаллографа. Йена начал с чтения нескольких статей Гайзенберга по квантовой теории и развил теоретический метод вычисления спектра атома с тремя электронами. Он также понял, что этот метод может стать невероятно сложным, когда число электронов превысит три. В этот момент он обратился за советом к своему старому знакомому фон Нейману, который предложил ему почитать о теории представлений групп. Эта область математики в избытке содержала известные в то время алгебраические концепции и сложные методы, в особенности — матричную алгебру. Однако благодаря своим занятиям кристаллографией и близкому знакомству с основным на тот момент учебником по алгебре — Lehrbuch der Algebra Генриха Вебера — Вигнер преодолел матрицы без проблем.

Совет фон Неймана оказался очень хорош. Если атом обладает некоторым числом электронов, то, поскольку все электроны тождественны, атом «не знает», какой электрон какой. Другими словами, уравнения, описывающие излучение, испущенное данным атомом, должны быть симметричны относительно всех перестановок его электронов. Используя теорию групп, Вигнер разработал теорию спектра атомов с любым числом электронов.

До этого момента его работа шла в традиционном русле классической физики. Но все по-настоящему захватывающее творилось в квантовой теории. Тогда Вигнер и принялся за главный труд своей жизни — применение теории представлений групп к квантовой механике.

Занятно, что занимался он этим несмотря на свою новую работу, а не благодаря ей. Мэтр немецкой математики Давид Гильберт выказывал живой интерес к математическим принципам, лежащим в основе квантовой теории, и ему в работе требовался ассистент. В 1927 году Вигнер отправился в Геттинген и был принят там в возглавляемую Гильбертом исследовательскую группу. По идее, его роль должна была состоять в том, чтобы поддерживать связь с физикой, которая подпитывала бы обширные математические таланты Гильберта. На деле же получилось не совсем так, как задумывалось. Гильберт и Вигнер виделись за год всего пять раз. Гильберт был уже стар, утомлен и все более склонялся к уединению. Так что Вигнер вернулся в Берлин, прочитал лекции по квантовой механике и продолжил работу над своей самой знаменитой книгой «Теория групп и ее применения к квантовой механике атомных спектров».

Его частично предвосхитил Герман Вейль, также написавший книгу о группах в квантовой теории. Но основной интерес Вейля концентрировался на фундаментальных вопросах, тогда как целью Вигнера было решение конкретных физических задач. Вейль гнался за красотой, а Вигнер искал истину.

Подход Вигнера к теории групп можно понять в простом классическом контексте — на примере колебаний барабана. Музыкальные барабаны, как правило, округлые, но в принципе могут быть любой формы. При ударе палочкой мембрана барабана начинает вибрировать и создает звук. Барабаны различных форм производят различные звуки. Полоса частот, которые может создать данный барабан, называемая его спектром, сложным образом зависит от его формы. Если барабан симметричен, то можно ожидать, что симметрия появится и в его спектре. Она там и появляется, но довольно тонким образом.

Представим себе прямоугольный барабан — из числа тех, какие нечасто увидишь за пределами математических факультетов. Типичные колебания такого барабана разбивают его поверхность на некоторое число меньших прямоугольников, как, например, показано на рисунке.

На рисунке мы видим различные картины колебаний с двумя различными частотами. Это мгновенные снимки этих колебаний. Темные области смещены вниз, а светлые — вверх.

Из симметрий барабана вытекают следствия для картин колебаний, поскольку любое преобразование симметрии барабана можно применить к любой возможной картине колебаний, что даст другую возможную картину колебаний. Таким образом, каждая картина колебаний включается в набор других, связанных с ней в соответствии с симметрией. Однако каждая отдельная картина колебаний не обязана иметь те же симметрии, что и барабан. Например, прямоугольник симметричен относительно вращения на 180°. Если применить это преобразование симметрии к двум приведенным выше картинам, они примут вид, показанный на рисунке.

Левая картина не изменилась, так что она, как и барабан, обладает симметрией относительно данного вращения. Но на правой темные и светлые области поменялись местами. Этот эффект называется спонтанным нарушением симметрии, и он очень распространен в физических системах: он возникает, когда в симметричной системе имеются состояния с более низкой симметрией. Левая картина не нарушает симметрии, а правая — нарушает. Посмотрим внимательно на правую картину и разберемся, что следует из ее нарушенной симметрии.

Хотя исходная картина и результат ее поворота не совпадают, обе осуществляют колебания на одной и той же частоте, поскольку поворот является симметрией барабана, а следовательно, и тех уравнений, которые описывают его колебания. Поэтому спектр колебаний барабана содержит данную конкретную частоту «два раза». Может показаться, что это трудно наблюдать экспериментально, но если слегка модифицировать барабан, так, чтобы нарушить его вращательную симметрию — скажем, сделать небольшую вмятину вдоль одного из краев, — то две данные частоты начнут слегка отличаться друг от друга, и тогда мы сможем заметить наличие двух очень близких частот. Такого не случилось бы, если бы данная частота содержалась в симметричном барабане только один раз.

Вигнер понял, что тот же эффект возникает для симметричных молекул, атомов и атомных ядер. Звуки, издаваемые барабаном, становятся здесь колебаниями молекул, а спектр звуков заменяется на спектр испущенного или поглощенного света. В квантовом мире спектр создается переходами между состояниями с различными энергиями, и атом излучает фотоны, энергия которых (а потому, как учит нас Планк, и частота) соответствует разнице этих энергий. А спектр можно детектировать, используя спектроскоп. И опять же, некоторые из частот — наблюдаемые в виде спектральных линий — могут оказаться двойными (или имеющими более высокую кратность) в силу симметрии, которой обладают молекула, атом или ядро.