Оркестру Ходжеса суждено было добиться лишь минимального успеха. Коллектив имел один боевик Эла Сирса под названием «Castle Rock», и какое-то время у оркестра хватало работы. Однако года через четыре дела пошли хуже, и Ходжес вернулся к Эллингтону. Вернулся впоследствии и Браун, но пока что он поступил в штат студийного оркестра в Си-би-эс и сам по себе играл в Нью-Йорке.
Сонни Грир продержался в оркестре Ходжеса недолго. Официально было объявлено, что он уходит из-за болезни жены и нежелания ездить на гастроли. Однако в действительности ему, несомненно, пришлось уйти из-за собственной безответственности и слабеющего здоровья. Для многих любителей джаза Сонни Грир оставался легендой, человеком из волшебной юности джаза, и ему удалось найти работу. В 70-е годы он играл в дуэте с пианистом по имени Брукс Керр, тогда еще очень молодым человеком, сделавшим своей специальностью исполнение сочинений Эллингтона. Но в основном Грира содержал Эллингтон, который все это время не исключал его из своей платежной ведомости.
Невзирая на это массовое дезертирство, Эллингтон внешне, как всегда, сохранял присутствие духа, хотя и был, несомненно, изрядно выбит из колеи. Многим могло прийти в голову, что корабль тонет и матросы прыгают в спасательные шлюпки. Дюку приходилось что-то делать для стабилизации положения и возвращения былого блеска своей репутации.
Неизвестно, кто и как вел переговоры, однако буквально через несколько дней после ухода Ходжеса и компании стало известно, что Тизол покидает Гарри Джеймса и возвращается к Эллингтону. Более того, Тизол — явно по поручению Дюка — уговорил еще двух музыкантов, ведущего альт-саксофониста Вилли Смита и ударника Луи Беллсона, перейти от Джеймса к Эллингтону. Само собой разумеется, джазовая пресса тут же окрестила это событие «Великим ограблением Джеймса» «Игра слов: братья Джесси и Фрэнк Джеймс — знаменитые грабители Дикого Запада в XIX веке.»
Все 30-е годы Вилли Смит значился звездой оркестра Джимми Лансфорда, и многие ставили его на один уровень с Ходжесом. Беллсон, ставший первым белым, который занял важное место в оркестре Эллингтона, успел поработать с лучшими составами, включая оркестры Бенни Гудмена и Томми Дорси, и считался одним из лучших биг-бэндовых ударников в джазе — зажигательным исполнителем с блестящей техникой. «Великое ограбление Джеймса» знаменовало подлинный переворот в тактике Дюка. Джазовый мир увидел, что маэстро, если пожелает, способен собрать у себя лучшие силы и не допустит, чтобы его оркестр скатывался вниз.
Ни Смиту, ни Беллсону не суждено было долго проработать у Эллингтона. Смит отошел в лучший мир осенью 1952 года. А вскоре Беллсон влюбился в певицу Перл Бейли, с головокружительной быстротой покорил ее сердце и, женившись, оставил оркестр Эллингтона, чтобы работать вместе с ней. Однако недолгое пребывание Беллсона в оркестре оставило важный след. Он основательно подорвал репутацию Грира: все увидели, что Беллсон тянет оркестр так, как Гриру это никогда не удавалось, и оставалось только предполагать, как звучал бы оркестр десять и двадцать лет назад, задавай в нем ритм первоклассный джазовый ударник. Грир играл нечетко, «размыто», по выражению Джина Лиса. Иначе говоря, ритмическая линия шла не залпами, а всплесками. Беллсон же строчил как из пулемета, устанавливая точный и мощный пульс. В отличие от Грира Беллсон был лидером. Внимательно прислушавшись, можно, даже не имея особой подготовки, уловить разницу. Несмотря на краткость пребывания Беллсона и Вилли Смита в оркестре, Эллингтону удалось добиться в 50-е годы некоторой стабильности состава. Изменения, конечно, были, но к середине десятилетия он уже создал ядро, которое менялось мало. На протяжении всего десятилетия в оркестре играли трубачи Кэт Андерсон и Кларк Терри, а также тромбонист Квентин Джексон, занявший место Нэнтона. «Старики» Джимми Гамилтон, Гарри Карни и Рассел Прокоуп оставались еще дольше. Ходжес вернулся в 1955 году и больше не покидал оркестр до самой своей смерти.
Очень важным для коллектива оказался приход в 1950 году тенор-саксофониста Пола Гонсалвеса, который работал в оркестре тоже до самой смерти (он умер всего на несколько дней раньше Эллингтона). После Уэбстера Эллингтон поменял двух или трех тенор-саксофонистов, пока к нему не попал Эл Сирс, с небольшими перерывами проработавший здесь с 1943 по 1951 год. До прихода к Эллингтону Сирс не входил в число крупных джазменов. Он обладал мощным нутряным звуком, но не имел ни изобретательности Хокинса или Янга, ни чистого свинга Уэбстера. В 1951 году Сирс ушел с Ходжесом, и его заменил Гонсалвес.
Пол Гонсалвес родился в городке Потаккет, штат Род-Айленд, и принадлежал к этнической группе, встречающейся, пожалуй, только в этой местности, в штатах Род-Айленд и Массачусетс, — сложному расовому гибриду, возникшему на Островах Зеленого Мыса, недалеко от берегов Португалии. Мальчиком он начал играть на гитаре, потом переключился на саксофон и постепенно стал подниматься по ступенькам музыкального бизнеса; одно время он играл даже с Каунтом Бейси и работал в недолговечном биг-бэнде Диззи Гиллеспи. Как большинство тенор-саксофонистов того времени, он испытал влияние Коулмена Хокинса, однако основным образцом для него служил Бен Уэбстер. Со временем он освоил все основные соло, сыгранные Уэбстером у Эллингтона. Звук его был густым и гортанным, в манере Уэбстера и Хокинса, однако он по большей части давал более гладкое звучание, которому недоставало тех качеств, которыми обладал звук его учителей. Не хватало ему и изобретательности Хокинса. Но он был напористым музыкантом, способным подтянуть оркестр, а в этом-то и нуждался Эллингтон в тот момент, когда критики упрекали его ансамбль в отсутствии воодушевления и энтузиазма. Последнего Гонсалвесу всегда хватало, и в последние двадцать пять лет существования оркестра он оставался одним из главных его солистов.
К несчастью, Гонсалвес оказался тем непоседой, которых и без него в оркестре было всегда предостаточно. Он выпивал, и нет числа анекдотам о том, как он во время выступлений сваливался со стула. Однажды, во время поездки в Японию, он, играя соло, рухнул навзничь, и рабочим сцены пришлось его вынести. Личные проблемы Гонсалвеса не ограничивались алкоголем: будучи классическим типом слабовольной личности, он пристрастился к героину, пробовал и другие наркотики, в том числе ЛСД. Как все люди такого склада, в трезвом виде он был чрезвычайно застенчив. Фрэн Хантер находила в нем сходство со Стеном Лорелом. И все же, как то превратилось едва ли не в систему для коллектива Эллингтона, с первых дней Гонсалвес ухитрялся пить и играть одновременно — во всяком случае, почти всегда. По большому счету он не принадлежит к числу великих саксофонистов джаза. Но в 1951 году, когда критики палили по Эллингтону из-за каждого куста, он оказался как раз тем музыкантом, в котором нуждался Дюк. И именно Пол Гонсалвес больше, чем кто-либо другой, одним махом повернул все по-новому.
Однако прежде, чем это случилось, в глазах многих поклонников оркестр Эллингтона скатился до низшей точки. В 1955 году Дюка пригласили играть в развлекательной программе «Аквакейдс» — регулярном празднестве в пригороде Нью-Йорка, включавшем балет на воде, фейерверки и имевшем мало отношения к джазу. Некоторые музыканты, в том числе и Гонсалвес, не смогли участвовать в представлениях, поскольку не были полноправными членами профсоюза. Оркестр дополнили струнной группой, вместо Дюка за рояль садился другой пианист, многие номера исполнялись под управлением профессионального дирижера. Это казалось окончательным бесчестьем, и многие поклонники Дюка сочли, что с оркестром все кончено. Общее отношение к оркестру в мире музыкального бизнеса резюмировал журнал «Даун-бит» в своем ежегодном путеводителе по оркестрам, опубликованном в номере от 18 апреля 1956 года: «Изящный, отточенный, пользующийся международной известностью оркестр Эллингтона по-прежнему выступает неплохо, особенно на вечерах в университетах и в других местах, куда люди приходят не только послушать музыку, но и потанцевать. Звучание оркестра и аранжировки мало изменились за последние годы, и личность Эллингтона продолжает завоевывать почитателей». Это сказано об оркестре, который всего десять лет назад был назван тем же журналом лучшим коллективом в истории джаза.
