Недолго был Шкуро во главе Кубанской армии, которую он основывал, передав в феврале 1920 года командование ею генералу Улагаю, который под ударами красных отошел с кубанцами в район Туапсе-Сочи на Черном море.

В апреле главкомом ВСЮР стал генерал-лейтенант, флигель-адъютант барон П. Н. Врангель и командование Кубанской армией от генерала Улагая перешло к тогдашнему Кубанскому атаману генералу Н. А. Букретову. Еврей по национальному происхождению Букретов на предложение Врангеля перебросить Кубанскую армию в Крым упорно отказывался со "всей самостийностью", в результате чего большая часть его войск сдалась большевикам. Тогда Букретов передал командование остатками кубанских частей командиру 2-й отдельной Донской бригады генералу В. И. Морозову и сложил с себя звание Кубанского атамана. Атаманскую же булаву вручил Букретов некоему инженеру Иванису, а сам бежал с другими членами Кубанской Рады в Грузию, откуда эмигрировал в Турцию, и там его следы потерялись.

Все эти мытарства кубанцев полной чашей хлебнул и генерал Шкуро, не бросавший своих казаков до последнего на Черноморском побережье. Андрей Григорьевич, несмотря на неприязнь к нему Врангеля, все же надеялся, что новый главком даст ему еще послужить Белому Делу в Русской Армии, как стали называться бывшие Вооруженные Силы Юга России. Но этого не произошло, генерал-лейтенант А. Г. Шкуро был уволен Главнокомандующим П. Н. Врангелем из армии и в мае 1920 года он эмигрировал из Крыма, из России.

За границей 34-летний А. Г. Шкуро обосновался в Париже. Отличный кавалерист, знаток лошадей, он в поисках заработка здесь доходил и до того, что работал в цирке наездником.

Находясь в некоторой изоляции от основной части Русского Зарубежья, Андрей Григорьевич желал оставить память о себе и в 1920-21 годах диктовал воспоминания бывшему полковнику русской армии В. М. Беку, служившему во французском военном министерстве. Но при своей жизни Шкуро так и не захотел опубликовать мемуары, из которых мы здесь неоднократно цитировали, и они под названием "Записки белого партизана" вышли в свет в Буэнос-Айресе лишь в 1961 году.

В годы перед Второй мировой войной Шкуро время от времени видели в кабачках Белграда и Мюнхена, где он встречался со своими бывшими "волками".

Имя генерала Шкуро вновь звучно ожило среди белоэмигрантов в связи с начавшейся войной. Андрей Григорьевич принял участие в формировании антисоветских казачьих частей, подчиненных гитлеровскому командованию.

Началось с того, что в оккупированной немцами Сербии германские власти дали разрешение на создание Русского Охранного Корпуса для поддержания порядка и борьбы с красными югославскими партизанами. В его формировании активно участвовал бывший Походный атаман Кубанского казачьего войска, оставшийся в таком же качестве и в эмиграции, генерал-лейтенант В. Г. Науменко. К началу 1941 года в Корпусе числилось около трехсот казаков-эмигрантов, к концу года -1200, а к концу 1942 года в нем будет воевать с красными партизанами Тито уже две тысячи в основном кубанцев, а также батальон донских казаков, прибывший из Болгарии.

Летом 1942 года немецкая армия вышла к Волге и на Северный Кавказ, где многие из уцелевших после расказачивания донцов, кубанцев, терцев ее приветствовали. Под эгидой вермахта в сентябре 1942 года в Новочеркасске собрался Казачий сход, на котором избрали Штаб Войска Донского во главе с бывшим войсковым старшиной Белой армии С. В. Павловым. На местах прошли выборы станичных и кое-где окружных атаманов, которые стали формировать казачьи части для охранной службы и боевых действий на стороне германской армии. С февраля 1943 года немцы под ударами советской армии отойдут почти со всех казачьих земель, и с ними отправятся на чужбину десятки тысяч казаков, которые там вместе с эмиграцией первой волны станут новобранцами для последующих казачьих формирований.

В связи со всеми этими событиями в декабре 1942 года в Берлине при Министерстве по делам оккупированных восточных территорий было организовано Казачье управление во главе с референтом Н. А. Гимпелем, который привлек к своей работе бывшего Донского атамана 74-летнего генерала-от-кавалерии П. Н. Краснова. В январе 1943 года Краснов выступил с обращением, в каком призвал казачество встать на борьбу с большевицким режимом. Пронизано оно было сепаратизмом, ни словом не упоминалась Россия.

Насчет этой красновской деятельности генерал А. И. Деникин, прозябающий в это время в одном из уголков Франции, отказавшийся наотрез работать с немцами, писал:

"Сотрудничеством с гитлеровцами Краснов и подтвердил, что русских он не любит. Русских, Россию — как нерусский казак со всей самостийностью".

Важнейшим шагом консолидации казаков с вермахтом стало формирование 1-й Казачьей кавалерийской дивизии под командованием генерала войск СС Гельмута фон Паннвица, силезца, воевавшего в Первую мировую войну лейтенантом кавалерии. Он носил казачью форму, посещал церковные православные службы. Когда в лагерь его казаков приезжали генералы Краснов, Шкуро, Науменко, оркестр играл "Боже, Царя храни". В 1944 году казаки фон Паннвица будут драться на германской передовой против югославских и болгарских дивизий. А в конце декабря 1944 года выйдут на реке Драве против советской 133-й дивизии имени Сталина. Их бой часто будет переходить в рукопашную и красноармейцы побегут.

В 1943 году произошло также объединение казачьих беженских станиц и строевых частей в Казачий Стан под началом Походного атамана полковника С. В. Павлова. Для этих целей до середины 1943 года Казачьему управлению Гимпеля удалось перевести семь тысяч казаков с положения остарбайтеров в обладателей германских иммиграционных паспортов.

Функции Временного казачьего правительства за границей германскими властями были переданы Главному управлению казачьих войск (ГУКВ), созданному в марте 1944 года. Казачьему Стану же предоставили территорию площадью 180 тысяч гектаров в оккупированной Западной Белоруссии, откуда позже из-за угрозы советского наступления эвакуируют казаков в Северную Италию. ГУКВ возглавил генерал П. Н. Краснов, в руководство вошли полковник Павлов, генерал Науменко, Походный атаман Терского войска полковник Кулаков, начальником штаба стал племянник П. Н. Краснова полковник С. Н. Краснов. Правда, все документы, от них исходящие, не имели силы без подписи герра Гимпеля.

В сентябре 1944 года в ставке Гиммлера прошло совещание, на котором собрались командир казачьей дивизии Г. фон Паннвиц, другие начальники казачьих частей, а ГУKB представлял генерал А. Г. Шкуро. Здесь было объявлено о решении развернуть 1-ю Казачью кавалерийскую дивизию в 15-й Казачий кавалерийский корпус, в каком Шкуро стал командиром учебно-запасного полка.

При Главном штабе СС создали специальный орган — Резерв казачьих войск. В него было необходимо собрать всех казаков, способных носить оружие: эмигрантов и бывших «подсоветских», находящихся в лагерях военнопленных и среди восточных рабочих на германских предприятиях, в частях СС, полиции и армии, коренных и иногородних жителей казачьих областей. Начальником Резерва казачьих войск приказом рейхсфюрера также был назначен 58-летний генерал Шкуро.

По этому ведомству Шкуро в Берлине образовали комендатуру и вербовочный штаб, в который вошли 11 казачьих офицеров, два унтера и два казака, а на организацию вербовки выделили 25 офицеров и столько же казаков. Был открыт этапный лагерь для приема мобилизованных, который охраняли и обслуживали два десятка казаков, врач, санитар.

Вербовочные штабы Резерва казачьих войск разворачивались в Праге и Вене. Работе Шкуро содействовало министерство Розенберга и дублировавшее ее отделение СС «Остраум». Возраст вербуемых в Казачий корпус был расширен до 45 лет для рядовых и до пятидесяти офицерам.

Резерв казачьих войск генерала Шкуро действовал независимо от ГУКВ генерала Краснова, но красновский главк помогал шкуровцам освобождать казаков с немецких заводов для зачисления в строй. Это было проблемой, несмотря на распоряжение Главного управления СС, поэтому Резерв вербовал не очень успешно. С сентября 1944 года по апрель 1945 года его штабы направят в учебно-запасной полк Казачьего корпуса, за который также отвечал Шкуро, две тысячи человек, а в Казачий Стан — семь тысяч, но в основном стариков, женщин, детей.