Восемь месяцев готовилась революция и, наконец, вспыхнула 11 декабря в Гуанчжоу (Кантоне), где у КПК была крепкая коммуна. Через два дня восстание рабочих и солдат жестоко подавили правительственные войска. Семенов участвовал в кантонском восстании, от начала до самого конца, от решения ревкома о выступлении до эвакуации из Кантона. Через месяц в своем докладе в Москве он привел ряд подробностей: «Потери во время захвата города исчисляются человек 20… Было несколько убитых при штурме полиции и несколько десятков убито при штурме 4-го корпуса… Во время второй части восстания…было убито около 200 человек. Потери коммунистов…около 150 человек… Потери противника трудно определить… Было расстреляно около 800 полицейских. Объезжая город, я видел повсюду трупы полицейских…было расстреляно около 600-700 человек китайских буржуев. Когда рабочим отрядам попадался толстый буржуй, то его немедленно расстреливали, и нужно отметить, что рабочие это делали с большим энтузиазмом. Во время захвата полков офицеры убивались на месте. После подавления восстания мне пришлось проезжать через весь город — это было жуткое зрелище. Повсюду валялись трупы…рабочих было убито около 3-4 тысяч… Рабочие революционных профсоюзов, в особенности Союза рикшей, убивались беспощадно…». Среди причин поражения «Андрей» назвал то, что «план восстания не был продуман до конца», а также не были своевременно захвачены ключевые пункты. И «очень большой ошибкой», по его словам, было назначение Е Тина, против чего он возражал (Там же. Т.3, ч.1. С.311, 313-314.).
До января 1928 года Семёнов, совместно с коминтерновскими товарищами, пытался выправить ситуацию. Но из этого ничего не вышло, поражение восстания было окончательным, в стране начались жестоие преследования коммунистов. Вернувшись в Москву, он выступил на расширенном заседании Президиума Исполкома Коминтерна с докладом о Кантонском восстании, в котором рассматривались причины поражения коммунистов. Наркоминдел Георгий Васильевич Чичерин своеобразно оценил китайскую деятельность «Андрея»-Семенова, назвав его в письме Сталину 20 июня 1929 года «механически пережевывающим мнимореволюционные формулы комсомольцем», наряду с коминтерновскими деятелями Виссарионом Ломинадзе, Лазарем Шацкиным и Павлом Мифом (Цит. по: Беседовский Г. На путях к термидору. М., 1997. С.392.).
Однако другие руководящие товарищи деятельность Семёнова в качестве военного советника оценили иначе. После возвращения из Китая его перевели в центральный аппарат Разведупра РККА и вскоре назначили на должность помощника начальника 2-го (агентурного) отдела Б. Б. Бортновского. В Управлении он проработал до мая 1929 года. В апреле 1929 года состоялась XVI партконференция, на которой было принято решение о второй чистке партии. Первая состоялась в 1921 году, но тогда Семёнов под неё не попал. Теперь же, поскольку он был замечен в числе активных сторонников правой оппозиции, партячейка Разведупра исключила его из рядов ВКП(б). В мае его уволили. Несколько месяцев Семёнов вёл непрерывную борьбу за восстановление в партии, безуспешно апеллируя в районную контрольную комиссию, во Фрунзенский райком и, наконец, к парттройке МКК ВКП(б). Только эта последняя инстанция, учтя его прежние заслуги и выслушав 5 сентября 1929 обязательство «в практической работе проводить линию партии», приняла решение ограничиться строгим выговором с предупреждением.
Разведка, равно как и другая серьезная работа, теперь для Семенова была недоступна. И тогда он, в поисках дела, где мог в полной мере проявить себя, снова нашел себе «горячую точку»: пошёл в ЦК и попросился на колхозную работу. Не он один сделал этот выбор — призыв партийцев на колхозную работу насчитывал 25 тысяч человек. По направлению Колхозцентра он попал в Хопёрский округ Нижне-Волжского края, где был назначен председателем крупного колхоза «Краснознаменец», состоявшего примерно из тысячи хозяйств и располагавшего 24 тысячами гектаров земли.
Осень 1929-го была временем начала сплошной коллективизации. Колхоз «Краснознаменец» был уже собран. В декабре Сталин объявил о конце НЭПа и переходе к политике «ликвидации кулачества как класса». Всю зиму активисты колхозного строительства изо всех сил ликвидировали кулачество, а кулачество, как могло, ликвидировало активистов и сельское хозяйство как таковое. К весне стало ясно, что дело движется к полной катастрофе сельского хозяйства, и 2 марта 1930 года в «Правде» была опубликована статья Сталина «Головокружение от успехов», где резко критиковались «перегибы на местах». На партконференции Хопёрского округа Семенов выступил с критикой политики партии в области коллективизации, но, развивая выводы Сталина, зашёл слишком далеко. Его выступление было вновь квалифицировано как правый уклон, после чего, к лету, Семёнова сняли с председательской должности. 25 ноября того же года Михайловская районная контрольная комиссия исключила его из партии за правооппортунистические взгляды, но уже через 5 дней (! ) ЦКК ВКП(б) восстановила его в рядах большевиков.
Начинался «великий перелом». Троцкого уже выслали из страны, а Бухарина уволили с поста редактора «Правды» и вывели из состава Политбюро. Не повезло и всем их друзьям, в том числе и Семенову. Одно время он работал начальником строительства Болшевского механического и чугунолитейного завода под Москвой, затем начальником авторемонтных мастерских ВОГФа (Всесоюзного объединения гражданского воздушного флота, которым до своей гибели в авиакатострофе в 1933 г . руководил бывший начальник Семенова по Главэлектро Гольцман). По словам биографа Семенова С. В. Журавлева, «отовсюду его „вычищали“ — слишком богатая биография вкупе с разрисованным выговорами партийной учетной карточкой рождала в коллективе настороженное отношение». После того, как по инициативе секретаря Краснопресненского райкома партии Никиты Сергеевича Хрущёва Семёнова уволили из ВОГФа, он попросился на прежнее место в Главэлектро. Однако и оттуда вскоре был уволен — всплыла работа под начальством Троцкого в Главэлектро и рекомендации троцкистов Крестинского и Серебрякова, данные ему для вступления в партию.
В 1933 году Семёнов покидает столицу и уезжает в Ленинград, на должность начальника отдела рабочего капстроительства машиностроительного завода им. Ворошилова. Здесь к нему отнеслись помягче. В сентябре 1933 года Семёнов успешно проходит очередную партийную чистку, хотя и со скрипом — товарищи по партии задали ему 52 вопроса!
В Ленинграде ему удаётся спокойно проработать полтора года, до 1 декабря 1934 года, когда первого секретаря Ленинградского обкома С. М. Кирова убили в Смольном прямо у дверей кабинета. Одним из
следствий убийства стала чистка всей ленинградской парторганизации. 1 февраля 1935 года заводской партком в третий раз исключает Семёнова из рядов ВКП(б). Опальный коммунист снова берётся за привычное дело — подаёт апелляцию и 22 февраля 1935 года на заседании бюро Володарского райкома Семёнова восстанавливают в партии.
Понимая, что за чистку партии взялись всерьез и теперь его едва ли оставят в покое, Семёнов предпринимает отважный шаг. В марте он едет в Москву и пробует вернуться в разведку: явившись в Разведупр, предлагает свои услуги в любом рискованном мероприятии. Лучше война, с её ясными и привычными законами, чем полная непредсказуемых нюансов и потому смертельно опасная для человека с его биографией мирная жизнь. Семёнов пришёл не с пустыми руками, у него была идея. Он «вызвался возглавить группу инструкторов-специалистов по всем областям военного искусства и техники и перебросить её на самолётах или на верблюдах через пустыню Гоби на помощь Китайской Красной армии». В апреле 1935 года его в очередной раз зачисляют в штат Разведупра, и он приступает к подготовке экспедиции через пустыню Гоби. В качестве помощника Семенов привлекает старого приятеля, закалённого в уличных боях и проверенного на разведработе Эмиля Дайбеля, который тоже работает в военной разведке.
Однако экспедиция не состоялась. В ноябре Семёнову присваивают звание бригадного комиссара и посылают в Монголию с более частным заданием — «для налаживания связи с Китайской Красной армией и проверки маршрута». Он должен был «организовать переброску 6 китайских товарищей через Монголию в Китай», что и сделал, но затем расконспирировал себя, и в мае 1936 года его отозвали в Москву. Между тем в Разведупре РККА решался вопрос о дальнейшей судьбе 21 сотрудника, которые в прошлом являлись «участниками оппозиционных группировок». По поводу бригадного комиссара Г. И. Семенова «принято решение оставить в Управлении для специальной работы» (РГВА, ф.9, оп.29, д.327, л.5.).
