Ее старший сын Нерон уже активно занимался общественной деятельностью. Он стал квестором в 26 году, за пять лет до положенного возраста, и выполнял многочисленные обязанности. Он был жрецом и членом коллегии, на него возложили ответственность за отправление культа в честь божественного Августа (sodalis Augustalis). Он вошел в более старшие коллегии римского происхождения — это коллегии братьев арвалов (им теоретически было поручено объявление войны и ведение военных операций). Он также вошел в другую коллегию, тоже довольно старую, но в меньшей степени, потому что эта коллегия была sodalis Titius. Во все эти коллегии входили первые лица государства, включая самого Тиберия. Его жена Юлия, дочь Друза II, не родила ему наследника.

Его брат Друз III занимал аналогичные должности; он тоже был жрецом, членом коллегии Августов (sodalis Augustalis) и, видимо, авральским братом. В 25 году он выполнял должность префекта города по случаю латинских праздников. Он обручился с Сальвией, дочерью Луция Сальвия Отона, протеже Ливии, также из сословия всадников, но женился на Эмилии Лепиде из более знаменитой семьи, дочери консула, однако она не родила ему наследников.

Около трех лет, с осени 23 года до лета 26, ничто не омрачало отношений Тиберия и его внуков, но затем произошли изменения в худшую сторону. Вначале случился инцидент во время официального пиршества, где присутствовали Тиберий, его мать Ливия и его невестка Агриппина. Последняя, будучи в плохих отношениях с принцепсом, была уверена в том, что он собирается ее устранить. Когда Тиберий дал ей плод, она отказалась его есть, и тот предпочел отдать этот плод рабу. Слухи о возможности отравления, как подчеркивает Тацит, распространялись агентами Сеяна, которые проникли в окружение Агриппины. Тиберий заявил тогда своей матери, что он не может проявлять мягкость к человеку, который обвиняет его в отравлении. Нерон был сдержанным, но его сторонники, и особенно его мать, не отказывали себе в острой критике в адрес Сеяна. Последний имел много агентов в доме принцепса, начиная с его жены, которая посвятила всю жизнь своей матери Ливилле. Нерон неосторожно однажды высказался, что свои отчеты Сеян составлял так, чтобы Тиберий начал его подозревать.

Его брат Друз III был еще более неосторожным. Сеяну даже удалось завоевать доверие многих членов его семьи, начиная с жены Друза III, Эмилии Лепиды. Он способствовал раздорам между братьями, когда дал понять младшему, что он станет наследником, если его брат собьется с пути.

Отъезд Тиберия в Кампанию способствовал росту влияния Сеяна, который контролировал всю информацию в Риме о принцепсе. Доверие императора к своему префекту претория выросло, когда в 26 году тот спас Тиберия, который обедал в пещере в Сперлонге и вдруг обрушился потолок. Некоторые слуги были раздавлены, многие убежали, но Сеян остановил своим телом камень, обрушившийся на его хозяина. Можно ли было после этого поступка считать Сеяна заговорщиком? Тиберий потом поехал на остров Капри, где проживал в большей изоляции, и, благодаря рапортам Сеяна, стал еще больше подозревать Агриппину и ее старшего сына. В декабре 27 года, например, он просил и добился смертной казни одному римскому всаднику, Сабинию, на которого донесли три сенатора за критику против Сеяна и против самого принцепса. Сенат, понимая, что должен угодить уехавшим на Капри, согласился и голосовал в дальнейшем за то, чтобы построить один алтарь милосердия, другой — дружбы, а с двух сторон стояли памятники Тиберию и Сеяну. В какой-то мере это было признанием совместной власти принцепса и его префекта.

Тиберий и Сеян покинули Капри, чтобы возвратиться в Италию. Они прибыли в Кампанию, где их окружила толпа сенаторов, всадников, простых граждан, расположившихся на открытом воздухе на берегу и жаждавших, чтобы их увидел император или его фаворит. Парадоксально, что за два года своего отсутствия Тиберий обрел повиновение и уважение большинства сенаторов, и даже преданность некоторых, чего никогда не было, когда он жил в Риме. Сеян, бесспорно, укрепил авторитет своего императора, хотя и складывалось впечатление, что он руководит вместо Тиберия. По отношению к группировке Агриппины и Нерона он продолжал свою политику отчужденности. Сеян уже убрал с дороги Друза III и создавал для Нерона нового потенциального соперника, потому что император решил выдать замуж молодую Агриппину, сестру Калигулы, за Гнея Домиция Агенобарба. Здесь речь шла о члене великой семьи, о потомке Октавии, сестры Августа. Выводя из неизвестности этого знатного нобиля, семья которого была в немилости, Тиберий показывал своей невестке и Нерону, которых он отныне рассматривает как своих явных противников, что у него есть возможность найти других наследников на престол. И еще один поступок был сделан в этом же направлении: в тот же самый 28 год Калигула вынужден был покинуть дом матери, чтобы жить у своей прабабки Ливии. Отныне Агриппина и ее старший сын были полностью изолированы. Они находились как бы под домашним арестом в Геркулануме, недалеко от Неаполя. Партия Германика распалась на группировки Друза III, молодой Агриппины и Калигулы, который по-прежнему оставался претендентом на наследование императорского престола. Необходимо было официально, через суд, исключить кандидатуру старшего Нерона. Учитывая его популярность, дело представлялось весьма серьезным.

Последний оплот, в котором мать Калигулы и его старшие братья могли найти убежище от позора судебного процесса в сенате и от обвинений, исчез: Ливия, сонаследница Августа и исполнительница его желаний, мать действующего императора, в возрасте восьмидесяти шести лет скончалась, и вместе с ней исчезла личность, которую Тиберий уважал и у которой был в долгу. Принцепс, зная о ее болезни, не навестил ее и она так и умерла, не попрощавшись с ним; он также отверг посмертные почести, которые предложил сенат. Ее похороны, достаточно скромные, похоже, стали поводом, чтобы подозрения принцепса распространились и на другого его внука, второго сына Германика, Друза III, тогда как третий, семнадцатилетний Калигула, должен был произнести надгробную речь покойной на Форуме. Сразу после похорон, политический механизм, который должен привести к устранению Агриппины и ее старшего сына, начал действовать, поскольку отныне уже ничто не сдерживало Сеяна.

Сначала последовало письмо Тиберия в сенат, в котором он выдвинул суровые обвинения против своих внуков и невестки. Во-первых, он упрекал ее в любви к мальчикам и распутстве, во-вторых, в надменных разговорах и мятежных мыслях. Упомянутые проступки сами по себе были мелкими, но они попали под удар законов о нравах и об оскорблении величия. Вспомним пример Августа, строго наказавшего безнравственное поведение своей дочери, а затем и внучки. Теперь сам принцепс выступил обвинителем. Растерянность охватила сенаторов. Никто на заседании не осмелился взять слово, чтобы высказать свое мнение. Наконец, это сделал некто Юний Рустик, на которого была возложена обязанность записывать устные выступления, по случаю чего он получил известность как человек, знающий и объясняющий мысли Тиберия. Он посоветовал не начинать расследование. К его мнению прислушивались с уважением и было решено подождать новых указаний принцепса. В течение этого времени народ, столпившийся вокруг собрания, стал размахивать портретами Нерона и Агриппины и кричать, что письмо подложное и что Тиберий не собирается их трогать.

Сеян сделал принцепсу необъективно представленный отчет об этих событиях: сенат ни во что не ставит горе Тиберия, народ бунтует, провозглашая правителями тех, чьи портреты несут, служа им во всеуслышанье. Принцепс посылает новые послания; одно было прочитано народу, чтобы сделать ему внушение, другое — в сенате, в котором Тиберий заявил, что отдает предпочтение вероломным взглядам одного-единственного сенатора. Таким образом, он возобновил все свои обвинения. Сенаторами и консулами Нерон и Агриппина были обвинены и провозглашены «народными врагами», что вело к гражданской смерти и конфискации их имущества. Они были высланы; Нерон — на остров Понтию, а Агриппина — на Пандатерию. Там они были подвергнуты жестокому надсмотру, с ними плохо обращались: Агриппина, которая оскорбительно отзывалась о Тиберии, получила удар от центуриона и потеряла глаз. В следующем 30 году то же произошло и с Друзом III. Этот молодой принцепс жил рядом с Тиберием в Кампании, но дед отправил его обратно в Рим, где один из консулов, Луций Кассий Лонгин, вынес обвинение против него по подстрекательству Сеяна. Вероятно, он был обвинен в высокомерных и опасных разговорах против принцепса и государства; он был осужден, но его тюрьма находилась в подземелье императорского дворца на Палатине.