Как и ее противник в Восточной Германии, «Штази», Федеральная разведывательная служба неоднократно меняла свою структуру в зависимости от ситуации. Несмотря на многие детали, известные в подробностях, очень сложно четко реконструировать изменения организационной структуры БНД с ранних времен Организации Гелена до конца Холодной войны. За агентурный шпионаж отвечали два отдела — Первый отдел, собственно занимавшийся агентурной разведкой, и Третий отдел, отвечавший за анализ и оценку полученной информации. Отношения между ними порой были довольно напряженными. В 50-е годы, в разгар Холодной войны, оба отдела занимались в первую очередь военным шпионажем и анализом добытых результатов. Юлиус Мадер в книге «Серая рука» еще в 1960 году опубликовал своего рода план основных задач генерала Гелена, обязательный для выполнения всеми шпионами Службы в Восточном блоке. Из 15 разведывательных целей, названных в документе, только две задачи совсем не касались военных или военно-экономических вопросов. Все остальные требования включали: наблюдение за маршами войск и передвижениями военных грузов, за складами горючего, за ремонтными мастерскими железной дороги, железнодорожными путями, шоссейными дорогами, мостами, аэродромами, телеграфными стациями, электростанциями, гидрогенизационными заводами, предприятиями химической промышленности, военными заводами, полигонами, командными пунктами, казармами, за собственно воинскими частями противника и за настроениями в войсках. В общем, «производящий сильное впечатление документ ранней стадии Холодной войны, в котором содержится все, что определяло задачи западного шпионажа все следующее десятилетие».

В ранние годы своего существования западногерманская служба внешней разведки заработала себе хорошую славу. Самой сильной стороной деятельности «Орг» был военный шпионаж. До возведения Берлинской стены ни одна западная разведка не обладала лучшими предпосылками для шпионажа в ГДР, нежели БНД. И в эту задачу входило также наблюдение за дислоцированными там советскими войсками.

С момента основания Министерства государственной безопасности ГДР его центральной задачей была контрразведка. Помимо служб США, Великобритании и Франции, а также Организации Гелена, оно боролось и с другими западногерманскими учреждениями и структурами, например с деятельностью Федерального министерства по общегерманским вопросам, восточными бюро западногерманских политических партий и с группировками вроде Боевой группы против бесчеловечности или Следственного комитета свободных юристов. Уже в 1953 году после слияния отвечавших за контрразведку в МГБ и в окружных управлениях Четвертых отделов и занимавшихся шпионскими действиями в Федеративной Республике Вторых отделов возник Второй главный отдел, взявший на себя борьбу с иностранными секретными службами. До 1960 года им руководил Йозеф Кифель, старый коммунист, эмигрировавший в СССР в 1931году и с 1939 по 1945 годы служивший в Красной Армии. Во времена Кифеля на счету контрразведки МГБ только между 1953 и 1956 годами было несколько крупных успехов в противостоянии Организации Гелена и американским разведслужбам.

Четыре первоначальных отдела Второго главного отдела занимались разведками трех западных союзных держав и разведкой ФРГ. В 1955 году был создан еще один отдел, боровшийся со шпионажем спецслужб других несоциалистических стран. Два отдела отвечали за связь с социалистическими странами, один из них следил за студентами из ГДР, обучавшимися в Советском Союзе. С 1955 года к задачам Второго главного отдела относилось и наблюдение за западными военными миссиями связи, а с 1956 года — радиоперехват и наблюдение за эмигрантскими организациями. Важное изменение структуры Второго главного отдела МГБ произошло в 1958 году. Четвертый отдел, обрабатывавший доселе как «немецкая линия» западногерманские спецслужбы, был разделен на два отдела. Один из них занимался только БНД, другой — только ведомствами по охране конституции. Так появился четвертый отдел Второго главного отдела, HA II/4, специализировавшийся на борьбе с БНД.

Но не только Второй главный отдел боролся с западным шпионажем. В своих сферах ответственности — к примеру, в контрразведывательном обеспечении государственного аппарата. Народного хозяйства, транспорта, в полиции и в армии — это было задачей всех служебных подразделений «Штази». И как раз в пятидесятые годы Девятый главный отдел и соответствующие линии в окружных управлениях, так называемые следственные органы, получили важную задачу. «Девятая линия» стала заниматься в это время (конспиративными) расследованиями в целях уголовного преследования, причем ее сфера ответственности не была точно определена ни внутри самого МГБ, ни в отношении ответственной за расследование уголовных преступлений Немецкой народной полиции. В своей расследовательной деятельности она должна была как можно быстрее предоставлять доказательства во время обысков, арестов и допросов, которые можно было бы использовать в оперативных целях. Из-за большой пропагандистской ценности особенное значение приобретали дела, связанные со шпионажем. Девятый главный отдел в МГБ в 1954 году состоял из трех отделов и до 1989 года расширился до 12 отделов и нескольких отдельных рабочих групп. За все время своего существования первый отдел Девятого главного отдела — HA IX/1 — неизменно отвечал за расследования дел, связанных с шпионажем, среди которых в семидесятых и восьмидесятых годах преобладали случаи подозрения в военном шпионаже. Кроме того, первый отдел вел и следствия по делам западногерманских нарушителей границы, а также так называемых «возвращенцев», то есть сбежавших на Запад восточных немцев, решивших снова вернуться в ГДР.

Возведение Берлинской стены укрепило изменение стратегии в центральных служебных подразделениях МГБ, занимавшихся контрразведкой. Арест шпионов и особенно рассчитанные на пропагандистский эффект их суровые наказания, вплоть до смертной казни, столь распространенные десятилетием раньше, уже перестали быть основной целью их деятельности. Все важнее становилось скрытное наблюдение за разоблаченными, но не арестованными западными агентами с целью выявления их связей. Таким путем МГБ могло выяснить разведывательные намерения БНД и, по меньшей мере, не напрямую контролировать действия офицеров-агентуристов БНД. Сначала Берлинская стена нанесла ущерб оперативной работе МГБ на Западе, в том числе контршпионажу против филиалов Службы в Западном Берлине. Переход границы в теперь действительно разделенном городе внезапно оказался организационной проблемой не только для обычных немцев, но и для сотрудников МГБ.

Девятая линия по-прежнему отвечала за завершающую стадию расследования, но оперативная контрразведывательная деятельность Второй линии приобретала все больший самостоятельный вес. Изменения собственной структуры, которые тут не будут рассматриваться в подробностях, после 1961 года определили дальнейшее развитие Второго главного отдела. После небольших реорганизаций в 1962 году он состоял из шести отделов, трех самостоятельных рефератов и нескольких небольших рабочих групп. Борьба с БНД вследствие улучшившихся условий после строительства Стены была еще больше усилена после временного создания особой оперативной группы. Важным обстоятельством для будущей работы оказалось также разделение «внутренней» и «внешней» контрразведки, более четко проведенное в ходе реструктуризации 1964 года. С другой стороны осуществленное за три года до возведения Стены разделение отдела на сектор, борющийся с БНД и сектор, борющийся с ведомствами по охране конституции, было признано неэффективным и отменено. Теперь HA II/4 отвечал за «внутреннюю контрразведку» против обеих западногерманских служб в ГДР, тогда как «активная контрразведка» отдела HA II/2 использовала для контрразведывательной деятельности собственных «кротов» в Федеративной Республике. В конце шестидесятых годов борьба с военным шпионажем стала особо важным моментом в работе Главного отдела. В отличие от часто изменявшейся структуры, руководство контрразведки менялось редко, с тех пор как был образован Второй главный отдел. Йозефа Кифеля сменил бывший солдат Вермахта Вернер Грюнерт, которого в свою очередь в 1976 году сменил Гюнтер Кратч. Кратч возглавлял контрразведку вплоть до 1989 года и дослужился до генерал-лейтенанта.