Николай Николаевич, ознакомившись с текущим положением дел в КБ, занялся реорганизацией его деятельности. При этом он учел положительный опыт проектирования истребителя ИЛ-400. По предложению Поликарпова с 1 февраля 1925 г. опытная мастерская и конструкторское бюро были объединены в один опытный отдел. Его начальником был назначен Николай Николаевич Поликарпов, а заместителем — Леонид Дементьевич Колпаков-Мирошниченко. Опытный отдел теперь состоял из опытной мастерской (заведующий — Виктор Яковлевич Яковлев) и конструкторского полуотдела (заведующий — Виктор Леонидович Моисеенко). В конструкторский полуотдел входили штат инженеров-конструкторов, расчетное бюро, чертежное бюро, архив, фотолаборатория, светокопировальная лаборатория, техническая библиотека. Чуть позже было создано отдельное бюро по вооружению. Валериан Дмитриевич Яровицкий возглавлял расчетное бюро, Алексей Александрович Крылов — чертежное, а Владимир Федорович Савельев — бюро по вооружению.
Расчетное бюро было разделено на группы, специализировавшиеся по основным типам выполняемых расчетов (прочность, аэродинамика и т. д.). Чертежное бюро подразделялось на секцию общих видов, фюзеляжа, крыла и оперения, шасси, особых заданий, вооружения (вскоре получившую отдельный статус). Из штата инженеров-конструкторов назначались ведущие по машинам.
Получив задание, начальник опытного отдела вместе с заведующим конструкторским полуотделом в секции общих видов разрабатывал основные варианты эскизного проекта. Другие варианты проектировались либо в секции общих видов под руководством старших инженеров-конструкторов, либо самостоятельно старшими инженерами-конструкторами. Расчеты к эскизным проектам выполнялись в расчетном бюро.
После утверждения эскизного проекта разработка основных элементов конструкции и деталировка производились в соответствующих секциях и в расчетном бюро.
Цели, которые Николай Николаевич преследовал этой реорганизацией, он отразил в «Отчете о ходе работ Опытного отдела в 1924–1925 гг.», отметив следующие положительные моменты: 1) объединение усилий КБ и опытного производства в создании новых машин; 2) расчленение проектирования самолетов на составные элементы, допускающее в ряде случаев распараллеливание процесса; 3) специализация деятельности конструкторов; 4) в итоге — повышение производительности и качества опытно-конструкторских работ.
Николай Николаевич понимал, что создание опытного отдела — это только временный, промежуточный шаг, обусловленный и конкретно сложившейся обстановкой на заводе, в авиапромышленности, и общим экономическим положением в стране. В 1925 г. он писал, выражая свое понимание перспективы развития опытного строительства: «Гораздо рациональнее, по нашему мнению, иметь не опытный отдел серийного завода, а отдельный опытный завод, связанный с серийным заводом договором, а не административно».
Предложенная Поликарповым схема организации опытно-конструкторских работ была им усовершенствована в последующие годы, оправдала себя на деле и стала у нас общепринятой.
«Это организационное мероприятие надо поставить Николаю Николаевичу в заслугу не менее, чем любую из осуществленных им конструкций», — справедливо отмечал один из первых биографов Н. Н. Поликарпова писатель Л. И. Гумилевский.
Не все конструкторы с пониманием отнеслись к новой организации деятельности КБ. Например, В. П. Невдачин, совмещавший работу в КБ под руководством Н. Н. Поликарпова с самостоятельной работой по созданию планера и авиеток «Буревестник» в системе Осоавиахима, в письмах, направляемых в разные инстанции, резко отрицательно относился к идее расчленения проектирования по операциям. Однако в его критике содержались и конкретные предложения, направленные на повышение качества проектирования, в том числе о введении штата ведущих по самолетам, что было использовано Н. Н. Поликарповым при совершенствовании структуры КБ.
В целом удалось сформировать хороший коллектив. В нем насчитывалось 48 инженерно-технических работников, некоторые имели высшее и высшее специальное образование: Л. Д. Колпаков-Мирошниченко окончил в 1912 г. Инженерную академию аэронавтики в Париже, Л. И. Сутугин и П. Ф. Федоров — Петроградский институт инженеров путей сообщений, соответственно в 1917-м и в 1924 гг., А. А. Семенов — МВТУ (1917 г.), В. Л. Строев — Лозаннскую школу инженеров и Московский университет (1918 г.), А. А. Крылов — Харьковский технологический институт (1916 г.), А. А. Голубков — Томский технологический институт (1919 г.), Н. П. Рюмин — Московский институт инженеров путей сообщений (1923 г.). Отметим также, что В. Л. Моисеенко окончил Гатчинскую школу военных летчиков в 1914 г., а В. Д. Яровицкий — Севастопольскую (Качинскую) школу в 1913 г.
Наибольший опыт конструкторской работы имел Л. Д. Колпаков-Мирошниченко. До революции он работал на авиазаводе В. А. Лебедева в Петрограде, где проектировал оригинальные стрелковые установки для серийных машин фирмы, а также самолеты «Колпаков-1» (1916 г.) и «Лебедь-Гранд» (1917 г.). Последний, хотя и не был закончен, по схеме и конструкции являлся одной из лучших русских машин эпохи Первой мировой войны.
Свои самолеты строили также А. А. Крылов, В. Л. Моисеенко, В. П. Невдачин, В. Ф. Савельев, А. А. Семенов.
В конце 1925 г. в коллектив влился Владимир Михайлович Ольховский, до революции военный летчик, конструктор, автор ряда самолетов.
Практику работы в опытном отделе завода № 1 прошли многие известные впоследствии конструкторы, ученые — С. Н. Зоншайн, Л. И. Сутугин, С. Н. Шишкин, В. П. Яценко.
Кроме текущих работ по самолетам Р-1, Р-11, Р-111, 2БЛ-1 (Б-1), ИЛ-400б, опытный отдел под руководством Н. Н. Поликарпова занялся проектированием новых конструкций, в первую очередь тяжелых машин по заданию Остехбюро.
Особое техническое бюро по военным изобретениям специального назначения, или, сокращенно, Остехбюро, ведет начало от открытой в 1908 г. по рекомендации Государственной думы Центральной научно-технической лаборатории Военного ведомства, предназначенной для проведения глубоких научных и опытно-конструкторских изысканий в области создания перспективных образцов вооружений. 18 июля 1921 г. заместитель председателя Совета Труда и Обороны А. И. Рыков подписал постановление о его организации во главе с талантливым изобретателем В. И. Бекаури. Многогранная и довольно успешная деятельность Остехбюро привела к созданию целого ряда новых образцов вооружений, далеко опережавших зарубежные аналоги. Под скромным и малопонятным названием скрывался научно-исследовательский и проектно-конструкторский институт с большим объемом финансирования, позволявшим размещать «на стороне» крупные заказы. В 1921–1922 гг. в Остехбюро были разработаны образцы высокоточных торпед, в том числе сдвижением по спирали, резко повышающих вероятность поражения морских целей, управляемых мин новых систем связи и др. Возникла идея, с одной стороны, приспособить новые изделия минно-торпедного оружия для нужд морской авиации, с другой — разработать специальные образцы авиационного вооружения. Для проведения необходимых опытов в декабре 1922 г. петроградский завод № 3 «Красный летчик» после ремонта и доработок передал Остехбюро английский бомбардировщик «Хендли Пейдж». Однако он не удовлетворял требованиям по грузоподъемности. Испытывать перспективные образцы торпед, отрабатывать постановку мин с воздуха на нем было невозможно. Поэтому в июне 1923 г. в Остехбюро сложилось мнение о необходимости постройки специального самолета под рассматриваемые задачи. При этом учитывался опыт разработки подобной машины (ГАСН) Д. П. Григоровичем и И. И. Голенищевым-Кутузовым на заводе С. С. Щетинина в 1916–1918 гг., торпедоносного варианта самолета «Илья Муромец» на Русско-Балтийском вагонном заводе в 1917 г.
После всестороннего обсуждения этой идеи в штабе Флота, в Совете Труда и Обороны на ее реализацию было выделено финансирование, и в июле 1924 г. Остехбюро обратилось в конструкторские бюро заводов № 1 и № 3, а также в ЦАГИ с предложением создать специальный тяжелый самолет для перевозки и сбрасывания крупногабаритных грузов. В приложении к письму говорилось: