Доходы, поступавшие в казну через бальи, были необходимы для оплаты образа жизни Филиппа и его семьи. Деньги использовались для выплаты жалованья офицерам и другим слугам, содержания различных графских резиденций и снабжения графского двора товарами повседневного спроса. В графский двор (или отель) входили все люди, состоящие на службе у графа, от высших офицеров до простолюдинов, то есть слуг. Последние подчинялись магистру двора и были разделены на несколько отделов или ремесел (ministeria). Начиная с правления Филиппа IV, к ним относились paneterie (пекарня и кондитерская), échansonnerie (винный погреб), кухня, fruiterie (фруктовая лавка), écécurieurie (конюшня и транспорт) и pound (управление доступом к королевской особе). Большинство дворов принцев воспроизводили этот порядок, иногда с некоторыми изменениями в номенклатуре или организации различных отделов. Камергеры, отвечавшие за личную канцелярию и покои, занимали одну из самых желанных должностей, находясь в непосредственной близости к принцу. Отвечая за апартаменты графа, они были людьми, пользующимися доверием, и часто участвовали в его личной жизни. Среди этих людей были Эрар де Беллеперш, Мишель де Рекур, Роберт Фретар и Жан д'Андресель. Все они были представителями знатных семей, которые были преданы принцу на протяжении многих лет. Например, Эрар де Беллеперш, уроженец Виме, был посвящен в рыцари вместе с Филиппом и молодыми капетингскими принцами на Пятидесятницу в 1313 году[86]. Мишель принадлежал к роду де Рекур, одному из самых известных в графстве Артуа, из которого происходили сеньоры Ланса[87]. Роберт Фретар был сеньором де Сотонн[88]. При графском дворе также находилась часовня, в которой служили капеллан и его заместители, обеспечивавшие частные церковные службы для всего двора. В 1316 году капеллой управлял Гийом де Фошероль, который, возможно, также исполнял обязанности капеллана при графах. В 1327 году он также был мэтром Chambre aux deniers, то есть графским казначеем, отвечавшим за счета, выплату жалованья и распределение расходов между различными ремеслами и департаментами двора[89].

Таким образом, юность Филиппа была юность образцового молодого принца королевской крови, который делил свое время между управлением своими землями, семейной жизнью и служением государям.

Как и его отец, Филипп преданно служил правящей династии, особенно во время правления Людовика X и Карла IV, с которыми он и его отец были очень близки[90]. Например, осенью 1315 года он участвовал в урегулировании восстания дворянства в графстве Артуа[91]. Филипп был одним из принцев, поддерживавших Маго, графиню Артуа[92]. Людовик X вознаградил его за эти услуги, подарив ему в мае 1315 года особняк в приходе Сен-Жермен-л'Осеруа, которым ранее владел Ангерран де Мариньи[93].

Воцарение Филиппа V ознаменовало собой опалу для Валуа. Карл, некоторое время надеявшийся на регентство, не имел на племянника такого же влияния, как на Людовика X и поэтому был вынужден отойти от власти. Смерть Людовика X ввергла королевство в сложную и беспрецедентную ситуацию. Покойный король оставил после себя дочь Жанну, которую сильно подозревали в незаконнорожденности, поскольку она родилась в 1311 году, в то время как ее мать, Маргарита Бургундская, состояла в прелюбодейной связи с Филиппом д'Оне[94]. Вторая жена Людовика X, Клеменция Венгерская, ждала первенца, который, независимо от его пола, не смог бы реально править в течение нескольких лет. Клеменция, поскольку она являлась иностранкой в королевстве, была отстранена от регентства; Эд IV, герцог Бургундский и брат Жанны, жены Филиппа де Пуатье, намеревался представлять интересы своей племянницы Жанны, рожденной в браке Людовика X и Маргариты Бургундской. Филипп де Валуа встал на сторону своего шурина и не присутствовал на собрании, которое 16 июля 1316 года передало регентство над королевством его кузену, Филиппу де Пуатье, будущему Филиппу V. Он также не поехал в Реймс на коронацию в январе 1317 года, но был в составе свиты регента, когда тот отправился в Лион на коронацию Папы в сентябре 1316 года[95]. Таким образом, опала не была строгой, но отношения с новым королем были не самыми лучшими, и Филипп практически не появлялся при дворе до 1318 года.

Это затворничество также было вызвано его сильной враждебностью к Анри де Сюлли, одному из самых верных и близких советников Филиппа V. Анри де Сюлли входил в королевскую свиту с 1308 года, и во время правления Филиппа IV (в то время он носил титул королевского рыцаря) был постоянным членом Совета, все больше утверждаясь в качестве самого доверенного советника последних Капетингов. В 1317 году он вновь стал королевским рыцарем, в 1317–1320 годах — советником короля, в 1316 году — членом Совета, а в 1317–1331 годах — виночерпием (bouteiller) Франции. Анри также был послом короля к Папе вместе с епископами Лаона, Менде и Ле-Пюи и графами Клермона и Фореза, лейтенантом короля в Лангедоке с 1319 года, сенешалем Гаскони и губернатором Аквитании в 1325 году. Он также занимал различные финансовые должности в королевской администрации и участвовал во многих делах, касающихся монархии. Он был особенно близок к Филиппу V, который, в 1316 году, назначил его своим лейтенантом. Карл де Валуа был с Анри в очень напряженных отношениях после того, как тот напал на его союзника, графа Невера. В марте 1308 года между ними был подписан союзный договор, возобновленный 1 марта 1317 года, который был подтвержден женитьбой сына графа Невера на одной из дочерей Карла[96]. Захват графства Невер произведенный Анри де Сюлли от имени короля в июне 1317 года, поскольку граф встал на сторону Жанны Наваррской, отказался принести оммаж Филиппу V и совершил несколько актов насилия в отношении королевской собственности, вызвал гнев Карла де Валуа. В целом Карл де питал лютой ненависти к "новым" людям, которых короли набирали за их способности, из буржуазии или духовенства, а не из круга своих вассалов. Наглость камергера Ангеррана де Мариньи, чья статуя была выставлена рядом со статуей Филиппа IV в парижском дворец Сите, вызвала у Капетингов глубокое негодование. Вскоре после смерти брата-короля Карл жестоко отомстил выскочке: обвиненный в плохом управлении и присвоении королевских доходов, Ангерран де Мариньи был арестован, осужден и повешен на виселице в Монфоконе 30 апреля 1315 года. Карл де Валуа использовал все свое влияние на племянника, короля Людовика X, чтобы добиться вынесения самого сурового приговора[97].

Филипп встал на сторону отца, и в сентябре 1317 года Папа Иоанн XXII написал Карлу де Валуа письмо, призывая его воздействовать сына, который якобы оскорбил королевского советника[98]. Тем не менее, ситуация нормализовалась, и в апреле 1318 года Филипп стал капитаном короля в графстве Невер. Он занимал эту должность, на которую, вероятно, был назначен благодаря связям между двумя семьями, Валуа и Невер, с начала апреля 1318 года и до 1320 года, с небольшими перерывами. С февраля по июль 1319 года он также отвечал за переговоры с дворянством Турени, Сентонжа, Ангумуа и Лимузена о субсидировании армии: цель заключалась в получении финансовой поддержки для новой королевской кампании против фламандцев. Мир был подписан в 1305 году в Атис-сюр-Орж, но осуществление его положений оставалось проблематичным, и королю Франции пришлось еще несколько раз собирать армию, почти каждый год с 1312 по 1319 год, а затем еще раз в 1325 году. Таким образом, Филипп оказывал монархии услуги, ожидаемые от принца крови, и в январе 1319 года[99] был вознагражден пожизненным аннуитетом в 150 ливров.