Сергей Филиппов родился 24 июня 1912 года в Саратове. Его отец — Николай Георгиевич — работал на заводе слесарем, был необыкновенно силен (запросто гнул руками подковы и рубли), считался мастером «золотые руки». На средства владельца завода он в течение года повышал свою квалификацию в заграничной командировке — в Германии. В отличие от него его супруга — Евдокия — работала простой портнихой.
В 1914 году отец ушел на фронт, и за воспитание Сергея взялся брат его матери — дядя Саша.
Как вспоминал позднее Сергей Филиппов, дядя был человеком большой души и оставил о себе самые светлые воспоминания.
В школе Сережа Филиппов учился неважно, а в старших классах считался одним из главных хулиганов. Единственными любимыми предметами у него были литература и химия. В последней науке он преуспел настолько, что учительница стала брать его в качестве постоянного ассистента во время проведения различных опытов. Однако это доверие вышло ей боком. Однажды, в отсутствие учительницы, Филиппов решил провести самостоятельный опыт — он смешал соляную кислоту с железными опилками, добавил в эту гремучую смесь еще пару реактивов, и пошла реакция. В ее результате по всей школе распространился такой едкий газ, что занятия были тут же прекращены и началась срочная эвакуация. К счастью, все обошлось без жертв, однако газ в здании не выветривался в течение нескольких дней, и занятия в школе были отменены. Ученики, естественно, были дико довольны, чего нельзя было сказать о преподавательском составе. На следующий после происшествия день состоялся педсовет, который практически единогласно исключил 16-летнего горе-химика из школы.
Родители Филиппова встретили эту весть на удивление стоически. Ведь они давно считали своего сына неспособным одолеть гранит науки и мечтали поскорее увидеть его у станка. И вот эта возможность им представилась. Буквально в течение нескольких месяцев Филиппов сменил сразу несколько профессий: сначала он был учеником пекаря в частной пекарне, затем работал в токарной мастерской и пробовал свои силы в качестве плотника на строительстве Саратовского сельскохозяйственного института. Однако ни одна из этих специальностей Филиппова не устраивала, он метался в поисках занятия, которое могло бы его по-настоящему увлечь, но все эти попытки были тщетными. Пока в дело не вмешался случай.
Однажды Филиппов возвращался вечером с работы и, проходя мимо клуба, услышал, как из его окон доносится музыка. Привлеченный мелодией, он зашел в здание и оказался на репетиции балетной студии. Увиденное там его настолько увлекло, что он попросил педагога принять в студию и его. И был принят.
Как оказалось, балет был именно той областью, в которой Филиппова могли ожидать грандиозные успехи. Уже через несколько недель после начала занятий в студии он по праву считался одним из лучших учеников. В конце концов его преподаватель посоветовал ему не терять времени даром, ехать в Москву и там искать счастья в балетном искусстве. Филиппов несколько дней колебался, но затем все-таки решился — он продал свои рабочие инструменты (топор и рубанок) и буквально налегке отправился в столицу. Было это осенью 1929 года.
Когда Филиппов приехал в Москву, экзамены в училище при Большом театре уже закончились. Еще сутки потолкавшись в столице, Филиппов по совету знающих людей отправился в Ленинград — в хореографическое училище. Однако и на эти экзамены он опоздал, поэтому подал документы в только что открывшийся эстрадно-цирковой техникум (Моховая, 34). И, к собственной радости, был принят.
С первых же дней обучения в техникуме Филиппов буквально влюбил в себя преподавателей балетного танца П. Гусева и Ф. Лопухову. Они считали его самым одаренным учеником и прочили ему блестящее будущее. Именно поэтому, когда у Филиппова складывались непростые отношения с преподавателями других дисциплин (из-за неуспеваемости по некоторым предметам его даже собирались выгнать из техникума), Гусев и Лопухова грудью вставали на защиту своего любимца и не давали угробить его талант.
Между тем, закончив техникум в 1933 году, Филиппов был принят в труппу Театра оперы и балета. Его первой ролью на сцене этого прославленного театра был кочегар в балете «Красный мак». Как гласит легенда, дебют Филиппова в этой роли прошел под хохот зрителей. Вместо того чтобы пробежать по сцене с ведром, Филиппов неожиданно повесил его на вытянутую руку одного из актеров и благополучно скрылся за кулисами. Но никаких выволочек молодому актеру делать тогда не стали.
К сожалению Филиппова, карьера балетного танцора оказалась у него слишком короткой. Во время четвертого спектакля он вназапно потерял сознание и рухнул на сцену. Прибывшие по вызову врачи констатировали сердечный приступ и посоветовали с балетом расстаться. «Иначе в следующий раз вы просто умрете», — вынесли они свой невеселый вердикт.
Покинув балет, Филиппов вскоре поступил в эстрадный театр-студию. Его коронным номером там стал веселый танец под названием «Веселый Джим», с которым он выступал на многих эстрадных площадках Ленинграда. На одном из таких концертов его увидел известный театральный режиссер Н. П. Акимов и, придя за кулисы, предложил Филиппову перейти в труппу Театра комедии. Актер с радостью согласился.
На театральной сцене Филиппову в основном приходилось играть комедийные роли, но он не обижался. В амплуа комика он чувствовал себя как рыба в воде и был неслыханно счастлив, когда после каждой своей реплики слышал в зале зрительский смех. Естественно, что мимо такого заметного актера не могли пройти кинематографисты. С 1937 года Сергей Филиппов начинает сниматься в кино — его первой эпизодической ролью стал финн-шюцкоровец в фильме «Падение Кимас-озера». Затем роли пошли одна за другой: крестьянин-партизан в «Волочаевских днях» (1937), саботажник в «Члене правительства» (1939), погромщик в «Выборгской стороне» (1939), матрос-анархист в «Якове Свердлове» (1940), чтец в «Приключениях Корзинкиной» (1941) и др.
Однако настоящая популярность к Сергею Филиппову пришла в годы войны, когда он снялся в роли ефрейтора Шпукке в фильме Сергея Юткевича «Новые похождения Швейка» (1943). Затем этот успех был закреплен ролями в других картинах, среди которых наибольшей популярностью у зрителей пользовались: «Беспокойное хозяйство» (1946-й; роль немецкого разведчика Крауса), «Здравствуй, Москва» (1946-й; баянист Брыкин).
Стоит отметить, что в те годы настоящих комиков в советском кино практически не было, поэтому Филиппов почти безраздельно господствовал на комедийной сцене. Его слава в народе была огромной. Когда он шел по улице родного Ленинграда или любого другого города, за ним бежала детвора и, весело горланя: «Филиппов! Филиппов!», хватала за фалды его пиджака. Ему это не очень нравилось. Он отмахивался от ребятни, но делал это незлобиво. Хуже приходилось его почитателям более старшего возраста. Когда в ресторане, где он любил бывать, к нему за столик подсаживались подвыпившие посетители и, заискивающе глядя в глаза, приглашали выпить на брудершафт, актер впадал в неописуемую ярость, срывал скатерти и матюгал назойливых фанатов. Одна дама в кировском ресторане «Вудьявр» довела его до белого каления, когда попросила поставить автограф на своей арбузообразной декольтированной груди.
Все эти незапланированные встречи со зрителями приводили Филиппова в ярость. Когда его приглашали выступить в каком-нибудь концерте, он ссылался на занятость, головную боль и отказывался. Может быть, поэтому он тогда и стал сильно выпивать.
Видимо, именно на почве длительных запоев распался первый брак актера. В один из дней жена забрала с собою маленького сына и ушла от Филиппова. Но коротать время в одиночестве он был не приучен. Вскоре судьба свела его с Антониной Георгиевной Голубевой, которая стала его второй и последней женой. Она стоически терпела все закидоны своего супруга, так как была чуть старше его и мудрее. Только с нею он чувствовал себя спокойно и называл супругу нежным прозвищем Барабулька.