В 1935 году началась его театральная слава. Режиссер Евгений Червяков задумал снимать художественный фильм «Заключенные» и на главную роль пригласил Михаила Астангова. А тот, в свою очередь, порекомендовал взять на одну из эпизодических ролей 24-летнего актера Марка Бернеса. И хотя его появление в этом фильме зрителями осталось практически незамеченным, однако дружба с М. Астанговым осталась надолго. Астангов познакомил друга с драматургом Николаем Погодиным, который, в свою очередь, «сосватал» молодого актера режиссеру Сергею Юткевичу. Тот в 1936 году приступил к съемкам фильма «Шахтеры» и искал артиста на роль шпиона Красовского. И Бернес как никто лучше подошел на эту роль.
Ровно через год после съемок в этом фильме все тот же С. Юткевич приглашает Бернеса в свой новый фильм — «Человек с ружьем», где ему вновь достается эпизод, однако на этот раз его персонаж герой положительный — молодой красноармеец. Роль по сценарию выглядела несложной, однако Бернес решил подойти к ее исполнению творчески. В течение нескольких дней перед началом съемок он буквально не вылезал из Музея революции, пытаясь найти среди фотоэкспонатов музея образ нужного ему молодого красноармейца. И в конце концов нашел — молодого вихрастого паренька, перепоясанного крест-накрест пулеметными лентами. Однако, по мнению самого артиста, чего-то его экранному герою все-таки не хватало. Но чего? Бернес этого и сам пока толком не знал. Но стал копаться в актерском реквизите и внезапно наткнулся на старенькую гармонь. Так была найдена еще одна важная деталь к образу героя. А затем на свет родилась и песня: второй режиссер фильма Павел Арманд сочинил нехитрую песенку «Тучи над городом встали», которую герой Бернеса — Костя Жигулев — и запел с экрана. Когда фильм снимался, никто из участников съемок и предположить не мог, что эта песня в исполнении Бернеса вскоре станет народным шлягером. Так после фильма «Человек с ружьем» 26-летний Марк Бернес стал всесоюзно известным.
В 1938 году успех Бернеса в мире кино закрепляет режиссер Эдуард Пенцлин: он не только приглашает актера на главную роль в свой фильм «Истребители», но и делает его героя — летчика Сергея Кожухарова — поющим. Песня «В далекий край товарищ улетает» (композитор Н. Богословский) тут же становится очередным народным шлягером. Фильм занимает 1-е место в прокате 1940 года, собрав на своих сеансах 27,1 млн. зрителей.
Еще одним лидером проката того года был фильм Л. Лукова «Большая жизнь» (1-я серия), который, заняв 6-е место, собрал 18,6 млн. зрителей. В этом фильме Бернес сыграл одну из главных ролей — инженера Петухова. Причем поначалу режиссер пробовал актера на другую роль — Вани Курского, надеясь, что Бернес потянет на этого героя. Однако переиграть природное обаяние Петра Алейникова Бернесу так и не удалось, и роль ему не досталась. Впрочем, оно и к лучшему.
Свою вторую и, как оказалось, последнюю главную роль в кино Бернес сыграл во время войны. Это была роль Аркадия Дзюбина из фильма все того же Л. Лукова «Два бойца». Однако съемки в этой картине были для актера отнюдь не легкими.
Из двух главных героев фильма к началу съемок режиссер окончательно определился только с одним — Сашу с Уралмаша должен был играть Борис Андреев. А вот на роль Дзюбина претендовали сразу две тогдашние звезды советского кино: Петр Алейников и Николай Крючков. Однако какие-то сомнения относительно двух этих актеров у режиссера все-таки были. Видимо, ему хотелось, чтобы рядом с Андреевым был актер из другой компании, иначе зритель воспринял бы эту картину как продолжение «Трактористов». Поэтому в конце концов от услуг Крючкова и Алейникова решено было отказаться, и роль досталась Бернесу. Вспоминает кинооператор А. Кричевский: «В 42-м году со снятым на фронте материалом я приехал на несколько дней в Москву. Интерес Марка к фронтовой жизни, к моим рассказам о съемках солдат был на этот раз поглощающим. Он готовился к роли Аркадия Дзюбина. Его интересовало все, вплоть до того, подшивают ли солдаты на фронте подворотнички к гимнастеркам (чего я не замечал и на чем настаивали консультанты фильма)».
Между тем едва начался съемочный процесс, как режиссер фильма понял, что роль Марку Бернесу абсолютно не дается. Быстро овладев одесским говором (научился от одного балаклавца, который лежал в ташкентском госпитале), он никак не мог войти в образ настоящего одессита. Прошло уже полтора месяца со дня начала съемок, а дело так и не сдвигалось с мертвой точки. Лукову настоятельно советовали заменить Бернеса на другого актера, но он медлил. И, как оказалось, был прав. Актер все-таки сумел войти в образ А. Дзюбина, нашел точные, вдохновенные краски. Во многом ему помог случай. Например, внешность своему герою он нашел в обычной парикмахерской. В тот день молодая и неопытная ученица обкорнала его почти «под ноль», но увидевший его Луков внезапно воскликнул: «Это как раз то, что надо!»
Так же случайно появилась в фильме и песня «Темная ночь». Вот что вспоминает об этом композитор Н. Богословский: «В фильме никакие песни поначалу не планировались, должна была звучать только оркестровая музыка. Но как-то поздно вечером пришел ко мне режиссер картины Леонид Луков и сказал: «Понимаешь, никак у меня не получается сцена в землянке без песни». И так поразительно поставил, точно, по-актерски сыграл эту несуществующую еще песню, что произошло чудо. Я сел к роялю и сыграл без единой остановки всю мелодию «Темной ночи». Это со мной было первый (и, очевидно, последний) раз в жизни… Поэт В. Агатов, приехавший мгновенно по просьбе Лукова, здесь же, очень быстро, почти без помарок написал стихи на уже готовую музыку.
Дальнейшее происходило как во сне. Разбудили Бернеса, отсыпавшегося после бесчисленных съемочных смен, уже глубокой ночью (!) раздобыли гитариста, поехали на студию и, в нарушение правил, взломав замок в звуковом павильоне, записали песню. И Бернес, обычно долго и мучительно «впевавшийся», спел ее так, как будто знал много лет. А наутро уже снимался в эпизоде «Землянка» под эту фонограмму.
И «Шаланды» тоже придумал Луков. Я долго доказывал ему, что не стоит использовать в фильме чисто одесский колорит: неприятностей потом не оберешься. Напоминал о жесткой критике Утесова, исполнявшего песенки своего родного города, ссылался на незнание этого фольклора, предлагал другие интонационные решения песни. Луков был неумолим.
В помощь мне студия дала объявление: «Граждан, знающих одесские песни, просьба явиться на студию в такой-то день к такому-то часу». Что тут началось!.. Толпой повалили одесситы, патриоты своего города, от седовласых профессоров до людей, вызывающих удивление — почему они до сих пор на свободе? И все наперебой, взахлеб напевали всевозможные одесские мотивы. Потом я, используя городские интонации и обороты этих бесхитростных мелодий, написал свои «Шаланды», за которые, как я и предполагал, хлебнул впоследствии немало горя. Ругавшие меня критики никак не могли понять, что этот персонаж должен был петь именно такую песню, так как салонные романсы или классические арии ему противопоказаны. А Луков, возможно, и предполагая, что «Шаланды» вызовут такую реакцию, все же на исполнении песни в фильме настоял. Он понимал, что она придаст одесситу Аркадию Дзюбину достоверную музыкальную характеристику. И на всех обсуждениях и просмотрах горячо защищал свою позицию».
Фильм «Два бойца» стал вершиной популярности Марка Бернеса. За исполнение главных ролей в этой картине его и Б. Андреева правительство наградило орденами Красной Звезды. А жители Одессы присвоили Марку Бернесу звание «Почетный житель города».
В том же 1942 году Бернес снялся сразу в двух «Боевых киносборниках» — № 8 и № 9. В первом из них актеру пришлось заменять Н. Крючкова в эпизоде о трех танкистах (Б. Андреев, П. Алейников, М. Бернес), после чего отношения с Крючковым у него испортились.
В 1943 году Бернес сыграл первую отрицательную роль: в картине Сергея Герасимова «Большая земля».
В 1945 году режиссер Л. Луков начал съемки второй серии фильма «Большая жизнь» и вновь пригласил в картину Бернеса. Во время этой работы произошел досадный инцидент, о котором рассказывает один из его участников — композитор Н. Богословский: «Внезапно Бернес наотрез отказался петь мою песню «Три года ты мне снилась». Луков вопреки обыкновению не вспылил, а через несколько минут раздумья сказал Марку: «Тогда я тебя снимаю с роли. Мне нужна именно эта песня». Был страшный скандал: взбешенный Бернес, хлопнув дверью, уехал со съемки. Но назавтра все обошлось. Утром Марк явился спокойный, умиротворенный. Доверяя Лукову и искренне его любя, он всю ночь «впевался» в песню, проигрывал ее актерски, и она стала ему нравиться. Так благодаря Леониду Давыдовичу песня эта, прозвучав в фильме, долгие годы оставалась в концертном репертуаре Бернеса».