Свое намерение передать коллекцию городу Вальраф высказывал не раз, но при условии, что она будет доступна публике. В 1824 на основании завещания его художественное собрание отошло Кельну. На базе коллекции Вальрафиума (так в то время назывался музей) в дальнейшем сформировались многие музеи города, университетская и городская библиотеки и исторический архив, один из крупнейших в Европе.

Впервые обширное собрание Вальрафа было выставлено в здании бывшей резиденции архиепископа, расположенном напротив Кельнского собора. Сразу стало очевидно, что строение XVIII века мало для коллекции. Еще в 1828 Якоб Игнац Хитторф, ученик Вальрафа, археолог и архитектор, осознавая необходимость расширения, представил план реконструкции музея, но из-за нехватки средств не смог его осуществить. В 1854 кельнский предприниматель Иоганн Генрих Рихарц пожертвовал значительную сумму на возведение нового здания, но при одном условии: он хотел, чтобы архитектором был Эрнст Фридрих Цвирнер. Городской совет принял и этот дар, и это условие, имя Иоганна Генриха Рихарца было наряду с именем Вальрафа включено в название музея, открывшегося 1 июля 1861 в новой постройке, возведенной на месте бывшего монастыря миноритов, между Рейном и Кельнским собором.

В XVIII веке другие музеи принципиально отличались от музея Вальрафа — Рихарца: зачастую это были королевские собрания, отражавшие вкусы двора, и предметом коллекционирования в них являлась, как правило, итальянская живопись. Кельн же никогда королевской резиденцией не был, и его художественное собрание скорее отражало вкус буржуазии. Это «понижение» в социальном статусе, несомненно, спровоцировало появление коллекций нового типа — собрания раритетов, «маленьких сокровищниц».

После поражения Германии в Первой мировой войне и самопровозглашения города столицей Рейнской республики территория Кельна вновь оказалась в зоне французской оккупации. Однако эти политические события не повлияли на развитие городской жизни. Снова открылся университет, коллекция пополнилась значительным количеством работ современных художников-авангардистов.

По-настоящему черные времена настали для музея с приходом к власти фашистов. Имена Гогена, Сезанна, Пикассо, Матисса, Мунка, Кандинского оказались вычеркнутыми из истории искусства, их работы были изъяты из всех собраний Германии, музей Вальрафа — Рихарца не оказался исключением.

В 1942 британская авиация практически уничтожила Кельн. После войны его восстановлением занялся новый канцлер Германии Конрад Аденауэр, бывший ранее бургомистром города. Восстановительные работы в Кельне продолжались вплоть до 1980-х.

В 1956 на месте разрушенного здания было построено новое. В 1976 супруги Ирена и Петер Людвиг, промышленники из Аахена, передали в дар музею свое собрание американского и европейского искусства XX века (всего порядка 350 работ). В 1986 было решено перевести коллекцию Вальрафа — Рихарца и семьи Людвиг в другое здание недалеко от Кельнского собора, а в прежнем разместить Музей прикладного искусства. Со временем произведения XX века были отделены и основан новый музей Людвига. Оба собрания продолжали соседствовать под одной крышей, пока в 1994 Людвиг не решился передать в дар многочисленные работы Пикассо. Из-за катастрофической нехватки помещений власти города приняли решение о строительстве отдельного здания для музея Вальрафа — Рихарца.

Музей, по проекту архитектора Освальда Матиаса Унгерса выполненный в форме куба, был открыт 19 января 2001. В том же году предприниматель Герард Корбо передал музею свое собрание импрессионистов и постимпрессионистов, поэтому сегодня его официальное название — музей Вальрафа — Рихарца и фонд Корбо.

Сегодня он представляет собой крупнейшее собрание живописи от эпохи Средневековья до конца XIX века. Отдел Средневековья находится на первом этаже, его обширная коллекция алтарей как кельнских, так и европейских мастеров является одной из лучших в мире. На втором этаже итальянская, фламандская, голландская живопись XIV–XVII веков представлена произведениями Тициана, Рубенса, Рембрандта, Ван Дейка и Йорданса. На третьем этаже работы романтиков и реалистов соседствуют с полотнами импрессионистов и постимпрессионистов. Произведения Буше, Каналетто, Фридриха, Курбе, Будена, Мунка дают полную картину развития искусства от XVIII до XX века. Коллекция фонда Корбо представлена работами Писсарро, Моне, Ренуара, Кайботта, Сезанна, Гогена, Ван Гога.

Музей также обладает весьма обширным собранием графики: роскошные миниатюры на пергаменте, редкие подготовительные рисунки великих художников (Леонардо да Винчи, Рафаэля, Рубенса, Энгра), а также печатная графика.

Традиция взаимодействия города, музея и коллекционеров сохраняется и обогащается. Значительную часть новых поступлений составляют дары, собиратели оказывают существенную поддержку в организации временных выставок. В 2008 был запущен специальный проект для детей — «Музейный автобус». На этом транспорте школьников Кельна и пригородов бесплатно привозят в музей, рассказывая по пути историю возникновения коллекции.