Историю дивизии можно проследить начиная с 21 июня 1921 года, когда был сформирован полк охраны Берлина. Каждый день ровно в полдень одна из рот полка в сопровождении военного оркестра проходила маршем через Бранденбургские ворота и по Унтерден-Линден. Однако в июне 1922 года полк был преобразован в отряд охраны Берлина фактической численностью около батальона. Наименование «Гроссдойчланд» (буквально — «Великая Германия») он получил лишь в июне 1939 года, когда он был развернут в полноценный полк, состоявший из четырех моторизованных батальонов.
«Гроссдойчланд» был направлен на полигон Графенвер для обучения действиям в качестве моторизованной части. Боевое крещение он получил в составе XIX корпуса Гудериана во время вторжения во Францию, где принял участие в форсировании Мааса, в решающей битве под Седаном и в наступлении к побережью Ла-Манша. Позднее он участвовал в прорыве «линии Вейгана», переправе через Сену и преследовании разваливающейся французской армии. 19 июня полк вступил в Лион.
В июле 1940 года полк получил 17-й мотоциклетный батальон и был направлен в Эльзас, где проходил подготовку к высадке в Великобритании. Впоследствии, усиленный артиллерийскими и зенитными частями, полк «Гроссдойчланд» принимал участие во вторжении в Югославию, где в том числе захватил белградскую радиостанцию. После спешной переброски на север полк принял участие во вторжении в СССР, переправившись через Буг вместе с 7-й танковой дивизией. Он вел бои под Белостоком и Минском (24 июня— 6 июля), преследовал советские войска, отступавшие к Днепру (7–10 июля) и участвовал в прорыве советской обороны по Днепру, где бои шли особенно ожесточенно и нередко доходили до рукопашной (11–14 июля). Полк «Гроссдойчланд» также принимал участие в боях под Смоленском (14–20 июля) и в штурме позиций на Десне (18–23 июля). Он вел оборонительные бои под Ельней (24 июля — 22 августа) и на Десне (18–30 августа), после чего принял участие в сражениях под Киевом и последующем преследовании советских войск (сентябрь 1941 года). Затем полк «Гроссдойчланд» участвовал в боях восточнее города Ромны (26 сентября — 3 октября), в двойном сражении на окружение под Вязьмой и Брянском (10–20 октября) и в последующей попытке наступления на Москву. Он вел упорные бои в районе Тулы с 21 октября по 5 декабря. Когда 6 декабря началось зимнее наступление советских войск, элитный полк понес тяжелые потери, а его мотоциклетный батальон был практически истреблен под Тулой, в районе Колодезной. На 6 января 1942 года потери «Гроссдойчланда» на Востоке составляли 900 человек убитыми, 3056 ранеными и 114 пропавшими без вести, что составляло более половины его численности. Однако полк остался на фронте и понес столь тяжелые потери в боях под Орлом, что его II батальон пришлось расформировать.
Тем временем было сформировано еще несколько батальонов «Гроссдойчланд» и было принято решение развернуть моторизованный полк «Гроссдойчланд» в полноценную моторизованную дивизию. Новая дивизия была сформирована 3 марта 1942 года на полигоне Вандерн под Берлином. Солдаты и офицеры дивизии должны были обладать отличным здоровьем (так, например, не допускалось использование личным составом дивизии очков), быть в отменной физической форме, не иметь криминального прошлого и быть политически благонадежными. Как и ее предшественники, дивизия комплектовалась отборными добровольцами со всей Германии. Неофициально дивизию называли «охраной германского народа». До самого конца войны дивизия «Гроссдойчланд» хорошо проявляла себя в боях. Тем временем в апреле 1942 года старый полк «Гроссдойчланд» был снят с фронта и присоединился к остальной дивизии на Днепре, в Речице.
На 21 мая 1942 года в состав дивизии входили: 1-й пехотный полк «Гроссдойчланд» (три батальона из прежнего моторизованного полка «Гроссдойчланд»), вновь сформированный 2-й пехотный (позднее — фузилерный) полк «Гроссдойчланд» (три батальона), танковый батальон «Гроссдойчланд» (бывший I батальон 100-го танкового полка), вновь сформированный мотоциклетный батальон «Гроссдойчланд», дивизион истребителей танков «Гроссдойчланд» (бывший 643-й дивизион истребителей танков), танковый артиллерийский полк «Гроссдойчланд» (три дивизиона), армейский зенитно-артиллерийский дивизион «Гроссдойчланд» (бывший 285-й армейский зенитно-артиллерийский дивизион), самоходно-артиллерийский дивизион «Гроссдойчланд» (бывший 192-й самоходно-артиллерийский дивизион), танковый саперный батальон «Гроссдойчланд» (бывший 43-й саперный батальон) и танковый батальон связи «Гроссдойчланд» (бывший 309-й батальон связи).
Появившись сначала в составе 4-й танковой армии на южном направлении Восточного фронта в июне 1942 года, дивизия была вскоре переброшена на север, где участвовала в нескольких оборонительных сражениях под Ржевом (10 сентября — 10 января 1943 года). В конце ноября она была практически окружена в долине Лучесы восточнее Ржева несколькими советскими танковыми частями и потеряла более 10 тысяч человек, прежде чем ей удалось выбраться. Тем не менее дивизия оставалась на фронте до января. После спешной переброски на юг дивизия вела бои под Харьковом (19 января — 31 марта 1943 года) и помогла отбить город, после чего была выведена в резерв в Смоленск. Здесь дивизия получила пополнения и, помимо прочего, штаб танкового полка «Гроссдойчланд» (бывший штаб 203-го танкового полка) и II батальон танкового полка «Гроссдойчланд» (бывший II батальон 203-го танкового полка). Ее мотоциклетный батальон был переформирован в танковый разведывательный батальон. Кроме того, дивизия получила IV артиллерийский дивизион, а танковый батальон «Гроссдойчланд» стал I батальоном танкового полка «Гроссдойчланд». 1 июля 1943 года в состав дивизии вошел батальон «тигров», ставший III батальоном танкового полка «Гроссдойчланд», и дивизия стала танковой дивизией по всем параметрам, кроме названия. Фактически она располагала 300 танками и была значительно сильнее средней танковой дивизии 1943 года.
После отдыха и пополнения с конца марта по 5 июля 1943 года дивизия «Гроссдойчланд» в составе 4-й танковой армии участвовала в операции «Цитадель». Дивизия «Гроссдойчланд» вела бои под Курском (5–12 июля), обороняла Харьков, обороняла Орел и Брянск (18 июля — 5 августа), вела оборонительные бои западнее Харькова (6 августа — 14 сентября) и участвовала в отступлении за Днепр (15–28 сентября). Бои были настолько упорны, что к 29 сентября в дивизии остался всего один боеспособный танк. Остаток года дивизия в основном провела в обороне на участке Днепра под Кременчугом.
1944 год не принес отдыха потрепанной дивизии. Она сражалась под Кировоградом (5–16 января), в нижнем течении Днепра (19 января — 6 марта), севернее Николаева и при отступлении к Бугу (7–27 марта). Тем временем дивизия была усилена совершенно новым 26-м танковым полком, полностью оснащенным новыми танками Pz-V «Пантера». Однако большинству из них была суждена короткая жизнь, так как полк был серьезно потрепан в февральских боях под Черкассами. 26-й танковый полк был отправлен на переформирование во Францию, оказался втянутым в бои в Нормандии и вновь присоединился к дивизии только в октябре. К счастью для дивизии «Гроссдойчланд», ее собственный танковый полк также получил подкрепления. Теперь он состоял из I батальона (пять рот на «пантерах»), II батальона (пять рот на Pz-IV) и III батальона (четыре роты на «тиграх»). Однако основным подкреплением дивизии стал 1029-й усиленный моторизованный полк «Гроссдойчланд», сформированный из резервов дивизии. В его состав входили два моторизованных батальона, артиллерийский дивизион и две противотанковые батареи.
К концу марта дивизия «Гроссдойчланд» была вытеснена с территории СССР в Румынию. Она сражалась на севере Бессарабии и в Прикарпатье (27 марта — 25 апреля), вела оборонительные бои на севере Молдавии (26 апреля — конец мая) и участвовала в контратаках севернее Ясс (2–6 июня).
Во время майского затишья фузилерный полк «Гроссдойчланд» был отведен в тыл и на некоторое время вернулся в Германию, где был полностью оснащен полугусеничными бронетранспортерами. Однако и этот полк, и моторизованный полк «Гроссдойчланд» понесли такие потери, что в них пришлось расформировать четвертые батальоны. Фузилерный полк вернулся на фронт как раз к началу контрнаступления под Яссами, где он понес огромные потери, вследствие которых пришлось расформировать I батальон. Вскоре после этого был расформирован 1029-й полк «Гроссдойчланд», а остатки его личного состава были использованы для восстановления I батальона фузилерного полка. После Ясс танковый саперный батальон «Гроссдойчланд» был усилен почти до уровня полка.
