Вооружение «Харькова» тоже было почти крейсерское: 5 – 130-мм орудий главного калибра, 2 – 76,2-мм и 4 – 37-мм зенитных орудия, 6 – 7,62-мм пулеметов, 2 – 4-трубных 533-мм торпедных аппарата, 2 бомбосбрасывателя глубинных бомб. Помимо этого корабль мог принять на борт и обеспечить постановку 76 мин. Штатный экипаж «Харькова» составлял 344 человека.
Первым командиром «Харькова» был Ф.С. Марков, человек непростой судьбы. В 1937 году, будучи капитаном 2-го ранга и старпомом командира крейсера «Коминтерн», он был репрессирован. Проведя в застенках НКВД почти год, Марков так и не признал своей вины. В 1938 году, после освобождения, он был сразу назначен командиром лидера эсминцев «Харьков», спустя год стал командиром крейсера «Коминтерн», затем командовал бригадой крейсеров ЧФ, был начальником штаба эскадры кораблей ЧФ, стал контр-адмиралом и умер в 1956 году.
Следующим командиром «Харькова» был капитан 3-го ранга П.А. Мельников, которого с ноября 1942 года сменил капитан 3-го ранга П.И. Шевченко. Первым военным комиссаром лидера был Г.И. Фомин, затем батальонный комиссар Е.Ф. Алексеенко. С сентября 1943 года заместителем командира по политчасти «Харькова» являлся капитан 3-го ранга И.А. Крикун.
С первых дней войны «Харьков» самым активным образом участвовал в боевых действиях. Так, уже 23–25 июня 1941 года лидер принял участие в постановке оборонительных заграждений у Севастополя.
26 июня совместно с лидером «Москва» нанес артиллерийский удар по главной базе фашистского флота на Черном море – румынскому порту Констанца. Это была первая набеговая операция Черноморского флота. В 20 часов 15 минут 25 июня ударная группа кораблей ЧФ («Харьков» и «Москва») вышла из Севастополя. Отряд поддержки (крейсер «Ворошилов», эсминцы «Сообразительный» и «Смышленый») вышел в 20 часов 40 минут. Общее руководство операцией осуществлял командир отряда легких сил контр-адмирал Т.А. Новиков. Ударной группой командовал командир 3-го дивизиона эсминцев капитан 2-го ранга M.Ф. Романов (флаг на лидере «Харьков»). Переход в район боевых действий был осуществлен без помех.
26 июня в 4 часа 42 минуты ударная группа с поставленными параванами подошла к кромке минного заграждения и уменьшила скорость до 20 узлов. Через несколько минут в правом параване шедшего головным флагманского лидера «Харьков» взорвалась мина. «Харьков» дал малый ход, и в голову вышел лидер «Москва». В 5 часов 02 минуты лидеры вышли в точку начала стрельбы и открыли огонь из орудий главного калибра. Уже после первых залпов на берегу взметнулось пламя большого пожара в районе нефтяных баков. Через несколько минут после начала стрельбы по лидерам открыла огонь крупнокалиберная береговая батарея, о которой на кораблях сведений не имели, а чуть позже – два вражеских эсминца, которые находились на рейде и не были вовремя обнаружены. В 5 часов 06 минут лидеры были накрыты артиллерийским залпом. Несмотря на близкие разрывы снарядов, лидеры продолжали выполнять задачу. Только выпустив предусмотренное количество снарядов, в 5 часов 12 минут командир ударной группы дал приказание прекратить огонь и начать отход. «Харьков» начал отходить с постановкой дымовой завесы. Для снижения эффективности стрельбы врага лидеры увеличили ход до 30 узлов и перешли на движение противоартиллерийским зигзагом. По всей вероятности, маневрируя на такой скорости, лидер «Москва» потерял оба паравана. В 5 часов 20 минут он подорвался на мине, разломился в районе первого котельного отделения и стал быстро тонуть. Появившиеся в это время над кораблями вражеские самолеты расстреливали из пулеметов плавающих на воде людей. Попытка «Харькова» оказать помощь погибающему кораблю не увенчалась успехом – он был сам накрыт огнем батареи и атакован самолетами врага. От близких разрывов бомб и снарядов корабль получил сильные сотрясения корпуса. Потекли водогрейные трубки в котлах, стало падать давление пара, ход снизился до 6 узлов. Корабль оказался перед угрозой стать неподвижной мишенью для врага. Нужно было, не охлаждая котлов, влезть в топку и ликвидировать повреждения. Котельный машинист Петр Гребенников не колебался ни минуты. Товарищи принесли ему асбестовый костюм, густо смазали лицо вазелином. Но все это мало помогало в дышащей жаром топке. Сухой, горячий воздух обжигал легкие. Однако Гребенников упорно искал повреждения, пока его не вытащили из топки почти без сознания. Облившись водой, он вновь полез в котел. Лишь с третьей попытки Гребенникову удалось заглушить лопнувшие трубки. Следуя примеру своего товарища, краснофлотец Петр Каиров устранил повреждения в другом котле. Корабль получил возможность увеличить ход до 12 узлов.
В это время лидер атаковала вражеская авиация, но все ее атаки были отбиты, при этом зенитчики сбили два самолета. Для оказания помощи «Харькову» командир группы поддержки направил эсминец «Сообразительный». В 5 часов 55 минут корабли вышли из зоны обстрела. В 6 часов 53 минуты эсминец, а затем лидер (по их докладу) подверглись атаке подводной лодки. От выпущенной торпеды корабли уклонились, после чего эсминец атаковал ее глубинными бомбами. В течение последующих 6 часов корабли, меняя курсы и скорость, ведя зенитный огонь, вышли из-под атак самолетов. В 13 часов 26 минут на «Харьков» и сопровождающие его корабли была предпринята последняя атака самолетов врага, которую корабли отбили. В 21 час 09 минут корабли прибыли в Севастополь.
Несмотря на потерю лидера «Москва», задача, поставленная кораблям, была выполнена. Вызванный обстрелом пожар уничтожил большие запасы нефти, был взорван железнодорожный состав с боеприпасами, повреждены вокзал и железнодорожные пути. Все это привело к длительным затруднениям с доставкой нефти в Констанцу, было прервано сообщение с Бухарестом. Высоко оценил результаты набега на Констанцу и противник. Увы, но набеговая операция на Констанцу стала первой и последней успешной набеговой операцией Черноморского флота в Великой Отечественной войне. Краснофлотцы П. Гребенников и П. Каиров за свой подвиг первыми на эскадре ЧФ были награждены орденами Красного Знамени.
Об интенсивной боевой деятельности лидера «Харьков» в последующие месяцы войны свидетельствуют записи из его корабельного журнала: «24 марта 1942 года. Из Туапсе перешли в Новороссийск. Оттуда совместно с эсминцем «Свободный» вышли в Севастополь. Доставили 271 человека маршевого пополнения, 150 тонн флотского и 250 тонн армейского боезапаса. В тот же день вышли в Новороссийск.
27 марта. С эсминцами «Незаможник», «Шаумян» и двумя СКА из Новороссийска снова ушли в Севастополь, охраняя транспорт «Сванетия». На Инкерманских створах были обстреляны артиллерией противника.
31 марта. «Харьков» и «Свободный», базовый тральщик «Гарпун» в составе охранения транспорта «Абхазия» вышли из Новороссийска в Севастополь. На Инкерманских створах были обстреляны артиллерией противника.
2 апреля. Лидер «Харьков» и эсминец «Свободный», стоя в Северной бухте, вели огонь по артиллерийским батареям противника. Три батареи подавлены. Личный состав лидера получил благодарность от командующего флотом.
3 апреля. Вышли с эсминцем «Свободный» из Севастополя в Туапсе, охраняя транспорт «Абхазия». Перешли из Туапсе в Новороссийск 6 апреля.
8 апреля. Очередной выход в Севастополь. Снова совместно с эсминцем «Свободный» лидер конвоировал транспорт «Абхазия». Переход совершали ночью. На переходе морем корабли дважды подвергались ударам авиации».
Во время перехода из Новороссийска в Севастополь 4 июня 1942 года в 50 милях от мыса Киик-Атлама «Харьков» был атакован пятью бомбардировщиками противника, которые сбросили 14 бомб, взрывавшиеся в радиусе 50 м от корабля. Резко маневрируя на полном ходу, лидер стал плохо слушаться руля. Благодаря энергичным действиям личного состава под руководством командира БЧ-5 инженер-механика Г.А. Вуцкого рулевое устройство перевели на ручное управление».
Приходилось команде «Харькова» и спасать погибавших товарищей. Так, 6 марта 1942 года лидер «Харьков», принимавший маршевое пополнение, боезапас и продовольствие в Новороссийске, рано утром получил приказ срочно выйти в море для оказания помощи эсминцу «Смышленый», подорвавшемуся на мине в районе мыса Железный Рог (Керченский пролив) на месте наших минных полей. Прекратив прием пополнения, боезапаса и продовольствия, лидер около 9 часов вышел из Новороссийска. К моменту его подхода, около 12 часов, тяжело поврежденный «Смышленый» своим ходом уже вышел с минного поля, и лидеру осталось только возглавить отряд (лидер, эсминец, тральщик) для следования в Новороссийск. Однако ночью из-за сильного ветра (норд-ост 6 баллов, волнение моря 5 баллов) и затопления 2-го котельного отделения эсминец не смог управляться, и «Харьков» попытался взять его на буксир. В течение 20 минут лидер вел эсминец. Волны были такие, что перекатывались через палубу корабля. Сильный северо-восточный ветер и большая парусность лидера уводили его с курса. Буксируемый, неуправляемый, наполовину залитый водой «Смышленый» волнами развернуло и опрокинуло. В 8 часов 6 минут 7 марта эсминец, потеряв запас плавучести, сел на корму и, возвратившись на ровный киль, быстро затонул на 25-метровой глубине. Через минуту на месте гибели «Смышленого» раздались три подводных взрыва в опасной близости от лидера. Очевидно, взорвались сорвавшиеся со стеллажей глубинные бомбы. От сильных гидравлических ударов на лидере стали выходить из строя механизмы и приборы: из нактоуза вылетел магнитный компас, у рулевого сорвало репетир с гирокомпаса. Взрывами разметало многих спасшихся. Лидер, не спуская на воду из-за шторма спасательных средств, стал заходить с наветренной стороны, чтобы прикрыть находившихся в воде людей своим бортом от ветра. Более 2 часов «Харьков» маневрировал на месте гибели «Смышленого», но ледяная вода делала свое дело – люди погибали от переохлаждения. Смогли спасти лишь двух моряков – сигнальщика П. Тараторина и артиллериста главстаршину А. Егоршина (по другим данным, артиллерийского электрика Н. Булыгина). На одном из разворотов лидер на полном ходу врезался в гребень волны «девятого вала». Носовая часть не взошла на волну. Огромная масса воды прогнула палубу полубака, образовав трещину. Вертикальные подпоры палубы полубака в кают-компании оказались согнутыми в дугу. Пришлось вместо Новороссийска следовать в Поти только по волне, поскольку в такой жесточайший шторм идти против волны было весьма рискованно. Там же лидеру произвели экстренный ремонт – откачали воду из затопленных помещений, выпрямили подпоры, восстановили поврежденную палубу полубака, погнутые люки, двери и кранцы.
