В 1970 году Алексей Иванович получил письмо от жителей Диканьки:

«Мы знаем, что в сентябре 1941 года Вы командовали полком “катюш” и дали первый залп из Диканьки (первые залпы на Полтавщине). Ваши бойцы называли тогда свое оружие “чудо-пушка”. Вы задержали немцев на 14 суток, уничтожили много живой силы и техники врага.

Мы, жители Диканьки, решили поставить в парке им. Гоголя памятник первым “катюшам” и хотим просить Вас, чтобы Вы прислали нам свои воспоминания. Может, у Вас есть фотографии ваших товарищей, фронтовые газеты, плакаты или какие другие материалы, связанные с первыми залпами “катюш” под гоголевской Диканькой.

Вышлите по адресу: УССР, Полтавская область, пос. Диканька, Исторический музей или Райвоенкомат. Помогите нам через Министерство обороны закупить установку “катюши” образца 1941 года. Мы ее поставим на пьедестал и напишем фамилии воинов, которые дали залп под Диканькой. Наша молодежь, идущая служить в Советскую Армию, возле памятника “катюшам” будет получать первые уроки мужества. Когда будет построен памятник, мы Вас пригласим на открытие». Далее шла приписка: «В Диканьку летом приезжает много туристов, наших и зарубежных, они спрашивают о залпе “катюш”. В музее нет никаких материалов, а люди-то знают — это история».

В поселке Диканька в парке им. Гоголя в 1970-е годы по просьбе жителей поселка при помощи Нестеренко был установлен памятник «катюшам» его полка — реактивная установка БМ-13 на постаменте. На открытие памятника вместе с ветеранами полка был приглашен Нестеренко, которому благодарные жители присвоили звание почетного гражданина Диканьки. После войны в Диканьке неоднократно встречались ветераны 4-го гвардейского минометного полка, на эти встречи приезжали и ветераны — представители других ГМЧ.

Из воспоминаний Нестеренко: «На участке обороны 14-й кавалерийской дивизии наш полк действовал с 24 сентября по 1 октября 1941 года. В это время дивизия не только удерживала занимаемый рубеж, но и смогла продвинуться вперед своим левым флангом на 12–15 километров. Все дивизионы нашего полка включились в активные боевые действия и своими батарейными и дивизионными залпами срывали каждую попытку врага сосредоточить на каком-либо участке свои силы и перейти в наступление. Вот как сказано о боевой работе нашего полка в это время в журнале боевых действий дивизии: “…B 11.00 один дивизион 4-го гмп открыл огонь по Федоровке, где сосредоточилась конница противника. После обстрела гитлеровцы бежали, оставив Федоровку. Всего перед фронтом дивизии действовало 3–4 батальона пехоты и до 5 батарей врага. Противнику нанесены большие потери артогнем 4-го гмп. В течение всего дня в Стаси немцы хоронили убитых…”

…За время боев под Лисичанском, с 19 ноября по 2 декабря, наш полк произвел 116 батарейных залпов. Всего было выпущено 6392 снаряда. Мы принимали все меры, чтобы помочь частям 49-й кавалерийской и 320-й стрелковой дивизиям овладеть Богдановкой, Золотаревкой, Малым Рязанцевом и Мессарошем.

Мы проводили ночные огневые налеты. Выводили на открытые позиции зенитные 37-миллиметровые батареи. Они внезапно появлялись со стороны леса и открывали беглый огонь по огневым точкам врага. В то же время с закрытых позиций мы давали минометный залп по расположению минометных батарей противника в районе Богдановки. Цель была одна — уничтожить как можно больше живой силы противника».

После Диканьки полк переброшен под Харьков в район населенного пункта Мерефа, где в одном из боев по личной инициативе Нестеренко впервые в истории гвардейских минометных частей дивизион М-13 вел огонь по вражеской колонне прямой наводкой.

Во время боев на Харьковщине комиссар полка Радченко побывал в Харьковском горкоме партии. Он решил организовать выпуск многотиражки. В горкоме на его просьбу откликнулись охотно, и комиссар получил портативное типографское оборудование, запас шрифтов и бумаги. Через несколько дней в Старобельске вышел первый номер полковой газеты «Гвардеец». Младший политрук Туманов оказался опытным и инициативным редактором, а гвардеец Щербак прекрасным наборщиком. Многотиражка освещала боевую жизнь подразделений полка, партийно-политическую работу, рассказывала об отличившихся в боях. Ракетчики читали ее с неменьшим интересом, чем любую центральную газету.

Впоследствии в «Гвардейце» была напечатана песня «Катюша», написанная самодеятельным поэтом гвардии рядовым Э. К. Талалаевским. Вот ее текст:

Со 2 по 18 ноября 1941 года полк своими силами проводил в Старобельске ремонт боевых и транспортных машин, накапливал боеприпасы, которые специальными эшелонами доставлялись из Москвы. Здесь отремонтировали и часть автобусов с ценностями Харьковского отделения Госбанка. Когда немного подморозило и окрепли дороги, «денежную» колонну отправили в Ворошиловград (ныне Луганск), где все ценности сдали в Государственный банк. За это полк впоследствии получил благодарность от Верховного главнокомандующего И. В. Сталина и 12 боевых машин с именными табличками на кабинах. Эти машины прибыли в полк уже под Сталинградом. Вручили их самым отважным расчетам.