После успешного окончания кавалерийской школы в сентябре 1927 года направлен на службу в пограничные войска ОГПУ на Дальний Восток. Служил в 59-м Приморском кавалерийском пограничном отряде вначале в должности помощника начальника заставы, затем — командиром сабельного дивизиона маневренной группы. В апреле 1933 года переведен на работу в 58-й Гродековский погранотряд на должность коменданта Барабаш-Левадовского погранучастка Гродековского, ныне Пограничного, района. Служба в пограничных войсках приучила Панюшкина к воинской дисциплине, собранности, требовательности.

В период службы в Гродековском погранотряде привлечен к реализации операции «Фальшивомонетчики», которую проводил на Дальнем Востоке центральный аппарат ОГПУ. Переведен на оперативную работу и прикреплен к Владивостокскому оперсектору ГПУ. В ходе реализации операции выезжал в служебные командировки в Маньчжурию, где с успехом руководил переданной ему на связь агентурой.

В мае 1935 года молодой оперработник зачислен слушателем на основной факультет Военной академии РККА имени М. В. Фрунзе. В августе 1938 года после окончания академии направлен на работу в органы НКВД СССР. Назначен на должность помощника начальника отделения, а в декабре 1938 года становится начальником спецотдела Управления государственной безопасности НКВД СССР.

В июле 1939 года командируется в Китай в качестве уполномоченного Совнаркома СССР по реализации торгового соглашения с этой страной. В том же месяце назначается Полномочным представителем СССР в Китае, одновременно являясь главным резидентом НКВД в этой стране, под началом которого действовали 12 резидентур внешней разведки.

Центр тяжести всей разведывательной работы в Китае в то время переместился во временную столицу Чунцин, где находилось китайское гоминьдановское правительство. Задачи перед 34-летним резидентом и его подчиненными стояли значительные. Необходимо было постоянно отслеживать намерения японской военщины в отношении СССР и Китая, не просмотреть возможного нападения Квантунской армии на советский Дальний Восток. Перед советскими представителями стояла также задача удержать центральное правительство Китая на позициях активного сопротивления японской агрессии.

Советским разведчикам под руководством Панюшкина удалось приобрести ценных источников информации в китайской разведке, ЦИК Гоминьдана и других важных объектах проникновения. Сам резидент установил доверительные отношения с рядом лиц из окружения Чан Кайши, выступавших за укрепление дружбы с Советским Союзом и продолжение войны с Японией.

О том, как работал Панюшкин на начальном этапе своего пребывания в Китае, говорится в одном из документов разведки, относящихся к тому периоду:

«Понимая, что для успешной работы в чрезвычайно запутанной внутриполитической и международной обстановке необходим широкий круг контактов среди государственных, политических и общественных деятелей страны, Панюшкин начал их энергично устанавливать. Не было ни одного дня, по наблюдениям очевидцев из числа оперативных работников резидентур, чтобы он не встречался с кем-либо из авторитетных деятелей Гоминьдана и правящих кругов Китая и не проводил с ними бесед. Цель — воздействие на них в выгодном плане, поиск среди них союзников, заинтересованных в том, чтобы Япония не смогла склонить Китай к капитуляции.

Главному резиденту удалось установить доверительные отношения с рядом лиц, стоявших на позициях укрепления дружбы с СССР, продолжения антияпонской войны и сотрудничества Гоминьдана и КПК, которые были в курсе того, что происходило в высших эшелонах власти и какие решения принимались по различным аспектам внутренней и внешней политики и в определенной степени могли оказать влияние на принятие решений.

В результате Панюшкин быстро вошел в курс происходящих в Китае событий и почти ежедневно информировал о них руководство страны и органов госбезопасности».

При непосредственном участии Панюшкина советским военным советникам удалось убедить Чан Кайши и других китайских военачальников продолжать сопротивление наступлению японских войск, разработав оперативный план обороны города Чаныпа. В этой операции, длившейся около двадцати дней, японцы потеряли 30 тысяч солдат и офицеров, тогда как потери китайской армии были значительно меньше. Бои в районе Чаныпа подняли боевой дух и настроение не только армейских кругов, но и широких народных масс Китая.

Историк Анатолий Горин, изучавший деятельность А. С. Панюшкина в Китае в тот период, в одной из своих работ отмечал:

«Главный резидент, он же Полномочный представитель Советского Союза А. С. Панюшкин, приложил много усилий для предотвращения конфронтации между Гоминьданом и компартией, а также недопущения гражданской войны в стране в 1940–1941 годах.

Руководимые им разведчики не только полно и своевременно информировали Центр об основных проблемах внешней и внутренней политики Китая, деятельности в стране представителей основных стран Запада и Японии, но и за полтора месяца до нападения Германии на СССР получили и направили в Москву оперативный план германского Верховного командования о главных направлениях продвижения немецких войск в войне против СССР, полученный агентурным путем у германского военного атташе. Главная задача резидентур внешней разведки на Дальнем Востоке в конце 1930-х — начале 1940-х годов — не просмотреть возможность нападения Японии на Советский Союз — не снималась с повестки дня до середины 1943 года. Руководимые А. С. Панюшкиным резидентуры успешно справились с этой задачей. За работу в Китае А. С. Панюшкин был награжден орденом Ленина».

К этому следует добавить, что в период работы Панюшкина в Китае за достигнутые результаты в разведывательной деятельности государственных наград СССР были удостоены практически все сотрудники чунцинской резидентуры.

По командировке в Китай Панюшкин характеризовался руководством разведки как самоотверженный, целеустремленный и деятельный работник, тонкий дипломат, хороший организатор и умелый руководитель, чуткий и внимательный товарищ.

А один из ветеранов разведки, в самом начале своей оперативной деятельности работавший под его руководством в чунцинской резидентуре, позже вспоминал:

«Он был энергичным, обаятельным человеком, требовательным к себе и другим. Простота, скромность, принципиальность, чуткость и внимание к людям, особенно к молодым сотрудникам, снискали ему большое уважение коллектива советской колонии в Чунцине».

Возвратившись в Москву в сентябре 1944 года, А. С. Панюшкин был переведен на работу в аппарат ЦК ВКП(б). Занял должность 1-го заместителя заведующего отделом международной информации ЦК партии и проработал на ней до мая 1947 года.

В мае 1947 года вновь возвратился на работу во внешнюю разведку и был назначен главным секретарем Комитета информации при Совете министров СССР, как тогда она называлась.

В октябре 1947 года направляется Чрезвычайным и Полномочным Послом СССР в США и одновременно становится главным резидентом советской внешней разведки в этой стране. В 1948–1953 годах являлся также представителем СССР в Дальневосточной комиссии.