Гейдрих в службе СД располагал примерно 3 тысячами агентов. У них были официальные конторы, чью деятельность, особенно в маленьких городах, трудно было держать в секрете. Но гласность могла нанести ущерб разведывательной работе. Против Гиммлера и Гейдриха росла ненависть; после 30 июня и убийств, совершенных «мстителями Рема», возникла необходимость создания «параллельной» секретной сети. Исходя из этого, Гейдрих приступил к подбору «добровольных членов».

С самого начала своего существования СД, как и все разведывательные службы, пользовалась осведомителями, которых стыдливо окрестили «добровольными членами». Название это было отчасти правильным, потому что большинство из них не получали жалованья, если не считать премий за конкретные дела или возмещения расходов, а занимались шпионажем в соответствии со своими политическими убеждениями или личными вкусами. До взятия власти служба СД насчитывала от 30 до 50 постоянных сотрудников, не более; немногим больше было количество «добровольных членов».

С середины 1934 года число постоянных агентов СД стало быстро расти, причем количество «добровольных членов» росло еще быстрее и достигло в конце концов 30 тысяч. Эти тайные агенты подбирались во всех социальных слоях. Слежке подвергалось, например, большинство преподавателей высшей школы; добровольные агенты, завербованные среди студентов, записывали их лекции и передавали конспекты в СД. Это позволяло судить о политических позициях преподавателей. К концу войны большинство осведомителей составляли женщины. Добровольцев называли теперь «доверенными людьми».

С июля 1934 года Гейдрих начал проводить в СД огромную работу по сбору и обработке документации под предлогом разработки основ для изучения социальных групп, что позволило бы определить базу политического воспитания, способного обратить в национал-социалистическую веру тех, кто еще придерживался старой идеологии. СД, используя научные и статистические методы, приступила к изучению деятельности ранее существовавших группировок марксистов, евреев, франкмасонов, либеральных республиканцев, верующих, людей свободных профессий, которые могли бы, по мнению нацистов, породить новую оппозицию. Под прикрытием этих идеологических исследований СД создала огромные архивы, которые позволили установить слежку за потенциальными оппозиционерами. Каждый раз, когда политическая обстановка требовала искупительных жертв, в их рядах проводились своего рода облавы.

Формально служба безопасности обладала своего рода монополией на политическую разведку. А вот исполнительной властью СД не располагала, поскольку находилась в структуре гестапо. Только гестапо имело право на аресты, допросы и обыски, а также право на превентивное интернирование, заключение в концлагерь и т. д. Однако службы гестапо всегда вели и собственную разведку, используя в то же время разведданные, получаемые от СД.

Разведывательная работа за границей, наблюдение за политической деятельностью эмигрантов, подготовительная работа к агрессии против других стран и создание «пятой колонны» в них, ведение идеологической войны, позволявшей вербовать союзников и агентов в тылу у противника, потребовали создания второй ветви СД, так называемой «СД-аусланд», или «секретной службы для заграницы». В этой службе числилось не более 400 постоянных сотрудников, вербовавших за границей платных помощников, а также многочисленных добровольных агентов.

Высокий уровень организации СД не был связан с именем Гейдриха. Действительными создателями административной организации СД были оберфюрер доктор Мельхорн, который отличился в ноябре 1939 года в Польше при проведении жесточайших антисемитских преследований, и доктор Вернер Бест, впоследствии рейхскомиссар в оккупированной Дании. Бывший судья доктор Бест пришел в администрацию в 1933 году. Его буржуазное происхождение и юридическое образование очень ценил Гейдрих, который часто его использовал для того, чтобы успокоить важных чиновников, которых еще пугали непривычные для них методы гестапо. Он стал позднее официальным юристом нацистской партии и опубликовал труд, озаглавленный «Германская полиция», ставший настольной книгой в области организации и деятельности полицейских служб. Что касается доктора Мельхорна, этот бывший саксонский адвокат обладал замечательным талантом организатора. Поскольку доктор Бест больше занимался управлением служб, материальным снабжением, общим бюджетом СД и его распределением, он привлек к работе доктора Мельхорна. Их усилиями была разработана система «почетных агентов», избираемых из числа особо «отличившихся» добровольцев, наиболее опытных и компетентных представителей своей профессии. Эти агенты поставляли центральной службе СД ценную информацию, что позволяло им всегда иметь точную картину состояния общества. В техническом плане они превратили СД в самую современную и наиболее оснащенную разведывательную службу Германии, а может быть, и всего мира. Мельхорн, например, довел до высшей степени совершенства картотеку службы. Карточки особо важных с точки зрения политической полиции деятелей были размещены в огромной горизонтальной циркулярной картотеке, содержащей 500 тысяч единиц. А управлял этой громадной машиной один оператор. Диск приводился в действие мотором, и достаточно было лишь нажать кнопку, чтобы мгновенно выдавалась нужная карточка. Появившаяся позднее система перфорированных карточек позволила получить более высокие результаты, но в те времена нигде ничего подобного этой картотеке, вероятно, не существовало. Когда эти сотрудники завершили свою работу, Гейдрих постарался их убрать, чтобы присвоить разработанный ими инструмент. Под предлогом разглашения каких-то данных Мельхорн был отправлен в порядке дисциплинарного наказания с длительным заданием на Дальний Восток и в Соединенные Штаты. Что касается Беста, в 1936 году он перешел в министерство внутренних дел, где занимался полицией безопасности.

После их ухода Гейдрих получил возможность осуществить на практике некоторые из своих идей в области сбора информации. Одним из самых любопытных его творений был «Салон Китти». Извращенные вкусы Гейдриха обусловили его склонность к посещению притонов и других злачных мест Берлина. У него была какая-то особая тяга к домам свиданий, и он любил часами болтать с их персоналом. Гейдрих был немало удивлен, открыв, что клиенты этих домов пускаются откровенничать, причем иногда на личные темы. Конечно, они считали, что девка слушает их по обязанности и такие саморазоблачения не будут иметь никаких последствий. Гейдрих решил использовать это обстоятельство и приказал снять через подставное лицо комфортабельный отель, который после роскошного оформления был превращен в элегантный дом свиданий. В здании техническими службами СД и гестапо было установлено специальное оборудование. Комнаты были буквально набиты микрофонами, так же как и интимные уголки в баре, а в подвалах размещена звукозаписывающая аппаратура. Старый сотрудник криминальной полиции и превосходный эксперт-криминалист, очень рано примкнувший к нацизму, Артур Небе рассказал, что, работая в полиции нравов, получил задание подобрать персонал в этот дом терпимости. Кандидатки прошли строжайший отбор, причем внимание обращали не только на их красоту и обаяние, но более всего на ум, уровень культуры, знание языков и «патриотизм». Шелленберг, рассказывая эту забавную историю, утверждал, что из соображений патриотизма туда попадали не только дамы полусвета, но и представительницы высшего общества.