Структуру японской секретной службы трудно скопировать из-за ее размытости и широчайшей рассредоточености. Она состояла из 4 крупнейших агентств, работавших на равных, несмотря на то что в министерстве иностранных дел существовало подобие Центрального разведывательного управления.

Это отделение секретной службы работало под номинальным руководством министра иностранных дел. Инструкции, даваемые агентуре, нередко подписывались лично министрами. МИД поставляло резидентов сетей за рубежом. Оно обеспечивало в посольствах и дипломатических представительствах функционирование соответствующих резидентур. Оно отвечало и за технические службы, предоставляло документы, удостоверяющие личность (включая поддельные), производило необходимые выплаты и обслуживало линии связи.

Постановка на якорь секретной службы в дипломатическом механизме Японии тяжело сказалась даже в мирное время и возымела катастрофические последствия во время войны. Разрыв дипломатических отношений не мог не разрушить шпионскую систему Японии, причем именно там и тогда, когда и где это было наиболее срочно необходимо. Это произошло в Соединенных Штатах 7 декабря 1941 года, когда японское посольство закрылось. С отъездом его сотрудников был демонтирован весь аппарат японского шпионажа в Соединенных Штатах. Вся шпионская деятельность переместилась в посольство Японии в Рио-де-Жанейро в Бразилии, затем в Аргентину и Чили, а это было слишком далеко от США, чтобы оставаться эффективной.

Отдел военно-морской разведки был другим главным отделением службы, и это, естественно, играло весьма важную роль в ходе приготовлений к удару по Пёрл-Харбору. Было несколько странным совпадением, что Китисабуро Номура, посол Японии в Вашингтоне как раз в период нападения на Пёрл-Харбор, в свое время стоял во главе военно-морской разведки. Она функционировала более-менее в рамках традиций при этом адмирале имперского военно-морского флота.

Военная разведка управлялась 3-м отделом имперского Генерального штаба. Его важность подчеркивалась тем, что его начальник обычно был в звании генерал-лейтенанта или по крайней мере генерал-майора. Служба была децентрализована, и различные армии, дислоцированные за рубежом, как Квантунская армия в Маньчжурии, имели собственные, автономные разведслужбы.

Четвертый эшелон, контрразведка, был поделен надвое: он состоял из «кемпетаи» (Kempetai), выполнявшего функции тайной полиции армии, и «токкока» (Tokkoka), столичной полиции Токио, особое (политическое) отделение которого в основном отвечало за контрразведку. Тот самый «токкока» осенью 1941 года и разгромил сеть Зорге. До этого этот контрразведывательный отдел расправился с британской сетью, предположительно возглавляемой корреспондентом агентства Рейтер в Токио Джеймсом М. Коксом.

Эти две организации тайной полиции разделяют вину за сомнительную репутацию Японии. Их методы допроса были безжалостны и жестоки. Пытки, которым они подвергли Кокса, привели его к самоубийству. Японцы были изобретательны по части жестокостей и противозаконных методов ведения расследований и ни для кого из подозреваемых в шпионаже исключений не делали. Одним из них был и Отто Толишус, токийский корреспондент «Нью-Йорк тайме» в период атаки на Пёрл-Харбор. В книге, которую он написал после освобождения и возвращения в Соединенные Штаты, он представил шокирующую картину японских «следователей», куда больше напоминавших объездчиков лошадей.

Шпионаж Японии против США имел место еще в 1920-е годы; всеми операциями заправлял военно-морской атташе Японии в Вашингтоне. Он работал в окружении пестрой толпы не очень перегружавших себя службой агентов как в форме, так и в штатском, которые действовали под разного рода тщательно продуманными прикрытиями. Возможно, некоторые и отнюдь не худшие агенты шпионы Японии действовали в США как раз в этот полусонный период мира, но скорее всего их было не так уж и много. До нападения на Пёрл-Харбор японский шпионаж в США переживал безмятежные денечки. Тогда в середине 1930-х годов военно-морским атташе в Вашингтоне был некий капитан Тэмон Ямагучи. Это был единственный период, когда японцам удавалось завербовать коренных американцев (включая и бывших служащих американских военно-морских сил). Заместитель Ямагучи, Тосио Миядзаки, убедил уволенного из ВМС США Уильяма Томпсона стащить для него несколько секретных наставлений и снабдить его кое-какими сведениями тактического характера. Ямагучи искал подходы к бывшему командиру Джону С. Фарнсуорту, пытаясь получить подобную информацию и от него. Но обоих бывших служащих американского флота арестовали до того, как они нанесли серьезный ущерб флоту.

Третье лицо, которое Ямагучи пытался включить в список своей агентуры, был человеком сугубо штатским, работавшим на военно-морском оружейном производственном предприятии в Вашингтоне. Этот человек сообщил о контакте с японцем в военно-морскую разведку, ему дали указания продолжать знакомство и снабдили фальшивыми чертежами якобы нового восьмидюймового снаряда. Ямагучи был в восторге и за это отвалил «агенту» 500 долларов в новых, хрустящих американских банкнотах. Американские власти, не желая терпеть у себя под боком японского шпиона, выслали его из страны, и Ямагучи вынужден был покинуть Вашингтон. Эту пробоину Япония заделала нескоро.

После Ямагучи в США прибыла целая свора японской агентуры. На улице Калле, 10а в Колоне в Панаме существовала галантерейная лавка, принадлежавшая привлекательной, всегда изящно и со вкусом одетой женщине бальзаковского возраста, некой Лоле Осава. Разумеется, это был ее псевдоним и ее магазин существовал лишь для маскировки. Женщина эта в действительности была Чийо Морасава, супруга японского военно-морского офицера, вместе с которым она создала шпионский дуэт, специализировавшийся на секретах Панамского канала. Ее магазин играл роль местной штаб-квартиры для одной из нескольких японских агентурных сетей, рассеянных повсюду в Панаме с 55 филиалами, в том числе и мужскими парикмахерскими.

Карибское море было наводнено японскими рыболовными судами, занимавшимися сбором информации под бдительным взором некоего Кетарино Кабаямы, обходительного мужчины с тихим, мягким выговором, который и на самом деле носил фамилию Кабаяма и служил капитаном на имперском военно-морском флоте Японии. Улов Кабаямы отправлялся в Японию неким Шоичи Йокои, якобы бизнесменом-экспортером, на самом деле командором Масаказу Йокои. Целая огромная флотилия подобных рыболовецких шхун бороздила воды Тихого океана вдоль западного побережья США от Аляски до Мексики, и на борту каждой находился соответствующим образом обученный и проинструктированный сотрудник японской секретной службы. В Ванкувере, Британская Колумбия, Канада, группа японцев (все до одного родственники) с головой ушли в скупку и эксплуатацию бензозаправочных станций и топливных фирм. Все эти люди были японскими агентами, получающими якобы законным способом доступ к горюче-смазочным материалам, которые тайно закачивали и тайно хранили в надежно замаскированных резервуарах, располагавшихся, как правило, в труднодоступных местах на скалистых берегах.

Очень немного оставалось мест вдоль такого доступного Западного (и не только Западного) побережья Соединенных Штатов, где бы не действовал хотя бы один представитель японской секретной службы.