Когда строительство закончилось, половина квартир в доме была уже сдана, музей и все учреждения работали полным ходом. Однако денежная часть, руководимая Хоршем, пришла в расстройство. Дополнительные этажи (включая большой ресторан, построенный по прихоти Хорша) оказались ненужными и явно убыточными. Хорш начал откладывать перевод банку обусловленных сумм, что заставило банк два года спустя потребовать уплаты через суд. В этих условиях Хорш стал настаивать на том, чтобы все доходы с активно работающих других учреждений — института и «Корона Мунди» — поступили в его руки, а он употребит их на уплату банку. Эти требования (совершенно незаконные) привели к хаосу в делах учреждений. Пришлось приостановить устройство новых выставок, лекций, работу многих классов, плату преподавателям.

Судебный процесс с банком продолжался около трех лет. Общественное мнение было на стороне музея, происходили публичные собрания при участии представителей просветительных учреждений, университетов, музеев, видные культурные деятели открыто выступали в защиту музея, указывая на его значение в культурной жизни страны. Со всех сторон шли требования о сохранении музея и его деятельности. В мае 1935 года суд вынес постановление об отсрочке платежей для улучшения финансового положения музея.

В апреле 1934 года состоялся последний приезд Рериха в Америку, когда он принял предложение Департамента земледелия организовать экспедицию по отысканию засухоустойчивых трав в Китае и Монголии. Рерих прибыл в Нью-Йорк со своим сыном Юрием Николаевичем, также приглашенным участвовать в этой экспедиции. В конце апреля Рерих с сыном оставил Америку.

В июне 1935 года Л. Хорш и Э. Лихтман (одна из сотрудниц музея) поехали в Осло, якобы для совещаний с Комитетом по Нобелевским премиям по вопросу о присуждении Рериху Нобелевской премии мира. Связь и переговоры с этим комитетом были начаты в предыдущие годы, и члены его благоприятно относились к этой идее. По возвращении Хорша в Америку он продолжал руководить денежными делами всех учреждений. В июле на очередном собрании директоров музея Хорш неожиданно объявил о своем нежелании продолжать деятельность музея, а также об отстранении Рериха от руководства. К Хоршу присоединились его жена Нэтти Хорш, Эстер Лихтман и Сидней Ньюбергер — директора музея и других связанных с ним учреждений. Остальные четыре директора — М. Лихтман, Ф. Грант, 3. Лихтман и С. Шафран — были потрясены этим решением, зная, что все официальные документы музея и всех учреждений, а также доверенность Рериха на ведение всех дел и акции остальных директоров находились в руках Хорша. Как выяснилось позже, Хорш и его сообщники при содействии своих адвокатов подготовили новые, подложные документы, удостоверяющие, что музей с 1006 картинами Рериха, институт и «Корона Мунди» со всем их имуществом, русскими иконами, ценнейшими коллекциями тибетских танок и священных книг принадлежат Хоршу.

Снестись с Рерихом было невозможным, ибо он находился в экспедиции в Монголии, а Е.И.Рерих в Индии была серьезно больна. Четырем директорам, находившимся в Нью-Йорке, пришлось начать судебный процесс против Хорша и неслыханного захвата им и его сообщниками музея. Во время судебного процесса стало очевидным, что Генри Уоллес, вице-президент Соединенных Штатов, пригласивший Рериха в экспедицию в Монголию и Китай, действовал заодно с Хоршем, хотя в течение многих лет, до сближения с Хоршем, он был ярым сторонником идей Рериха и почитателем его искусства и называл себя его учеником. Со стороны Хорша продолжались ложные показания, дискредитация ценных документов и главных бумаг, удостоверяющих права директоров, борющихся против Хорша. Со стороны Уоллеса, пользовавшегося своим положением, следовали нажимы на судей в пользу Хорша и его адвокатов.

Судебное разбирательство тянулось несколько лет. Обнаружилось, что Уоллес, будучи в долгах, охотно принял предложение Хорша помочь ему, так как последний был маклером на бирже и занимался биржевыми спекуляциями. В апреле 1938 годаХорш тайком ночами вывез из музея все 1006 картин Рериха, все ценные предметы искусства, книги и издания, выпущенные за эти годы, а также важные материалы и архивы.

К концу 1940 года суд вынес неслыханное по цинизму решение в пользу Хорша, хотя и музей и все картины Рериха были принесены в дар американскому народу, о чем говорилось в свое время в печати, во многих выходивших периодических изданиях музея, а также в особом письме президенту Соединенных Штатов. Директорам, которые боролись за охрану музея и творчества Рериха, удалось все же спасти и вывезти некоторые архивы и документы. Оставаться в здании дома-небоскреба было немыслимым, и сотрудники покинули его. Но прежде всего следовало позаботиться о продолжении работы института с оставшимися преподавателями и учащимися. Директор института 3. Лихтман обратилась к Рериху, прося его разрешения переименовать институт в Академию искусств имени Н.К. Рериха. Николай Константинович дал свое согласие на это и на поиски временного помещения для классов по музыке, живописи, скульптуре, графике и керамике.

Работа продолжалась несколько лет в разных помещениях. В то же время сотрудники и преданные идеалам Рериха друзья стремились к восстановлению музея. Наконец им удалось приобрести пятиэтажный дом в верхней части города. Постепенно собирались картины Рериха, находившиеся в коллекциях нескольких сотрудников и друзей в Америке и за границей. Ряд картин поступил из Новой Мексики, из Художественного музея Окленда в Калифорнии, а также из Европы. В Бельгии и Франции находились многие значительные картины Рериха, которые были привезены впоследствии 3. Лихтман-Фосдик для их размещения в новом Музее имени Н.К. Рериха. Позже была возвращена коллекция картин из аргентинского музея, находившаяся там несколько лет. Таким путем составлялась и росла внушительная коллекция, главным образом из картин циклов Гималаев, Тибета и Индии. Крупным вкладом явилось поступление коллекции «Древняя Русь» (42 картины), одолженной на долгий срок музею председательницей музея К. Кэмпбелл-Стиббе. Ежегодно в дар музею поступали картины Н.К. Рериха из частных коллекций.

Во время долгого периода восстановления музея, с самого начала 1940-х годов, когда еще был жив Николай Константинович, между ним и сотрудниками продолжалась постоянная переписка. Этот период также ознаменовался основанием Американо-русской культурной ассоциации — АРКА. Она явилась последним учреждением, созданным по инициативе Рериха в США. Здесь невозможно подробно описать ее деятельность, но важно подчеркнуть, насколько глубоко Рерих понимал необходимость истинной культурной связи Америки с Советским Союзом: благодаря неслыханному мужеству советского народа, его подвигам в защиту Родины во время Второй мировой войны к СССР было приковано внимание всего мира.

Новый Музей имени Н.К. Рериха начал широкую общественную деятельность. Помимо большой постоянной экспозиции картин Рериха (они занимают три этажа), показываются ежемесячные выставки современных художников, американских и иностранных, в специально для этого построенной галерее музея. Проводятся частые лекции и концерты, открытые безвозмездно для публики. Совет директоров всецело руководит всей деятельностью музея, художественной и финансовой. Установилась прочная связь с известными музеями Европы по обмену изданий. Директора многих музеев и художественных обществ проявляют постоянный интерес к творчеству Рериха во всех его аспектах и запрашивают материалы о нем, его книги и статьи, которые рассылаются нашим музеем.