Аргентина отказалась от участия в конгрессе. Причиной тому была потеря Боливии (бывшего Верхнего Перу). Своим отсутствием Аргентина выражала также протест против доктрины Монро, объявленной Соединенными Штатами вслед за заявлением их президента в декабре 1823 года.

Чили также не прислала своих представителей. Бразилия заняла непонятную позицию. Она заявила, что сможет прибыть на конгресс только в качестве нейтрального государства. Таким образом, свое согласие на участие в конгрессе дали только Колумбия, Перу и Центральная Америка. Приезд мексиканской делегации оставался под вопросом.

На Панамский конгресс были приглашены Соединенные Штаты и Великобритания. США по внутренним причинам не прислали своего делегата. Все ограничилось тем, что приемный сын первого президента Америки Джорджа Вашингтона послал Боливару золотой медальон с прядью волос его отца. Также Боливар получил письмо от Лафайета.

Конгресс нейтрализовал амбициозные планы Боливара по объединению латиноамериканских вооруженных сил. Он принял шесть основных принципов сотрудничества: нейтралитет и сосуществование, признание доктрины Монро, необходимость международного арбитража в спорах между членами союза, отмена рабства, признание национального суверенитета членов союза, гарантии всех этих принципов. Эти принципы и сегодня продолжают регулировать отношения между латиноамериканскими странами. Они эффективно устраняют трудности, возникающие между ними. В основном из-за возражений мексиканской стороны конгресс не поставил перед собой общедемократических и республиканских целей.

Боливар считал, что Панамский конгресс не удался. На нем были представлены далеко не все страны континента. Конгресс также не смог обсудить все намеченные Боливаром вопросы. И все-таки это был шаг в будущее, даже больше того. Конгресс обозначил основы будущего существования молодых латиноамериканских государств. После провала захватнических наполеоновских планов и падения Испанской империи только два государства могли заполнить вакуум власти, образовавшийся на континенте, — Соединенные Штаты и Великобритания. Британия не сумела извлечь выгоду из симпатий к ней новых правителей Латинской Америки. По мнению многих из них, Англия представляла собой образец свободы и стабильности, которому они хотели подражать. До прихода в министерство иностранных дел Британии Каннинга испано-американская политика этой страны была то пренебрежительной и приспособленческой, то явно колониальной. Последняя была связана с именем Бересфорда.

И все-таки для Боливара Англия оставалась примером для подражания. Британские подданные, жившие в Латинской Америке, были наделены такими же правами, как коренные жители континента. Боливар надеялся, что Британия возьмет Южную Америку под свое крыло, желательно в качестве независимых республик, входящих в состав Британской державы. После разговора с Боливаром представитель Великобритании в Лиме Рикетс написал Джорджу Каннингу:

Пристрастие, которое Боливар испытывал по отношению к Великобритании, было отнюдь не романтического свойства. Он понимал, что Британия в то время являлась оплотом всего цивилизованного мира в борьбе против реакционного Священного союза, объединившего самые реакционные силы Европы во главе с Меттернихом. Но Боливар также понимал, какую опасность для латиноамериканских государств представляет историческая речь президента Джеймса Монро, произнесенная им на заседании американского конгресса 2 декабря 1823 года, и прямо высказал свое мнение:

Боливар был против приглашения Соединенных Штатов на Панамский конгресс, но Сантандер не поддержал его. Доктрина Монро была якобы направлена против русских проектов на Аляске, но ее создатель Джон Кинси Адамс стремился к тому, чтобы у Великобритании вовсе не осталось шансов на оккупацию Кубы и Пуэрто-Рико. Такая возможность появилась после того, как Испания уступила Флориду Соединенным Штатам в 1819 году. К 1823 году у США были свои причины претендовать на Кубу, которая все еще была оккупирована испанцами. Испания использовала Кубу как базу для коротких военных набегов на свои бывшие колонии. Мексика и Колумбия также вынашивали планы захвата этого острова. Соединенные Штаты, имея в виду собственные проекты аннексии Кубы, цинично рассудили, что пока она должна оставаться в руках испанцев. Таким образом США обеспечили себе повод «освободить» остров, когда им это будет удобно. Америка даже пригрозила Англии войной, если та поддержит планы Боливара.

Такая позиция Соединенных Штатов вызвала возмущение в странах Латинской Америки. Джордж Каннинг не упустил случая воспользоваться этим. Он написал британскому послу в Вашингтоне: «Неприкрытое стремление Соединенных Штатов поставить себя во главе всего Южноамериканского континента и направить эту конфедерацию против Европы (включая Великобританию) никоим образом не согласуется с нашими интересами. Мы не станем ни одобрять этого, ни мириться с этим. Об этом нет смысла рассуждать отвлеченно, просто мы должны сделать все, чтобы не допустить этого».

Во время подготовки Панамского конгресса США стремились утвердить свою экономическую гегемонию на континенте. Они добивались того, чтобы ни одна американская нация не могла предоставлять иностранным державам какие-либо благоприятные коммерческие или навигационные права, которые не распространялись бы на все страны континента. Это была попытка обеспечить себе право вето над торговыми отношениями между Латинской Америкой и Европой.