Процветание семьи Бонанно и его самого не было безоблачным и непоколебимым. Начиная с 1957 года над головой Бонанно начали сгущаться тучи. Падение авторитета началось после убийства его главного союзника Альберта Анастасии, когда на его место был поставлен будущий ярый противник Бонанно – Карло Гамбино. Немало подкосил позиции главаря семьи и самый громкий скандал десятилетия по поводу национальной встречи представителей «Коза Ностры» в Апалачи, после которой последовал ряд арестов, а Бонанно для собственного спасения начал принимать действия, чтобы пересидеть в тени. Обстановка была тяжелейшая, и именно в это время Джо Бонанно оказался уязвим для недругов, чего никогда не случалось ранее.
Дальнейшие годы ситуации не только не улучшили, но авторитет Джо Бананно падал еще более стремительно. Ситуацию усугубила смерть Джо Профачи, давнего друга Бонанно, который (Профачи) уже стоял во главе семьи Коломбо. Для спасения ситуации Бонанно решился на отчаянный шаг: во имя избавления от своего злейшего врага Карло Гамбино со сторонники он объединился с Джо Маглиокко.
И опять Бонанно не повезло. Заговор был раскрыт, не будучи доведенным до исполнения, и о нем было доложено Комиссии. Та, в свою очередь, незамедлительно потребовала от Бонанно и других заговорщиков явки на назначенную Комиссией встречу для дачи объяснений.
Но и это был для Бонанно еще не весь печальный список бед. Против него пошел его кузен Магаддино, обиженный на его надменность. Кроме этого, у него появились подозрения, что Бонанно влез на контролируемую им территорию в Торонто и имеет там свое дело. А когда Бонанно неосмотрительно вместо него на пост консильери назначил собственного сына, тот окончательно рассвирепел.
Комиссия отстранила Бонанно от должности, а его место занял Магаддино.