Существует две версии относительно даты появления на свет Джозефа Коломбо. Одна -16 июня 1923 года в Нью-Йорке, другая — 1914 год с неизвестной датой и местом рождения. Несмотря на свою деятельность, Джозеф был неистовый католик. Когда в одной из церквей Бруклина была украдена драгоценная корона, Коломбо приложил все усилия, чтобы найти вора. В итоге корона была найдена, а тело вора обнаружили с намотанными на шее колючими розами.

Джо Коломбо сначала служил боссу Профачи, предполагаемому убийце его отца. Он поначалу организовал игру в кости, затем начал крупные операции в бруклинском игорном бизнесе и в графстве Нассау. Помимо этого был ростовщиком и грабил пассажиров в аэропорту Кеннеди, не останавливаясь перед убийствами.

Джо Коломбо входил в банду наемных убийц Джо Профачи. За особые «заслуги» со временем получил пост босса семьи Профачи. Джо тщательно маскировал свой мафиозный клан, считая, что все его участники должны быть на официальной работе. Поэтому они работали булочниками, мясниками или санитарами, лишь бы иметь законную профессию.

Затем Коломбо пришла идея создать итало-американскую Лигу Гражданских прав, чтобы заставить итало-американцев гордиться собственным происхождением и бороться с властями и противостоять стереотипу итальянского гангстера. На дату смерти Джо Коломбо в Лиге состояло 100 000 человек.

Другие мафиозные боссы не одобряли усилия Коломбо, и когда он зашел слишком далеко в своей деятельности, решили его успокоить. При попытке убить Джо Коломбо, он был серьезно ранен, его мозг поврежден и он не умер сразу, а полумертвый еще долго влачил жалкое существование.