Родился 12 марта 1945 года в Бруклине. Его родителей звали Джорландо (Джерри) и Катерина (Кей) Гравано. Он был самым младшим среди детей и единственным мальчиком в семье. Они жили в Бенсонхерсте, преимущественно итальянском районе Бруклина. Прозвище Сэмми происходит от сходства с одним из его дядей. Его всегда называли Сэмми, а не Сальваторе или Сал.
Хорошей успеваемостью на учёбе он не отличался из-за тяжелой формы дислексии. Однако, в те года об этой болезни практически ничего не было известно, и в школе его сочли необучаемым. Был объектом школьных шуток из-за своей болезни, которые прекратились после того, как он жестоко избил одного из обидчиков на глазах у всех одноклассников. В юности предпочитал утверждаться за счет своей силы. В связи с этим, его родителям пришлось забрать его из школы в возрасте шестнадцати лет.
В возрасте 13 лет он присоединился к местной банде, находящейся под влиянием семьи Коломбо, под названием «Рамперс».
У отца Сальваторе была хорошо оплачиваемая работа, он был управляющим фабрикой по производству одежды. Для получения образования своему сыну его отец использует все возможные методы, и даже заставляет его работать на своей фабрике разнорабочим. Но отцу ничего не помогает, Сэмми отказывался работать, выбрав «улицы».
Сам Гравано впоследствии вспоминал:
«Этот арест изменил всю мою жизнь. С тех пор я никогда, ни на секунду не останавливался. Я был как сумасшедший. Никогда не переставал воровать. Никогда не переставал грабить. Я был одержим».
В 1964 году Сэмми прошел военную службу. Как солдат, и как повар в столовой. Ему было присвоено звание ефрейтора. Гравано не был отправлен во Вьетнам во время войны, что для него оказалось разочарованием, потому что наземный бой, по его мнению, является отличным построением. Как он объясняет позже в интервью: «За драку, причинение вреда или убийство я мог попасть в тюрьму, а за те же действия во Вьетнаме я получил бы медали».
В 1971 году он женился на Дебре Скибетте. У пары появилось на свет двое детей. Его жена Дебра — племянница мафиози Джозефа Зикарелли по прозвищу Байонна Джо. Последний контролировал, среди прочего, огромную подпольную игровую империю за пределами округа Гудзон, штат Нью-Джерси.
Во время встречи с Сэмом и его женой Зикарелли отбывал наказание от двенадцати до пятнадцати лет за подкуп членов Конгресса США и местных политиков Нью-Джерси, включая прокурора. Это вызвало напряженность между семьей Дебры и Гравано. Позже, в ходе своей преступной карьеры, он заказал и организовал убийство брата своей жены, Ника Скиббеты, оскорбившего капореджиме семьи Гамбино Фрэнка ДеЧикко, близкого друга Гравано. Он также был сводным братом Эдуарда и Марио Гарафола из семьи Гамбино и другом детства Джерарда Паппы, сподвижника семьи Коломбо.
Семья Коломбо
Мафия всегда была в итальянском районе Бенсонхерст. Несколько гангстеров управляют баром, в котором часто бывают Сэмми и его отец. Однажды гангстеры помогают юному Гравано вернуть украденный велосипед. Гангстеры были удивлены жестокостью, с которой он вмешался в драку. После этого Сэмми дали прозвище «Бык», которое будет преследовать его на протяжении всей преступной карьеры.
Хотя отец отговаривал его, вместе со многими из его товарищей по «Рамперсам» он ушел в мафию. В 1968 году он присоединился к «порядочной компании» как партнер семьи Коломбо через Томми Сперо, чей дядя, Коротышка, был сподвижником семьи по отношению к будущему крестному отцу Кармине Персико по прозвищу Джуниор. Вначале Гравано, как и раньше, занимался мелкими преступлениями: кражами, вооруженными ограблениями и хищениями товаров. Он быстро переходит в рэкет, занимается ссудным бизнесом по ростовщическим ставкам и очень прибыльными нелегальными покерными играми на резервы клуба, в котором он владеет акциями.
В 1970 году он совершил свое первое убийство в отношении Джозефа Колуччи, соратника Сперо и любовника жены последнего. Более того, Колуччи планировал убить Сперо и Гравано. Гравано описывает этот опыт следующим образом:
«Когда прозвучала песня Битлз, я стал убийцей, Джо Колуччи умирал, я убивал его, потому что он планировал убить меня. Я чувствовал в себе ярость… Все вокруг меня бездействовало. Я чувствовал, как пуля выходит из пистолета и входит в его череп. Это было странно. Я не слышал первого выстрела. Я не видел крови. Его голова, казалось бы, не двигалась… Я чувствовал себя за тысячу миль отсюда, как будто это был сон».
Убийство Колуччи привело к тому, что Гравано получил уважение и одобрение Персико.
Позже Гравано стал наставником и отцом сына Джозефа Колуччи, Джека. Последний занялся строительной индустрией как партнер семьи Гамбино.
Верность Гравано семье Гамбино была абсолютной, настолько, что он приказал казнить своего зятя Николаса Скибетту от имени семьи. Скибетта продолжал провоцировать других мафиози и употреблять кокаин. Но он подписал свой смертный приговор, оскорбив племянницу тогдашнего капореджиме Фрэнка ДеЧикко.
Его тело исчезло, и была найдена только одна его рука. Он был верным солдатом Пола Кастеллано. В то время Джон Готти был близок к бригаде Аньелло Деллакроче. После смерти Гамбино Пол Кастеллано становится боссом семьи в ущерб Деллакроче и его команде.
В это время Гравано начал зарабатывать состояние на девелопменте. Готти, видя, как растет аура Гравано, присоединяется к нему.
Он решил устранить Кастеллано в 1985 году, после убийства которого Джон Готти стал крестным отцом семьи Гамбино. Винсент Джиганте решает устранить Готти после того, как он заказал босса семьи, ибо по правилам коза ностры никто не имеет права убить босса без одобрения комиссии.
Джон был приговорен к смерти боссами других семей.
После этого случая Гравано назначается андербоссом в семье Готти.
Информатор ФБР
Способность Гравано заключать многочисленные контракты в строительной отрасли вызывает зависть со стороны других членов семьи и самого Джона Готти. Эта ревность заставляет Готти критиковать своего андербосса.
Его слова записаны на аудиозаписи, тайно полученные ФБР. Во время расследования, проводимого властями, ФБР проигрывает записи самому Гравано. Сэмми, обиженный словами Готти, решил дать показания на суде против него, а также против нескольких боссов мафии в 1992 году. Таким образом, он стал участником программы защиты свидетелей.
Однако в 2002 году он был арестован за торговлю таблетками экстази и приговорен к двадцати годам тюремного заключения за торговлю наркотиками. Теоретически он не имел права на условно-досрочное освобождение до 2019 года, тем не менее он был освобожден 20 сентября 2017 г.