Przełom w jego życiu nastąpił po śmierci ojca. Przejęty widokiem jego rozkładającego się ciała, postanowił wieść życie pustelnicze. Udał się na pustelnię w Grotta Fucile. Ponieważ zaczęli zbierać się wokół niego uczniowie, założył dla nich klasztor. Obowiązywała w nim surowa reguła benedyktyńska. Wspólnota dała początek zgromadzeniu zwanemu potem sylwestrynami. Zatwierdził je Innocenty IV w 1247 r.

     Sam Sylwester był znany z pokory, ubóstwa i wielkiej czci dla Najświętszego Sakramentu i Matki Bożej. W chwili jego śmierci sylwestryni liczyli ponad 400 mnichów w 12 klasztorach. Kult Sylwestra zatwierdził papież Klemens VIII, a papież Leon XIII rozszerzył jego kult na cały Kościół.