Abandonando a sus padres y su cuantiosa fortuna, San Juan se retiró del mundo a Gomón del Bósforo, entre los monjes "vigilantes", fundados por San Alejandro Akimetes. A los seis años retornó a su casa disfrazado de mendigo y vivió de la caridad de sus padres, sin ser reconocido por ellos, en una choza próxima a su casa. El nombre de Calibites se deriva de la palabra griega "kalubé", que significa "choza". Juan se santificó ahí por la paciencia, la mansedumbre y la oración. Se cuenta que, hallándose ya en el lecho de muerte, reveló su identidad a su madre, aduciendo como prueba el libro de los Evangelios empastado en oro que había usado de niño. El santo pidió que le sepultaran en la choza donde había vivido. Así se hizo, en efecto; pero sobre la choza se construyó una iglesia, y las reliquias del santo fueron más tarde trasladadas a Roma. La leyenda de San  Juan Calibities se originó o se confundió con las de San Alejo, San Onésimo y otros dos santos más, en las que aparece la idea del disfraz.