El padre de Annón era un noble suabo cuya familia había vivido tiempos mejores, por lo cual esperaba que si su hijo, que era muy inteligente, hacía una brillante carrera secular, podría devolver a la familia su antiguo lustre. Sin embargo, un pariente del conde Walterio, que era canónigo en Bamberga, le persuadió de que le confiase la educación de Annón. Así pues, el joven fue a hacer sus estudios en la escuela episcopal de Bamberga, de la que llegó ser director. Annón, que era bien parecido, hábil, erudito y elocuente, llamó la atención del emperador Enrique III, quien le hizo capellán suyo en 1506. El santo tenía entonces cuarenta y seis años. Más tarde, el emperador le nombró arzobispo de Colonia y canciller del imperio. El nombramiento no satisfizo a todos, particularmente a los habitantes de Colonia, pues pensaban que la familia de Annón no era bastante distinguida. Pero la magnificencia de las ceremonias de la consagración acalló a los críticos. Ese mismo año murió Enrique III; el gobierno del imperio pasó nominalmente a manos de su esposa, Inés de Poitou, quien debía ocupar la regencia durante la minoría de Enrique IV. Era ésta una mujer bondadosa, que carecía de talento político y era incapaz de hacer frente enérgicamente a las circunstancias. Su política le enajenó a los nobles. En Pentocostés del año 1062 Enrique fue raptado y trasladado a Colonia. Annón fue nombrado tutor del niño y regente del imperio, junto con Adalberto, obispo de Bremen. Cuando el joven monarca creció, se sacudió la tutela de San Annón y dio mano libre a Adalberto. En el cisma que provocó contra el Papa Alejandro II el antipapa Cadalo de Parma, Annón encabezó a los obispos alemanes que apoyaban a Alejandro. A pesar de ello, se le convocó a Roma, acusado de haber estado en contacto con Cadalo. Como si fuese poco, dos años después, fue acusado de simonía; pero consiguió probar su inocencia. Desgraciadamente, el santo no se vio libre del nepotismo, que era tan común entre los obispos de su época; en efecto, concedió muchos beneficios a sobrinos y partidarios y, en una ocasión eso acarreó la ruina al beneficiario.
   Esto ocurrió cuando Annón nombró obispo de Tréveris a su sobrino Conrado. Tal nombramiento desagradó profundamente a los nobles y al clero de la ciudad, ya que canónicamente tenían derecho a elegir a su obispo y estimaban mucho ese privilegio. Annón hizo caso omiso de sus reclamaciones, por más que no ignoraba que su poder estaba en decadencia. Así pues, envió a Conrado con el obispo de Espira y una escolta de hombres armados a tomar poseción de la sede. Los descontentos se aliaron con el conde Teodorico, tan poderoso como poco escrupuloso. Aunque éste era laico, reclamaba el derecho de concedr la investiduca al arzobispo de Tréveris, alegando que poseía tal derecho por prescripción. Cuando Conrado y su escolta atravesaban Briedeburgo, los hombres del conde cayeron sobre ellos. El obispo de Espira consiguió escapar con vida, aunque no sin que le robasen cuanto llevaba. Conrado fue conducido ignominiosa mente a un castillo, donde estuvo prisionero. Finalmente, fue arrojado desde las murallas. Como no muriese inmediatamente, los soldados le dieron muerte a puñaladas. Un campesino encontró su cadáver cubierto de en un bosque. El cuerpo fue trasladado a la abadía de Tholey, donde empezó a venerarse a Conrado como mártir.
   Casi toda la vida de San Annón consiste en una serie de hechos relacionados con la turbulenta historia política de su época y más bien resulta poco edificante  en la actualidad, dado que los prelados ya no tienen que participar "ex oficio" en el gobierno y los negocios públicos. Sin embargo, el santo no dejó sus obligaciones y actividades seculares le hiciesen olvidar que el bien diócesis constituía su primer deber. Sobre todo cuando su prestigio ante el emperador comenzó a decaer y se vio excluido de la vida pública, San Annón se dedicó a reformar su diócesis por los mismos medios de que se habíanvalido San Pedro Damián, el cardenal Hildebrando y con una energía parecida a la de ellos. En efecto, transformó varios monasterios y fundó otros; construyó y ensanchó muchas iglesias; reformó la moralidad pública, y distribuyó limosnas con gran generosidad. Pero, si bien San Annón fortificó la posición de su sede y ayudó liberalmente a sus súbditos, no consiguió nunca vencer la oposición que existía contra él en Colonia, y ello le amargó sus últimos años, Finalmente,  optó por retirarse a la abadía de Sieburgo, fundada por él y pasó ahí los últimos doce meses de su vida en rigurosa penitencia. Murió el 4 de diciembre de 1075. En una época de costumbres muy corrompidas, el santo se distinguió por su pureza y austeridad. Las virtudes que practicó en su vida le merecieron el honor de los altares.