Fantine es una joven que ha tenido una relación amorosa con el caballero Felix Tholomyes, quien la abandona dejándola con una niña, Cosette. Fantine decide ir a Montreuil-sur-Mer, su pueblo natal, a buscar trabajo, pero con la niña le es difícil encontrarlo, por lo que a su paso por el pueblo de Montfermeil, la deja al cuidado de unos posaderos, los Thérnardier, que tienen dos niñas de la misma edad que Cosette, y que parecen ser muy buenos padres. Pero una vez que Fantine se ha ido, los Thérnardier maltratan a la niña y ven en ella una fuente de ingresos por el dinero que mandará su madre.
En Montreui-sur-Mer, Fantine encuentra trabajo de obrera en la fábrica de azabache del alcalde del pueblo, el señor Magdelene, que no es otro que el mismo Jean Valjean, que a base de esfuerzo y trabajo se ha hecho un hombre próspero, que ayuda a los necesitados y les proporciona trabajo. Fantine acude con un escribano para que le lea las cartas que le escriben los Thérnardier y para que se las conteste, pues ella no sabe leer ni escribir. Como alcalde, el señor Magdelene promulga leyes que benefician a los trabajadores. Una noche se entera de la muerte del obispo de Digne y recuerda las palabras que éste le dijera: “Tú no perteneces al mal, sino al bien. Yo compro tu alma y la libro de las negras ideas y del espíritu de perdición, y la consagro a Dios”.
Una obrera sospecha que Fantine esconde algún pasado oscuro. Acude al escribano que lee las cartas a Fantine y lo soborna para que le diga el secreto de la joven; así descubre que Fantine es madre soltera y que envía dinero a los Thérnardier para que cuiden a su hija y hace que la echen de la fábrica por el pecado de tener una hija sin padre. Fantine trata de hablar con el señor Magdelene, pero se lo impiden, por lo que en la joven crece un odio extremo contra el alcalde.
A Montreuil-sur-Mer, ha llegado como inspector de policía, Javert, que conoció a Jean Valjean en el presidio de Tolón. Cuando ve al señor Magdelene, cree reconocer en él al ex-presidiario, y sus sospechas se confirman cuando Magdelene saca de debajo de su carreta volcada, levantándola con fuerza hercúlea, al anciano Fauchelevent. Javert sólo ha conocido un hombre capaz de hacer eso: Jean Valjean.