Akcja przenosi się do Paryża, dwa lata później czterech młodzieńców żyje w wolnych związkach z czterema dziewczętami, z których jedna, Fantyna, zostaje porzucona z małą córeczką. Kobieta postanawia opuścić Paryż i szukać pracy. Nie chcąc, aby wyszła na jaw historia jej romansu, zostawiła córeczkę Kozetę u przypadkowo spotkanej rodziny oberżystów z Montfermeil koło Paryża.
Fantyna trafiła do miasta przeżywającego prawdziwy rozkwit. Stało się tak za sprawą nieznanego nikomu przemysłowca, Madeleine'a. Dzięki wprowadzeniu nowinek technologicznych do zakładów produkujących sztuczne szkło mógł nie tylko wzbogacić się sam, ale i sfinansować budowę szkół, ochronek i przytułków. Otoczony powszechnym szacunkiem został wreszcie merem miasta. W Montreuil tylko inspektor policji Javert mu nie ufa. Jego podejrzenia zwiększyły się jeszcze po tym, gdy Madeleine, chcąc ratować woźnicę Faucheleventa, podniósł na barkach ciężki wóz. Javert stwierdził wówczas, że znał tylko jednego człowieka o takiej sile: galernika nazwiskiem Valjean…