En 1847, la hermana menor de la Archiduquesa, Ludovika, y sus hijas , Hélène y Elisabeth, visitaron Innsbruck en donde se encontraban Sofia y sus hijos. Carlos Luis quedó fascinado con Elisabeth; su adoración por ella duraría toda la vida. Cuando Sofía intentó que su hijo mayor Francisco José y Hélène, también llamada Nené, se comprometieran en matrimonio, fue Carlos Luis quien hizo notar a su madre, con cierto recelo, que no era Hélène a quien su hermano prefería, sino a Elisabeth, o Sisí como era familiarmente conocida. "Mamá, dijo Carlos Luis, a Franzi le gusta mucho Sisí, mucho más que Nené; verás como la escogerá a ella en vez de a la otra". Carlos Luis estaba en lo correcto: para su desilusión su hermano, efectivamente escogió a Sisí y se casó con ella.
En 1856 Carlos Luis se comprometió en matrimonio con otra prima hermana, la Princesa Margarita,, quinta hija de otra hermana de Sofía, la reina Amalia y del Rey Juan de Sajonia. Se casaron el 4 de noviembre en Dresden.
Conforme el tiempo pasaba, la vida disoluta de Luis Victor incrementaba y fue varias veces centro de escándalo. Acostumbraba deambular por las calles de Viena en busca en busca de hermosos jovencitos. A causa de un incidente en un baño público fue apodado como el "Archiduque del Baño". Su hermano el Emperador Francisco José, lo mandó a vivir a un castillo cerca de Salzburgo, en donde toda la servidumbre era femenina.
Carlos Luis fue siempre el confidente de Maximiliano. Cuando éste aceptó ser Emperador de México, escribió a Carlos Luis una gran cantidad de cartas, las primeras describiendo las bellezas naturales del país y la vida en la corte imperial mexicana. En cartas posteriores Maximiliano refiere a su hermano las mejoras de la situación política y económica en México, cosa que estaba lejos de la verdad, pero su orgullo no le permitía confesar que el Imperio Mexicano estaba en bancarrota y que su situación era crítica. Cuando Maximiliano decidió finalmente no abdicar y permanecer en México, Carlos Luis le escribió: "Has hecho muy bien en decidir permanecer en el país a pesar de las múltiples desgracias que te afligen. Siguen adelante y mantente en tu posición actual todo el tiempo que puedas". Carlos Luis no podía decir otra cosa puesto que ni él ni el resto de la familia conocía la situación real en México y además Maximiliano había ya tomado la decisión definitiva de permanecer en el trono.
Después de la ejecución de Maximiliano en Querétaro, cuando su cadáver llegó a Trieste a bordo del Novara, fue el mismo Carlos Luis, acompañado de Luis Víctor, quien viajó a la ciudad italiana parta recibir el cuerpo de su hermano.
Cuando la viuda del General Miramón, que había muerto junto a Maixmiliano, solicitó ayuda de la familia Imperial, el Archiduque Carlos Luis la visitó en su hotel. Ella lo describe en sus memorias como, muy delegado y con la misma estatura que su hermano Maximiliano, con fuertes facciones Habsburgo. Escribe también que lo más sobresaliente de su personalidad era su sencillez y su bondad. Durante su primera entrevista con la señora Miramón se mostró muy perturbado conforme oía él de sus labios el relato de los acontecimientos de Querétaro y como su hermano había sido ejecutado; sus ojos incluso se llenaron de lágrimas. Desde aquel día, Carlos Luis colmó a la señora Miramón de beneficios y atenciones.
Con la muerte de su sobrino, el príncipe heredero Rodolfo, en 1889, Carlos Luis se convirtió en heredero al trono, sin embargo tenía poca parte activa en la vida pública de Viena, al igual que su hermano Luis Víctor. Carente totalmente de ambición, dedicaba gran parte de su tiempo a la religión. En 1896 participó en una peregrinación a Tierra Santa, durante la cual bebió agua contaminada del Río Jordán.. Regresó a Austria enfermo de tifoidea y murió el 19 de mayo.
Su hijo mayor, el Archiduque Francisco Fernando, se convirtió entonces en heredero al trono. Sin embargo el Emperador Francisco José, nunca dio claras indicaciones de que reconociera a éste sobrino suyo como su heredero, pues le desagradaba la vida disoluta que había llevado, cuando era un joven oficial, y además, aunque era de constitución robusta, Francisco Fernando, había heredado la tuberculosis de su madre, de la cual no fue dado de alta por los médicos hasta 1898. Francisco José parecía más inclinado a reconocer como sucesor al segundo hijo de Carlos Luis, el Archiduque Otto. Sin embargo, ninguno de los dos hermanos sucedería a su anciano tío en el trono. Otto murió en 1906 y Francisco Fernando murió asesinado en Sarajevo en 1914, causando el inicio de la Primera Guerra Mundial. Quien sucedió a Francisco José, fue el hijo de Otto, Carlos, quien sería el último Emperador de Austria.
El Archiduque Luis Víctor sobrevivió a sus tres hermanos, muriendo el 18 de enero de 1919.
