En los primeros años, los hijos que faltaban daban alguna explicación sobre su ausencia, justificándose por obligaciones de trabajo u otros compromisos, pero últimamente ya ninguno de los ausentes se toman la molestia de decir por qué no se encuentran en la iglesia de Los Gitanos de Sevilla, donde se le rinde homenaje a la aristócrata y además, donde reposan parte de las cenizas de la difunta. Sin embargo, a Cayetano Martínez de Irujo le entristece la ausencia de sus hermanos.
Esta tensión que existe entre los herederos de la Duquesa de Alba tuvo como principal motivo que en 2015, el Duque de Arjona se tuviera que marchar del palacio de Liria, a petición de Carlos Fitz-James Stuart y Martínez de Irujo, su hermano mayor y titular del ducado de Alba, le pidiera que dejara la mansión y la gestión de las propiedades y negocios de la casa, un cargo que le había hecho su madre en vida a Cayetano Martínez de Irujo.
En su libro autobiográfico publicado en 2019, 'De Cayetana a Cayetano', el jinete reprochaba al nuevo Duque de Alba sus desplantes hacia él, lo que empeoró aún más la relación entre los hermanos. Sin embargo, cuando en 2021 se produjo una reunión inesperada entre ellos, hubo un acercamiento que parecía haber suavizado la relación. Pero parece ser que en la cena de Nochebuena, donde la familia Alba se reunía en el Palacio de Liria, van a haber varias ausencias.
Parece ser que Carlos Martínez de Irujo, el dueño del palacio, no ha invitado a su hermano Cayetano Martínez de Irujo a la cena. El motivo sería que el Duque de Arjona se ofendió hace unos años con su hermano Carlos Martínez de Irujo por no querer invitar a la cena navideña a Genoveva Casanova con la excusa de no ser la esposa de Cayetano Martínez de Irujo. "Si quieres, vienes tú solo con tus dos hijas, ella no", le habría dicho. A lo que el Duque de Arjona dijera que no y cenaría con su exmujer y los niños en su casa.
Este año 2022 no le han dado la oportunidad de decir que no
Después de esto, en 2022 no le habrían dado la oportunidad de declinar la invitación. Pero, no será el único que falte, ya que el Conde de Siruela, tampoco estará en la cena porque prefiere quedarse en Cataluña con su esposa Inka Martí. La que sí estará es Eugenia Martínez de Irujo y su marido Narcís Rebollo, que estaban en Estados Unidos, pero llegarán a tiempo para la cenar con el resto de la familia. Además también asistirá Cayetana Rivera.