Es el cuarto de los hijos de los que fueran Duques de Alba: el primero es Carlos Fitz-James Stuart, luego llegaron Alfonso Martínez de Irujo y Jacobo Fitz-James Stuart, y después de Fernando vinieron al mundo Cayetano Martínez de Irujo y Eugenia Martínez de Irujo. Y admite que tiene una buena relación con todos sus hermanos, en concreto con Carlos Fitz-James Stuart, a pesar de las polémicas acerca de la familia. El bancario, al igual que los hermanos, no tenían buena relación con el segundo marido de su madre, Jesús Aguirre, que hizo feliz a la Duquesa de Alba, pero tuvo mala relación con sus hijastros. Fernando Martinez de Irujo rompió su discreción para comentar: "Jesús era un hombre muy retorcido y nosotros teníamos poco que hacer porque mi madre siempre le apoyaba si nos quejábamos"
El bancario tiene el título de Marqués de San Vicente del Barco que le concedió su madre en vida el 26 de enero de 1994. Esta dignidad, que viene de su abuela materna, lleva aparejada la Grandeza de España. Aparte de concederle el título, su madre le dejó como herencia la residencia marbellí de Las Cañas, y varias propiedades agrícolas. También adquirió notable presencia como consejero en casi la totalidad de las empresas de los Alba.
Fernando Martínez de Irujo, un hombre bueno
Fernando Martínez de Irujo no se ha casado ni piensa hacerlo salvo sorpresas; además, no se le ha conocido ninguna pareja. En varias vacaciones de verano se ha visto al aristócrata disfrutando de jornadas en alta mar en compañía de mujeres con las que se mostraba muy cariñoso, pero no ha pasado de ahí. Tampoco tiene descendencia ni se ha planteado formar su propia familia.
Con el viudo de su madre, Alfonso Díez, asegura que tiene buena relación: "Yo espero seguir teniendo relación con Alfonso porque le tengo un gran aprecio. E igual que yo, el resto de mis hermanos. Lo que sucede es que nadie sabe lo que nos deparará la vida y si nuestras reuniones dejarán de ser tan frecuentes como lo han sido en estos últimos cuatro años".
Fernando Martínez de Irujo el más serio y discreto de la familia, siempre ha defendido la buena relación entre los hermanos y que todos se tienen que llevar bien. Además, todos le califican como una excelente persona y todos sus hermanos se llevan bien con él. Es el que menos se sabe de su vida privada, aunque nunca ha dudado en defender haciendo declaraciones acerca de los rumores inciertos sobre los hermanos. Su carácter define su vida, y así es cómo la vive el Marqués de San Vicente del Barco.