En enero de 2004, José Luis Olivas se convirtió en presidente de Bancaja y, dado que esta tenía el paquete de control del mismo, del Banco de Valencia. Fue el premio al año de interinidad entre Eduardo Zaplana y Francisco Camps que pasó como jefe del Consell. Olivas impulsó la expansión desbocada del grupo financiero en los años cumbre de la burbuja inmobiliaria. En junio de 2010, acordó con Rodrigo Rato sumarse a Caja Madrid en lo que luego sería Bankia. Se convirtió en vicepresidente ejecutivo encargado de las participadas. Un mes y medio antes de la intervención del Banco de Valencia en noviembre de 2011 dimitió como presidente, lo que a su vez le forzó a dejar sus cargos en Bankia. Siguió como presidente de Bancaja hasta mayo de 2012, poco después de la intervención de Bankia y su matriz BFA.
