Primeiro instale o repositório SCL:
# yum install centos-release-SCL
Em seguida, instale o PHP 5.4 e estes módulos:
# yum install php54 php54-php php54-php-gd php54-php-mbstring
Você também deve instalar o módulo de banco de dados atualizado. Isso instala o novo módulo PHP 5.4 para MySQL / MariaDB:
# yum install php54-php-mysqlnd
Desativar o carregamento do antigo módulo do PHP 5.3 Apache:
# mv /etc/httpd/conf.d/php.conf /etc/httpd/conf.d/php53.off
Agora você deve ter um arquivo /etc/httpd/conf.d/php54-php.conf, que carrega o módulo correto do PHP 5.4 para o Apache.
Finalmente, reinicie o Apache:
# service httpd restart