いろいろいじったら速くなったYO 
結局パッケージ中心の構成でおちついた。
だってさ。楽なんだもん
ServersManは32bit、さくらのは64bitだけどほぼ同じ構成。
・共通
[yum]
yum install -y \
autoconf \
automake \
binutils \
imake \
flex \
bison \
gcc44 \
gcc44-c++ \
gcc44-gfortran \
libgfortran44 \
libtool \
pkgconfig \
re2c \
indent \
ncurses \
ncurses-devel \
libtool-ltdl \
libtool-ltdl-devel \
libxml2 \
libxml2-devel \
e2fsprogs-devel \
keyutils-libs-devel \
krb5-devel \
libsepol-devel \
libjpeg-devel \
libpng-devel \
libedit \
libedit-devel \
libxslt \
libxslt-devel \
libgcrypt-devel \
libgpg-error-devel \
libtermcap-devel \
freetype \
freetype-devel \
libicu \
pam_abl \
zlib-devel \
libtasn1 \
libtasn1-devel \
libXpm \
libXpm-devel \
fontconfig \
fontconfig-devel \
readline-devel \
pcre-devel \
libmcrypt \
libmcrypt-devel \
openssl-devel \
libatomic_ops-7.2alpha4
libevent-2.0.9-rc
google-perftools-1.6
nginx-0.9.2
mariadb-5.2.3
php-5.3.3
nsd-3.2.6
・ServersMan
dmalloc-5.5.2
・さくらの
[yum]
yum install -y \
libaio \
libaio-devel \
jemalloc-2.1.0
こんなかんじで落ち着いたかな