コメントどうもです。

キャッシュはページ閲覧の際に生成されているようですので、そのページへの初回アクセス時はやっぱ重いです。
あとはキャッシュの有効期限がデフォルトで1時間、あまりアクセスが無いサイトであれば、使わない方が速いかもしれないですね。

ちなみに、MySQL側のチューニングでもかなり軽くなります、クエリキャッシュとかは結構効きました。
アクセラレーターを入れ居てるくらいなので、既に対応されているかもしれないですが。

参考になれば幸いです。