А от файловых кешей мы отказались, они дают дополнительную нагрузку на сервер + мемкеш быстрее.

Примерно о такой-же структуре думаю и я сейчас, только вместо NGINX будет Lighttpd (скорее всего, но последнее слово не за мной), а вот на бякэндах останется Apache - переделывать то, что сейчас сделано и работает стабильно особой нужды нет.

Запросы на этом проекте уже достаточно вылизаны, так местами со свежего взгляда только что если заметим, а вот от count (*) избавиться наврятли везде сможем, только если кешировать часть на время.

Так как пока кеширование происходит полностью в статические файлы на жёстком диске - memcached ещё нет (вот по этому я бы сейчас предпочёл туда Lighttpd в режиме hash), но, всё-же в ближайшее время туда захотят добавить динамики и без memcached уже никуда.

У нас вот например под балансер выделена отдельная машина, на ней стоит nginx, на бекендах также nginx, статика вынесена на отдельный хост, в sql стараемся максимально избавляться от блокирующих запросов, например count (*), все кешируемые блоки выносим в мемкеш. Пока он на бекендах, но скоро купим пару машин которые максимально забьем памятью под мемкеши.

Через неделю все эти ссылки не будет иметь никакой цены и важности - в сети появиться ещё куча новой инфомации об этой теме.

Все те решения, которые я опробывал и пересмотрел могут подойти мне в моём конкретном случае, и не подойти другим.

Моё мнение:
Вся оптимизация заключается в уменьшении времени и ресурсов нужных для генерации страницы, либо в увеличении технических ресурсов для покрытия той можности, которая нужна для обслуживания клиентов.
Распределение нагрузки - в правильно выбранном и настроенном балансире и сети между серверами. Ну и надо систему иногда менять, переделывать систему хранения сесий, работу с базой данных.
Здесь много нюансов, которые сами всплывут по нужде и по обстоятельствам, если этим занимаются башковитые люди.