"Атака ботов" позади, или вести с полей (много скучных технических подробностей)

Переезд сайтов (в основном на Drupal) на выделенный сервер таки состоялся. Тем, кто следит за обновлениями текстов, хотел только напомнить, что основной базой всех обновлений назначена и остаётся Библиотека в облаках.

По-прежнему ищу художников-оформителей для книг и разработчиков дизайна для сайтов.

Далее немного технических подробностей. Могут пригодиться тем, кто собирается создать свой сайт, которому в перспективе грозит высокая посещаемость - например, зеркало Либрусека. Знатокам это малоинтересно, просьба не смеяться.

Нынешняя "железная база": P4 2GHz, 1 Gb RAM (DDR2), SATA HDD. Среда обитания сайтов:

ОС: CentOS 5.3
httpd: nginx (FastCGI: spawn-fcgi)
PHP: 5.3 + eaccelerator, "ручная сборка", всё ненужное не включено.
MySQL 5
memcached
Drupal: последняя версия старшей версии 6, штатный кэш включен, memcache включен

Точные версии по некоторым соображениям не указываю, равно как и критерии, по которым брандмауэр временно отсекает слишком активных "посетителей".

Установленный по умолчанию Apache 2.2 уже вечером первого дня работы сайтов умер сам и утащил в перезагрузку сервер, не выдержав "атаки ботов" (поисковые системы, похоже, с радостью бросились индексировать сайты на новом месте). После работы в связке nginx+Apache пришла в голову простая идея удалить из связки Apache вообще.

В настоящий момент конфигурация выдерживает до 35 обращений к страницам в секунду (средний вес страницы 70 кил) и можно, наконец, дышать спокойнее и вернуться к литературе.

Указанные подробности приведены в первую очередь для тех, кто планирует переводить свои сайты на автономное плавание (DS/VDS), осознавая все вытекающие последствия.

Ещё раз mille pardon тем, кто ожидал здесь найти в основном лиетратурные новости.

Комментарии

Недавно обнаружил
От ботов хорошо помогает в nginx.conf прописать
в http: limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
в locatinon ~php: limit_req zone=one burst=3 nodelay;
Это ограничит количество запросов с одного ip, nginxу нетрудно, а php приятно.

Спасибо, Илья!
Надо потом будет в подобающем месте итоговые конфиг.файлы выложить.

От загрузки файлов через BitComet это "хорошо помогает" ,"-)))

Какого рода художники-оформители для книг нужны?

X