Вы здесьВопрос к линуксоидам
Опубликовано пн, 09/11/2009 - 00:30 пользователем larin
Как определить, берётся ли файл из кэша или с диска? Точнее, нужен список файлов, за, скажем, час, которые читались с диска. Те, которые брались из кэша - не интересуют.
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
DGOBLEK RE:Подайте бедному копеечку на книжку с литреса... 5 дней
babajga RE:Повесть о чудесном одуванчике 5 дней Саша из Киева RE:Ночной пассажир 1 неделя larin RE:Оплатила,но абонемент не отображается 1 неделя tvnic RE:Maxima-library - новый адрес 1 неделя Саша из Киева RE:Хождение во власть. После путча 1 неделя weis RE:Прошу переформатировать, распознать, etc... 1 неделя babajga RE:Алиса в стране чудес 2 недели tanyaguscha RE:Грушевое дерево 2 недели babajga RE:Ёжик, который хотел обнять Луну 2 недели babajga RE:Самый храбрый совёнок 2 недели babajga RE:Похититель домофонов 2 недели Саша из Киева RE:Неудавшийся священник 2 недели Саша из Киева RE:Хочу быть лётчиком 2 недели Саша из Киева RE:Бессмертен подвиг ваш 2 недели sem14 RE:Искатель жемчуга 2 недели Larisa_F RE:Жизнь не отменяется 2 недели Larisa_F RE:Из озера взметнулись молнии 2 недели Впечатления о книгах
187 про Петров: Тайна Концептуальной Власти (Политика)
04 05 Я таки догадывюсь , что за чегт тянет свою когтистую пятегню на обложке))) Оценка: отлично!
187 про Петров: Тайны управления человечеством, или Тайны глобализации. Книга 1 [Книга в Федеральном списке экстремистских материалов (п. 1463)] (Политика)
04 05 Кто эти феерические чудаки, внёсшие эту замечательную книгу в список экстремистских? Рекомедую автора, респект залившему книги. Оценка: отлично!
Belomor.canal про Яковлева: Случай в Москве [Литрес] (Исторический детектив)
03 05 Самая короткая из 3-х повесть - на один вечер чтения! Это как бы начало расследований нашего гусара, то есть №3 идет перед №1, где ротмистр уже ранен и возвращается подлечится. Опять, надо не заморачиваться историческими не ……… Оценка: хорошо
Isais про Ло Гуаньчжун
01 05 Я скажу: 1) для обсуждения вопросов есть ФОРУМ, а не впечатления около книги; 2) за 17 лет существования Либрусека вопросы "где у авторов имя и куда что писать" были многократно урегулированы; 3) почему вам не ………
alexk про Ло Гуаньчжун
01 05 Не знаю, правильно ли это - записывать и имя и фамилию китайского автора в поле "фамилия" Что скажете, коллеги? 2 Isais. О, Ваш ответ, безусловно помог.
Isais про Эпосы, мифы, легенды и сказания: Серебряная дудочка Маккримонса [шотландские легенды] (Детские стихи, Мифы. Легенды. Эпос, Народные сказки)
01 05 Как человек, который вычитывал одни и те же шотландские легенды в двух разных переводах, имею право утверждать: перевод Мелитины Клягиной-Кондратьевой лучше -- атмосфернее, поэтичнее.
Isais про Горький: Дед Архип и Лёнька (Русская классическая проза, Детская проза)
01 05 Прочитав в соответствующем -- т.е. в младшем школьном возрасте -- этот рассказ, я искренне, от души, навсегда возненавидел Максима Горького.
tvnic про Селезнёв: Беспокоящий огонь (Публицистика, Спецслужбы)
01 05 Очередная пропагандистская хрень. Оценка: нечитаемо
gruin про Беличенко: Помещик. Книга 1 [СИ] (Альтернативная история, Самиздат, сетевая литература)
30 04 Дикая белиберда про стекло и чугун. Ни сюжета ни персонажей. Вонь Оценка: нечитаемо
iggy71 про Каллаган: Клятва Люка Болдуина (Природа и животные, Детские приключения)
30 04 Трогательная книга. Учит человечности. Оценка: отлично!
Skyns71 про Никитин: 2024-й (Социальная фантастика)
30 04 Только что увидел, еще не открыл... А там будет ковид, война, дебильная пропаганда, озверение... что там еще главного случилось? |
Комментарии
Отв: Вопрос к линуксоидам
Может вам просто помочь с оптимизацией раздачи файлов?
А так просто на логи накатить любой анализатор логов который выдаст список самого популярного, а так с сервера с 5 винтами я выжимаю до 800 мегабит на 500-700 одновременных коннектов.
Отв: Вопрос к линуксоидам
5 винтов SAS или обычных SATA?
что-то у меня два сата тянут не больше ста, и то с трудом.
Может потому, что миллион мелких файлов.
Отв: Вопрос к линуксоидам
а last-access-time разве не поможет? ИМХО, если файл читался с диска - время обновится, если из кеша - останется прежним
Отв: Вопрос к линуксоидам
Кстати, а чей именно кеш имеется в виду ? У файловой системы - свой, у Apache|Squid - свои, и вот их-то cache hits вполне можно увидеть в соответствующих логах.
Отв: Вопрос к линуксоидам
Есть мнение, что здесь скорее nginx.
А он, по моим ощущениям (основанным на достаточно беглом знакомстве) документирован... несколько хуже Индейца.
Отв: Вопрос к линуксоидам
Только вот... Сбор такого рода статистики --- дело небыстрое и весьма ресурсоёмкое.
У меня же здесь к тов. Ларину немного другой вопрос: какая файловая система используется? Параметры файловой системы стандартные/умолчательные или она уже оптимизировалась под конкретную ситуацию (с учётом величины нагрузки --- необходимо).
Отв: Вопрос к линуксоидам
Для начала неплохо бы посмотреть какая именно софтина читает файлы. Если просто логически - там что кэш сопоставим с размером диска? Вряд ли, а значит в кэше файлов принципе мало.
Отв: Вопрос к линуксоидам
Боюсь что здесь дело в тонкой настройке нгинкса для отдачи файлов.
Юзаю файловую систему xfs, она куда адекватнее работает чем екст3 в некоторых моментах.
От сасов отказался, в силу того что на бесплатном софте могу поиметь большую производительности с сата дисков, да и объемы данных у меня внушительные, ну а так есть файлопомойка с музыкой там тоже куча мелких файлов.
Отв: Вопрос к линуксоидам
Радикально может решить вопрос io дискового только 10й райд. Лучше всего если это будет 6 рабочих дисков + спер диск.
В принципе файлохранилище может быть расположено в отдельном сервере и выделенным гигабит линком подключено в сервер раздающий контент.
Или на этом отдельном сервере живет акселерирующий прокси и объема дисков достаточно что бы закешировать все, а записи книг (на чтение и выкачку) сделаны максимально дружественными к кешированию.
--------------------
Пока писал пришел на ум вариант с SSD диском на который надо залинковать все файлы которые в топе или вообще все (если оно лезет :). На hd оставить только логи и базу, вообщем часто меняющуюся информацию. SSD имеет ноутбучный формат и влезет в корпус :).
Отв: Вопрос к линуксоидам
на опеннете указали на:
---8<-----
http://sourceware.org/systemtap/
в частности http://sourceware.org/systemtap/examples/io/iostats.stp
---8<-----
Отв: Вопрос к линуксоидам
Варианты замечательны своей радикальностью.
Не то чтобы они не приходили мне в голову.
Но как-то не готов я вбухивать десятки тысяч евро в железо.
Нет у Либрусека таких доходов, увы.
Пришлось решать проблему более бюджетными способами - добавил диск и памяти в соседний сервер и перенёс туда часть файлов.
Полегчало.