Вы здесьВопрос к линуксоидам
Опубликовано пн, 09/11/2009 - 00:30 пользователем larin
Как определить, берётся ли файл из кэша или с диска? Точнее, нужен список файлов, за, скажем, час, которые читались с диска. Те, которые брались из кэша - не интересуют.
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
aldan RE:Подайте бедному копеечку на книжку с литреса... 45 мин.
Isais RE:Издательство "Медуза" 2 часа Larisa_F RE:Серия «Интеллектуальный детектив» изд-ва АСТ 1 день edvud RE:Багрепорт - 2 4 дня sem14 RE:Книжная серия "Жизнь в искусстве" издательство "Искусство"... 1 неделя babajga RE:Народные сказки - Сказки народов Сибири = Fairy-Tales of... 1 неделя Саша из Киева RE:Кто сможет раздобыть и оцифровать нужные мне книги? 1 неделя Kiesza RE:Бушков умер. 1 неделя sibkron RE:Серия "Библиотека французской литературы" (Макбел) 1 неделя Isais RE:Игорь Северянин - Том 2. Поэзоантракт 2 недели sem14 RE:Современная корейская литература. Книжная серия... 2 недели sem14 RE:Семейственность в литературе 3 недели Isais RE:Детство, опаленное войной (Вторая мировая 1939-1945 и ВОВ) 4 недели kopak RE:На 78-м году жизни скончался советский и российский... 1 месяц Саша из Киева RE:Подводное течение 1 месяц konst1 RE:Переименовать ник (имя учетки) 1 месяц Larisa_F RE:Таррин Фишер 2 месяца Aleks_Sim RE:Беженцы с Флибусты 2 месяца Впечатления о книгах
Олег Макаров. про Путилов: Постовой [СИ] (Альтернативная история, Попаданцы, Самиздат, сетевая литература)
18 10 Феерически безграмотный текст. Просто невозможно читать Оценка: нечитаемо
lukyanelena про Сергей Васильевич Лукьяненко
18 10 Фантастический писатель Лукьяненко. Вроде и книги пишет с моралью, и метания главного героя всегда правильные высокоморальные... но как же бесит этот русский шовинизм, лезущий из всех щелей, просто ужас. И Украину обязательно ………
mixentiy про Ильичев: Ворожей Горин – Зов крови (Приключения: прочее, Городское фэнтези, Мистика, Самиздат, сетевая литература)
18 10 Многословно. Тот случай, когда диалоги и размышлизмы должны быть проще. Забавненько. Немного утомляют медицинские познания автора, вываливаемые на читателя к месту и совсем не. Но "специалист подобен флюсу" - суть ………
Isais про Руж: Авалон (Исторический детектив)
17 10 Цирк одного шоумена. Весь вечер на манеже фокусник! Показывает фокусы на вербальном материале, или лексическом уровне, или, проще говоря, на словах. Он и так умеет, и сяк умеет, и знает, как ментов называли в 1920-е, и Булгакова ……… Оценка: плохо
Дей про РОС: Граф Рысев
17 10 Сначала шло туго, меня бесил наглый, самоуверенный и хамоватый ГГ. Да и события развивались ни шатко, ни валко. А дальше автор стал выдавать текст всё лучше и лучше, что большая редкость. Понравилось.
Darja68 про Астахов: Чужая земля [litres] (Детективы: прочее)
15 10 Редкостная чушь. Куски текстов законов и введение в миграционную политику РФ вперемешку с с вялой интригой Оценка: плохо
Belomor.canal про Бохэннон: ЕВА. История эволюции женского тела. История человечества [litres] (История, Биология, Научпоп)
15 10 Масса впечатляющих фактов о том что есть и как есть у женщин и на сколько они другие существа, с точки зрения биологии и психологии. Очень рекомендую почитать читательницам библиотеки, хотя бы потому, что современная медицина ……… Оценка: отлично!
Wik@Tor про Стоев: Странные Земли (Фэнтези, Самиздат, сетевая литература)
14 10 Прочитал Срамные земли. Появился интерес, но тут же понял, что это Странные земли. Интерес пропал.
mysevra про Булычев: Спасите Галю! (Научная фантастика)
13 10 Прелесть какая! Приятно будоражит. Жутче и ярче, чем большинство книг по S.T.A.L.K.E.R. (хотя тут и не каноническая чернобыльская Зона, но тем не менее). И концовка такая, по-нашему, лишь бы было тихо. Оценка: отлично!
mysevra про Чуковский: Серебряный герб (Детская проза)
13 10 В старых книгах для подростков была заложена идея, как им стать полноценными членами общества и встроиться во взрослый мир. В современных книгах тинейджеры прогибают мир под себя, а глупые взрослые крутятся вокруг них. Надеюсь, ……… Оценка: отлично!
mysevra про Ефремов: Сердце Змеи [litres] (Космическая фантастика, Научная фантастика)
13 10 Хотела обновить воспоминания. И не вышло – хорошие идеи, плохой театр. Вообще большинство советской фантастики сейчас смотрится так, словно и у персонажей, и у рассказчика швабра с позвоночник зашита. Живые люди, которые вынуждены ……… Оценка: неплохо |
Комментарии
Отв: Вопрос к линуксоидам
Может вам просто помочь с оптимизацией раздачи файлов?
А так просто на логи накатить любой анализатор логов который выдаст список самого популярного, а так с сервера с 5 винтами я выжимаю до 800 мегабит на 500-700 одновременных коннектов.
Отв: Вопрос к линуксоидам
5 винтов SAS или обычных SATA?
что-то у меня два сата тянут не больше ста, и то с трудом.
Может потому, что миллион мелких файлов.
Отв: Вопрос к линуксоидам
а last-access-time разве не поможет? ИМХО, если файл читался с диска - время обновится, если из кеша - останется прежним
Отв: Вопрос к линуксоидам
Кстати, а чей именно кеш имеется в виду ? У файловой системы - свой, у Apache|Squid - свои, и вот их-то cache hits вполне можно увидеть в соответствующих логах.
Отв: Вопрос к линуксоидам
Есть мнение, что здесь скорее nginx.
А он, по моим ощущениям (основанным на достаточно беглом знакомстве) документирован... несколько хуже Индейца.
Отв: Вопрос к линуксоидам
Только вот... Сбор такого рода статистики --- дело небыстрое и весьма ресурсоёмкое.
У меня же здесь к тов. Ларину немного другой вопрос: какая файловая система используется? Параметры файловой системы стандартные/умолчательные или она уже оптимизировалась под конкретную ситуацию (с учётом величины нагрузки --- необходимо).
Отв: Вопрос к линуксоидам
Для начала неплохо бы посмотреть какая именно софтина читает файлы. Если просто логически - там что кэш сопоставим с размером диска? Вряд ли, а значит в кэше файлов принципе мало.
Отв: Вопрос к линуксоидам
Боюсь что здесь дело в тонкой настройке нгинкса для отдачи файлов.
Юзаю файловую систему xfs, она куда адекватнее работает чем екст3 в некоторых моментах.
От сасов отказался, в силу того что на бесплатном софте могу поиметь большую производительности с сата дисков, да и объемы данных у меня внушительные, ну а так есть файлопомойка с музыкой там тоже куча мелких файлов.
Отв: Вопрос к линуксоидам
Радикально может решить вопрос io дискового только 10й райд. Лучше всего если это будет 6 рабочих дисков + спер диск.
В принципе файлохранилище может быть расположено в отдельном сервере и выделенным гигабит линком подключено в сервер раздающий контент.
Или на этом отдельном сервере живет акселерирующий прокси и объема дисков достаточно что бы закешировать все, а записи книг (на чтение и выкачку) сделаны максимально дружественными к кешированию.
--------------------
Пока писал пришел на ум вариант с SSD диском на который надо залинковать все файлы которые в топе или вообще все (если оно лезет :). На hd оставить только логи и базу, вообщем часто меняющуюся информацию. SSD имеет ноутбучный формат и влезет в корпус :).
Отв: Вопрос к линуксоидам
на опеннете указали на:
---8<-----
http://sourceware.org/systemtap/
в частности http://sourceware.org/systemtap/examples/io/iostats.stp
---8<-----
Отв: Вопрос к линуксоидам
Варианты замечательны своей радикальностью.
Не то чтобы они не приходили мне в голову.
Но как-то не готов я вбухивать десятки тысяч евро в железо.
Нет у Либрусека таких доходов, увы.
Пришлось решать проблему более бюджетными способами - добавил диск и памяти в соседний сервер и перенёс туда часть файлов.
Полегчало.