Вы здесьУдаление дублей из архивов по 1000 книг.
Опубликовано вт, 20/01/2009 - 15:27 пользователем Bullfear
Есть такая программа myhomelib. Для работы использует архивы либрусека. В этих архивах примерно 20% дублей. В связи с этим возникает вполне закономерное желание эти дубли убрать. pkn написал для этой цели скрипт. Скрипт перловый.
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
agent4707 RE:Подайте бедному копеечку на книжку с литреса... 4 часа
Саша из Киева RE:Хождение во власть. После путча 1 день weis RE:Прошу переформатировать, распознать, etc... 1 день babajga RE:Алиса в стране чудес 4 дня tanyaguscha RE:Грушевое дерево 5 дней babajga RE:Ёжик, который хотел обнять Луну 5 дней babajga RE:Самый храбрый совёнок 5 дней babajga RE:Похититель домофонов 5 дней Саша из Киева RE:Неудавшийся священник 6 дней Саша из Киева RE:Хочу быть лётчиком 1 неделя Саша из Киева RE:Бессмертен подвиг ваш 1 неделя sem14 RE:Искатель жемчуга 1 неделя Larisa_F RE:Жизнь не отменяется 1 неделя Larisa_F RE:Из озера взметнулись молнии 1 неделя babajga RE:На краешке чуда 2 недели sem14 RE:«Не забыть бы тогда, не простить бы и не потерять!»-2 ... 2 недели Саша из Киева RE:Ведомственный притон 2 недели kusheyev RE:Заливка 3 недели Впечатления о книгах
Barbud про Поселягин: Прапорщики по адмиралтейству [litres] (Альтернативная история, Боевая фантастика, Попаданцы)
23 04 Вот вроде же зарекался читать Поселянина, так нет - какой-то черт дёрнул открыть это поделие. Убедился, что уровень "творчества" автора если и изменился, то только к худшему. Жуткий нечитаемый картон, не осилил. Оценка: нечитаемо
Я бреду по берегу про Беляев: Ариэль (Научная фантастика)
23 04 В далекие школьные годы взахлеб зачитывался книгами Александра Беляева. Классика советской, российской, и мировой фантастики. Отлично! Оценка: отлично!
kolombok про Доктор [Афанасьев]
23 04 Ну а по мне, так понравилось, если бы я в детстве такие книжки читал... Это я пока о половине первой книги говорю, хорошо зашло хотя мне уже за (вставьте возраст). В целом скажу, за первую половину книги, годная молодая фантастика, ………
Belomor.canal про Анонимус: Выжига, или Золотое руно судьбы [litres] (Исторический детектив)
22 04 В отличии от всех предыдущих книг серии, необыкновенно динамичный триллер, почти без длиннот! Похоже, произошла смена команды Анонимуса и нас ждут захватывающее, профессионально сделанные книги! Оценка: отлично!
zhunter про Группа крови на плече
22 04 С удовольствием читал незатейливый боевичок, но ахинея про радиоактивные вещества просто убила и в землю закопала. Аутор, ты блин в школе то учился?
Isais про Пелевин: Орден желтого флага [OCR] (Социальная фантастика)
21 04 Я честно прочел 48% файла. Я честно высоко оценил блестящую стилизацию под литературу XVIII века. Имею право прийти к заключению: эту книгу следует читать в самом-самом, САМОМ последнем случае. Только когда в доме ………
Isais про Поганец: Дикий 2 [СИ] (Боевая фантастика, Космическая фантастика, Самиздат, сетевая литература)
21 04 Когда ни разу в жизни не видел ни книги, ни печатного текста вообще, но все равно зудит сочинить рОман ("что я, хуже других?"), получается вот такое... Оценка: нечитаемо
nik_ol про Полякова: Таинственная четверка (Крутой детектив, Детективы: прочее)
21 04 А Анна будет продолжать писать за Татьяну или всё? Александру комментарем ниже: мне, например, не всегда что-то грандиозное нужно литературное читать, типа Достоевского или Моэма, Булгакова или Ремарка! Иногда вот такие, ……… Оценка: хорошо
andmalin про Шопперт: Вовка-центровой – 6: Мундиаль [СИ] (Альтернативная история, Самиздат, сетевая литература)
21 04 Хорошая серия , мне понравилось. Оценка: отлично!
gleb99 про Кормильцев: Взлёт и падение СвЕнцового дирижабля (Контркультура, Публицистика)
20 04 Файл не найден". Может кто-то помочь с книгой?
Lan2292 про Воронков: Время еще не пришло [СИ] (Фэнтези, Попаданцы, Самиздат, сетевая литература)
20 04 Очень понравилось, прочитала отрываясь, что бы продлить удовольствие. Жду продолжения, спасибо автор. Оценка: отлично! |
Комментарии
Отв: kop-librusec-dedead - очень новая версия.
Странно... параметры ОК, вроде должно было нормально сработать... правда, не видно нормально ли загрузились SQL-таблицы... нельзя ли полностью вывод скрипта увидеть?
Убедил. Как руки дойдут - сделаю.
Отв: kop-librusec-dedead - очень новая версия.
Изволь. Распаковка таблиц заняла чуть больше 20 минут. Дальше уже пошло убиение невиновных файлов, посему скрипт был безжалостно остановлен :) И так уже половину придется перекачивать.
Кстати по поводу sql... А работать по спискам myhomelib скрипт разучился? Если да, то жаль - было намного быстрее.
Отв: kop-librusec-dedead - очень новая версия.
Распаковка - это секунды, там парсинг длинный. Но это от компупера зависит, у меня это три минуты занимает :). Но учту, спасибо, если будет возможность - попробую эту часть ускорить.
Ну извини... я честно предупреждал: "НЕ пользуйтесь этой опцией, если не уверены." ;)
Не, это вряд ли получится. Я много пользуюсь частями именно этого скрипта, с SQL-таблицами, и поддерживать два формата - эт я не потяну.
Теперь по сути: похоже, там баг в скрипте. При единственном фильтре "по языку ru" он нашел всего 5409 желаемых (wanted) книг из 123760. Не может быть чтобы в таблицах было всего 5 тысяч книг на русском. И у меня такой же примерно результат, даже ещё меньше, так что это не разница в Перле или в SQL-таблицах, а баг в скрипте. Буду искать, как только дойдут руки. Постараюсь не затягивать, но прямо сейчас - не могу.
Отв: Удаление дублей из архивов по 1000 книг.
Ну дык на настольном и у меня будет около 3-х минут. Ты на ноуте пораспаковывай :Р
Тоесть косяк в единственном фильтре или именно в фильтре по языку?
*обиженным голосом* Но ты не добавлял "... что в скрипте нет бага" :Р
Ясно, спасибо. Бум ждать, благо сейчас либрусек работает и это не так критично ;)
Отв: Удаление дублей из архивов по 1000 книг.
Баг в скрипте есть всегда. Это аксиома.
kop-librusec-dedead - 0.4.3
kop-librusec-dedead верисия 0.4.3 - прицеплена к посту.
Изменения:
1. Пофиксен злобный баг. Предыдущими версиями не пользоваться, они глюкавые на всю голову!
2. Добавлена опция -testrun : Делать всё как настоящее, но не писать/стирать никаких zip-архивных файлов.
3. Добавлена возможность перезаписывать поверх исходных файлов. Для этого надо чтобы -do (dirout, выходной директорий) показывал туда же где лежат исходные зипы (dirzip), и присутствовала опция -removeoriginals.
Отв: kop-librusec-dedead - 0.4.3
Спасибо, щас потестим :)
Отв: kop-librusec-dedead - 0.4.3
Меня терзают смутные сомнения... На первый взгляд все нормально, однако почти в каждом архиве скрипт находит примерно 250-300 дублей. Так и должно быть? Архивы уже были обработаны старой (безглючной) версией скрипта.
Wanted total 96695
Books total 123760
to be squeezed 27065
Или он просто повторно обьединичивает единички? Тогда все в порядке.
Из замеченного: быстрее стали грузится таблицы, это гуд :)
А вот еще что.
WARNING: Bad member name: "Ketrin_A_List_Etika_bl**stva.fb2" zipf="16988-117987"
C этими файлами можно что-то сделать?
Отв: kop-librusec-dedead - 0.4.3
Повторно объединичивает.
Это тебе показалось :) там ничего не делалось.
АХЕЗ. Звёздочки в имени разрушают перловые regexp-ы. Я пока не могу научиться как бы их правильно сравнивать.
Отв: kop-librusec-dedead - 0.4.3
Странно. Тем не менее факт. Тогда одно из трех:
- Я сонный, поэтому думаю медленнее :)
- Они эээ... Закешировались виндой, ибо ноут уже недели две не перезагружался.
- Что третье? Говорю же - сонный я :Р
Отв: kop-librusec-dedead - 0.4.3
Можно экранировать переменную - /^\Q$membername\E$/
А можно использовать строковое сравнение вместо regexp (должно быть быстрее) - grep {$_ eq $membername} @FN_G;
Отв: kop-librusec-dedead - 0.4.3
Спасибо! Перловковар из меня тот ещё...
Страницы