Вы здесьТипичные ошибки распознавания - собираем статистику для скрипта ФБЕ
Опубликовано чт, 06/01/2011 - 11:12 пользователем TaKir
Собираю статистику по наиболее частым типичным ошибкам распознавания для включения их в скрипт ФБЕ: Варианты: Прошу участвовать всех желающих. Дополненный список я хочу включить в недавно обновленный скрипт "Поиск по набору регэкспов", автор Sclex (http://groups.google.com/group/fiction-book-editor/browse_thread/thread/b4700ee54d255384), работающий под ФБЕ. Сейчас данный скрипт у меня ищет: Использование этого скрипта заметно сокращает время работы над книгой в ФБЕ.
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
Саша из Киева RE:Хочу быть лётчиком 13 часов
logusss RE:Подайте бедному копеечку на книжку с литреса... 16 часов Саша из Киева RE:Бессмертен подвиг ваш 1 день sem14 RE:Искатель жемчуга 2 дня Larisa_F RE:Жизнь не отменяется 2 дня Larisa_F RE:Из озера взметнулись молнии 3 дня babajga RE:На краешке чуда 1 неделя sem14 RE:«Не забыть бы тогда, не простить бы и не потерять!»-2 ... 1 неделя Саша из Киева RE:Ведомственный притон 1 неделя Саша из Киева RE:Хождение во власть. После путча 2 недели kusheyev RE:Заливка 2 недели sibkron RE:"100 славянских романов", серия изд.-ва "Центр книги... 2 недели kusheyev RE:Багрепорт - 2 2 недели kusheyev RE:Доступ 2 недели kusheyev RE:Правила пользования библиотекой Либрусек 3 недели Саша из Киева RE:Секрет долголетия 3 недели serafim68 RE:Заязочка 3 недели Саша из Киева RE:СССР - великое содружество народов-братьев 1 месяц Впечатления о книгах
Старший про Владимир Симеонович Манчев
17 04 Высказывание о том,о чем автор не имеет ни малейшего представления,это идиотизм высшей степени.оценка"не читаемо".
ikravtso про Абрамчик: Скрытые улики (Детективы: прочее, Самиздат, сетевая литература)
16 04 Аннотация - огонь! Подходит примерно 100% всех имеющихся в природе детективов.
Wik@Tor про Ивахин: Оперативная деятельность и вопросы конспирации в работе спецслужб Т. 2 (Спецслужбы)
16 04 Когда ломают двери, разведчик или пускает себе пулю в лоб, или рассчитывает варианты. Из этой книги.
StrelaVV про Андрей Александрович Васильев (фантаст)
16 04 Автора боженька поцеловал при рождении - вот уж одарил талантом... Спасибо Андрею за доставленное удовольствие, прочитала всё и мечтаю о новых книгах.
Дей про Деньги не пахнут
16 04 Абсолютно беспринципный и безжалостный герой, идущий к цели по трупам. Все женщины хотят ГГ, но если бы автор описывал процесс, это хотя бы тянуло на эротику, а простые регулярные упоминания о том, как ГГ "занялся сексом, ………
Oleg68 про Мюссо: Сентрал-парк [Central Park ru] (Современная проза)
15 04 Книга хорошая. Необычный сюжет. Но, вот как-то не зацепила. Одна из многих. Оценка: хорошо
polyn про Ефимова: Никогда не играйте в смерть (Иронический детектив, Любовные детективы)
14 04 До сих пор мне очень нравились книги Ефимовой. Особенно интересен цикл "Миссия дилетант". И я никак не ожидала получить откровенную халтуру. Оценка: плохо
Barbud про Санфиров: Фармацевт [СИ] (Альтернативная история, Попаданцы, Самиздат, сетевая литература)
14 04 ...одноразовых шприцов у нас не имеется, рожей мы для них не вышли" - да в 66-м году при упоминании одноразовых шприцов советский доктор покрутил бы пальцем у виска и поинтересовался - что это, мол, такое за фантастика. За ………
Лысенко Владимир Андреевич про Ковтунов: Идеальный мир для Лекаря 15 [СИ] (Боевая фантастика, Юмор: прочее, Самиздат, сетевая литература)
14 04 Книги этой серии, переодические перечитываю, жду продолжения. Оценка: отлично!
udrees про Замяткин: Тай-чи языка, или Вас невозможно научить иностранному языку (Языкознание, Иностранные языки, Самиздат, сетевая литература)
13 04 Очень интересная методика изучения иностранных языков, в основном, английского конечно, благо все примеры почти приводятся при изучении английского и русского языков, учителями которого пришлось выступать автору. В конце книги ……… Оценка: отлично!
udrees про Лекуре: Рубенс (Биографии и Мемуары, Изобразительное искусство, фотография)
13 04 Написано неплохо, собственно выделена как профессиональная, так и личная жизнь знаменитого художника. Я и не знал, что он был так богат и организовал целое предприятие по написанию картин. И меня интересовали пухлые формы ……… Оценка: хорошо
Туренко Алексей про Симмонс: Неглубокая могила [litres] [Hardcase ru] (Крутой детектив)
13 04 Посредственная писанина пенсионера-коньюктурщика. В оружии он ни хрена не разбирается. И до Ричарда Старка ему, как до луны. Проходная, переоцененная муть. Оценка: плохо |
Комментарии
Отв: Типичные ошибки распознавания - собираем статистику ...
странно.. у меня ОК
УПД: ЕСЛИ У ТЕБЯ ТАМ НЕРАЗРЫВНЫЙ ПРОБЕЛ, то тогда понятно, да
Отв: Типичные ошибки распознавания - собираем статистику ...
У меня вообще находит один раз из трёх "но", которые я поставила в строку. Не понимаю. :((((
Нет, какой же неразрывный, я от руки написала строку.
Ладно, отложим. Не получается. :(((
Доделаю книгу, буду дальше пробовать. Спасибо сирамно. :)
Отв: Типичные ошибки распознавания - собираем статистику ...
Вот такую строчку отлично проверил
Отв: Типичные ошибки распознавания - собираем статистику ...
У меня теперь тоже. Кстати, скрипт Алдио с запятой тоже всё у меня нашёл.
Но "точка, тире, буква" более комплексный. Там можно не только знак препинания менять, но и регистр буквы. И у него обзор лучше.
Скрипт Алдио хорош для второго прогона и, как я уже писала, для нахождения пропущенной точки. Это важно.
Коллеги, я получаю огромное удовольствие от того, как совместными усилиями мы улучшаем качество наших книг. Для меня огромная честь и радость общаться со всеми вами!
Отв: Типичные ошибки распознавания - собираем статистику ...
як, вместо я к
Отв: Типичные ошибки распознавания - собираем статистику ...
А если добавить:
", по" - найдем все не правильно распознанные ", но"...
TaKir Такой вопрос - может имеет смысл перенести "ыи" поиск сочетания только в конце слова?
Отв: Типичные ошибки распознавания - собираем статистику ...
Отв: Типичные ошибки распознавания - собираем статистику ...
Иногда встречается "ыо" вместо "ью".
Отв: Типичные ошибки распознавания - собираем статистику ...
Это, по-моему, есть в первоначальном варианте...
Отв: Типичные ошибки распознавания - собираем статистику ...
Пробовал ставить поиск "фа"->"гра" - хватило меня на 2 минуты - слишком много ошибочных нахождений...
Отв: Типичные ошибки распознавания - собираем статистику ...
Отв: Типичные ошибки распознавания - собираем статистику ...
Подтверждаю. И ещё фуппа - группа и Уильяме - Уильямс.
Отв: Типичные ошибки распознавания - собираем статистику ...
Из этой же серии встретилась фация - грация.
Отв: Типичные ошибки распознавания - собираем статистику ...
если книжка про войнушку, можно прогнать поиском по слову фанат, и посмотреть что найдется... давно так делаю
Отв: Типичные ошибки распознавания - собираем статистику ...
Фраза "open the window" была распознана как "орёл не видел"
Отв: Типичные ошибки распознавания - собираем статистику ...
Лучше было язык распознавания задать английский, тогда не стал бы по-русски распознавать.
FR тем и хорош, что можно любую область распознать отдельно от других и каждой области распознавания задать свой язык - очень помогает при распознавании многоязычных текстов, особенно там, где не только русско-английский, но и другие языки присутствуют.
Отв: Типичные ошибки распознавания - собираем статистику ...
Точка в середине предложения (мусор, неправильная запятая).
Отв: Типичные ошибки распознавания - собираем статистику ...
... ловится скриптом "Слипшиеся слова".
Отв: Типичные ошибки распознавания - собираем статистику ...
Попробовал. Чевой-то неудобным он мне показался. Два слова только показывает, надо все равно по тексту проверять, вариант замены вручную править. Запихнуть бы это дело в Единый Великий Скрипт :))
Отв: Типичные ошибки распознавания - собираем статистику ...
Насколько я понимаю, не все знают КАК добавить в Единый скрипт тот или иной регесп.
Попробую описать максимально просто:
1. Скачиваем или открываем скрипт.Я поместил его в папку чистка: FictionBook Editor - Scripts - 06_Чистка
2. Открываем его при помощи блокнота: Рекомендую Notepad++. В нём нерабочие строки будут выделяться зелёным цветом:
3. Читаем комментарий. (комментарий кончается словами : -------------начало блока TaKir - регэкспы:--------------- )
Если категорически непонятно - пропускаем.:
4. Вставляем нужный или скопированный регесп из этой темы. Для удобства выделите его пустыми строками ( они в данном случае никакой роли не играют):
5. Жмём на "Сохранить"
6. Пробуем
Ещё немного:
Для удобства можно вывести ярлык этого скрипты на рабочий стол и редактировать его по мере необходимости. Скрипт начинает работать сразу по сохранению. Перезапускать FBE не требуется
Ненужный регэсп можно отключить, поставив в начале строки два слеша (//). В Notepad++ эта строчка изменит цвет на зелёный. Сохраняем.
Отв: Типичные ошибки распознавания - собираем статистику ...
Дело в том, что этот скрипт ловит намного больше, чем точку в середине предложения. У меня он - в списке обязательных скриптов. Ну и заодно и точку ловит. ;)
Отв: Типичные ошибки распознавания - собираем статистику ...
Ага. У меня просто скан попался такой, вот этих самых точек много. Показалось проще вылавливать поиском [а-я][.] [а-я], учит. регистр, рег. выражения. А так многие скрипты пользую.
Да, и wotti спасибо за это:
Не знал.
А, еще вспомнил по случаю - вот этого скриптика у Вас не завалялось случаем? А то потерялся у меня, теперь вспоминаю с тоской:))
Отв: Типичные ошибки распознавания - собираем статистику ...
http://www.multiupload.com/RWM7NPFQ5R
Отв: Типичные ошибки распознавания - собираем статистику ...
Благодарствую:))
Отв: Типичные ошибки распознавания - собираем статистику ...
Туда же можно засунуть конструкцию "[а-я] — [А-Я]" с учётом регистра (т.е. "i" убрать). Отлавливает места, где в диалогах пропала точка.
Отв: Типичные ошибки распознавания - собираем статистику ...
Ну и до кучи ", — [А-Я]" с учётом регистра (т.е. "i" убрать). Отлавливает места, где в диалогах запятая вместо точки.
Отв: Типичные ошибки распознавания - собираем статистику ...
addRegExp("[а-я] — [А-Я]","","Найдено: возможно, пропущена точка в диалоге");
addRegExp(", — [А-Я]","","Найдено: возможно, запятая вместо точки в диалоге");
addRegExp("[а-я] но ","i","Найдено: -но- после слова и в обрамлении пробелов, скорее всего нужно -по-");
Отв: Типичные ошибки распознавания - собираем статистику ...
Yeeeeessss!
Спасибо, Алдио!
Wotti, и тебе.
Отв: Типичные ошибки распознавания - собираем статистику ...
с запятой почему-то не работает. Завтра посмотрю :-)
Отв: Типичные ошибки распознавания - собираем статистику ...
Запятую отлично ищет тот скрипт, о котором я писала - "точка тире буква", а вот пропущенную точку только что нашла с твоим скриптом. Кла-а-а-а-ассс!!!
Отв: Типичные ошибки распознавания - собираем статистику ...
addRegExp("[,] [—] [А-ЯЁ]","","Проверка знака припинания");
Отв: Типичные ошибки распознавания - собираем статистику ...
Странно... не работает с запятой. Чудеса. Ладно, утро вечера мудренее :-)
А, не. Понял.
После "Генеральной уборки" пробел после запятой и перед тире похоже превращается в неразрывный. И соответственно более не находится. Как в скрипте указать неразрывный пробел?
Про точка-три-буква понял,. Раньше не пользовался. Буду :-)
Отв: Типичные ошибки распознавания - собираем статистику ...
Включи режим отображения неразрывных пробелов в настройках
Скопируй в сорцах неразрывный пробел
Вставь в скрипт
У меня так:
addRegExp(",□— [А-Я]","","Найдено: возможно, запятая вместо точки в диалоге");
УПД.
Некоторые регэспы лучше делать в 2-х видах: с простым и с неразрывными пробелами, чтобы ловил оба варианта
Отв: Типичные ошибки распознавания - собираем статистику ...
Co-o-o-o-ol! Тоже работает.
Вот переделаю все-все-все книги и засяду тренироваться писать регэкспы. Да.
Отв: Типичные ошибки распознавания - собираем статистику ...
Если у вас последняя версия скрипта, то неразрывный пробел в регэкспе можно записать так: \xA0 , тогда он будет корректно искаться независимо от того, какое его отображение выбрано в настройках.
Отв: Типичные ошибки распознавания - собираем статистику ...
О, спасибо! Теперь и после "Ген. уборки" работает. :)
Отв: Типичные ошибки распознавания - собираем статистику ...
Тоскливо перечитал фразу и подумал, сколько ещё можно умного узнать, если бы.. но... Ну и фигсним )))
Отв: Типичные ошибки распознавания - собираем статистику ...
wotti Спасибо! :-)
Отв: Типичные ошибки распознавания - собираем статистику ...
Тема открыта уже полгода...
Сам пользуюсь двумя - "Поиск по набору регэкспов TaKir 24_01_2011" и "своим", подсмотренным здесь:
[collapsed title=открыть]addRegExp("[а-яё][А-ЯЁ]","","Найдено: смесь регистров");
addRegExp("[А-ЯЁ][А-ЯЁ][а-яё]","","Найдено: смесь регистров");
tagRegExp("(?<![а-яё])ои(?![а-яё])","i","Найдено: слово "ои" ("он" с опечаткой).","",1);
tagRegExp("(?<![а-яё])го(?![а-яё])","i","Найдено: слово "го" ("по или то" с опечаткой).","",1);
tagRegExp("(?<![а-яё])нот(?![а-яё])","i","Найдено: слово "нот" ("пот" с опечаткой).","",1);
tagRegExp("(?<![а-яё])газ(?![а-яё])","i","Найдено: слово "газ" ("гав или таз" с опечаткой).","",1);
tagRegExp("(?<![а-яё])гав(?![а-яё])","i","Найдено: слово "гав" ("газ или таз" с опечаткой).","",1);
tagRegExp("(?<![а-яё])щей(?![а-яё])","i","Найдено: слово "щей" ("шеи" с опечаткой).","",1);
tagRegExp("(?<![а-яё])ато(?![а-яё])","i","Найдено: слово "ато" ("а то" с опечаткой).","",1);
tagRegExp("(?<![а-яё])ито(?![а-яё])","i","Найдено: слово "ито" ("и то" с опечаткой).","",1);
tagRegExp("(?<![а-яё])тою(?![а-яё])","i","Найдено: слово "тою" ("того" с опечаткой).","",1);
tagRegExp("(?<![а-яё])вамп(?![а-яё])","i","Найдено: слово "вамп" ("вами" с опечаткой).","",1);
tagRegExp("(?<![а-яё])попятно(?![а-яё])","i","Найдено: слово "попятно" ("понятно" с опечаткой).","",1);
tagRegExp("(?<![а-яё])отда(?![а-яё])","i","Найдено: слово "отда" ("отца" с опечаткой).","",1);
tagRegExp("(?<![а-яё])конда(?![а-яё])","i","Найдено: слово "конда" ("конца" с опечаткой).","",1);
tagRegExp("(?<![а-яё])лидами(?![а-яё])","i","Найдено: слово "лидами" ("лицами" с опечаткой).","",1);
tagRegExp("(?<![а-яё])аза(?![а-яё])","i","Найдено: слово "аза" ("а за" с опечаткой).","",1);
tagRegExp("(?<![а-яё])пей(?![а-яё])","i","Найдено: слово "пей" ("ней" с опечаткой).","",1);
tagRegExp("(фан)","i","Найдено: часть слова "фан" ("гран" с опечаткой).","",1);
tagRegExp("[а-яёa-z]<strong>[а-яёa-z]+?</strong>|<strong>[а-яёa-z]+?</strong>[а-яёa-z]","i","Найдено: жирность в средней части слова.");
tagRegExp("[а-яё]<strong>[а-яё]+?</strong>|<strong>[а-яё]+?</strong>[а-яё]","i","Найдено: жирность части слова.");
tagRegExp("<strong>[а-яёa-z]+?</strong>[а-яёa-z]|[а-яёa-z]<strong>[а-яёa-z]+?</strong>","","Найдено: жирность в начале или конце слова.");
tagRegExp("[а-яёa-z]<sup>[а-яёa-z]+?</sup>|<sup>[а-яёa-z]+?</sup>[а-яёa-z]","i","Найдено: Найдено: верхний индекс в средней части слова.");
tagRegExp("[а-яё]<sup>[а-яё]+?</sup>|<sup>[а-яё]+?</sup>[а-яё]","i","Найдено: Найдено: верхний индекс.");
tagRegExp("<sup>[а-яёa-z]+?</sup>[а-яёa-z]|[а-яёa-z]<sup>[а-яёa-z]+?</sup>","","Найдено: верхний индекс в начале или конце слова.");
tagRegExp("[а-яёa-z]<sub>[а-яёa-z]+?</sub>|<sub>[а-яёa-z]+?</sub>[а-яёa-z]","i","Найдено: нижний индекс в средней части слова.");
tagRegExp("[а-яё]<sub>[а-яё]+?</sub>|<sub>[а-яё]+?</sub>[а-яё]","i","Найдено: нижний индекс части слова.");
tagRegExp("<sub>[а-яёa-z]+?</sub>[а-яёa-z]|[а-яёa-z]<sub>[а-яёa-z]+?</sub>","","Найдено: нижний индекс в начале или конце слова.");
[/collapsed]Так вот... - есть у кого готовые и работающие наработки?
А так же, желание поделиться? :)
Отв: Типичные ошибки распознавания - собираем статистику ...
Выложите кто-нибудь готовый скрипт со всеми наработками, please.
Отв: Типичные ошибки распознавания - собираем статистику ...
Мой http://ifolder.ru/24492734
Отв: Типичные ошибки распознавания - собираем статистику ...
Спасибо!
Отв: Типичные ошибки распознавания - собираем статистику ...
И от меня спасибо.
Wotti тоже собирался делать, хотела как раз его просить включить ещё два "моих" слова ко всем уже перенятым:
"Уильяме" вместо "Уильямс"
и
"поддерев" вместо "под дерев" (склеиваются почему-то только "под деревом" или "под деревьями"; причём "поддеревом" даже не распознаётся как орфографическая ошибка - ни в ФР, ни в ФБЕ).
Может, кому-нибудь тоже пригодится.
Отв: Типичные ошибки распознавания - собираем статистику ...
Сейчас делаю книжку и постоянно натыкаюсь: "Ухты" вместо "Ух ты", "Ивам" вместо "И вам", "1" в конце предложения вместо "!"
Отв: Типичные ошибки распознавания - собираем статистику ...
Ну, "1" выловит как "смесь букв и цифр", а остальные, если регулярно встречаются, можно добавить (по аналогии с уже существующими), а потом отключить. Я часто так делаю для конкретной книги.
Отв: Типичные ошибки распознавания - собираем статистику ...
Типичные ошибки для данной книги можно найти и обычным поиском. Но сочетания "И вам" и "Ух ты" не так часты и в любой другой книги могут оказаться незамеченными.
Отв: Типичные ошибки распознавания - собираем статистику ...
Ну так включите эти случаи в свой вариант скрипта. ;)
tagRegExp("(?<![а-яё])ивам(?![а-яё])","i","Найдено: слово "ивам" ("и вам" с опечаткой).","",1);
tagRegExp("(?<![а-яё])ухты(?![а-яё])","i","Найдено: слово "ухты" ("ух ты" с опечаткой).","",1);
Отв: Типичные ошибки распознавания - собираем статистику ...
Коллеги!
Этот скрипт - огромная помощь для верстальщиков. Трудно переоценить его необходимость. Но он не заменяет все остальные скрипты.
Не ограничивайтесь только им, какое бы количество регэкспов мы туда ни запихнули.
Более того, если вы использовали другие скрипты до запуска этого, то они уже нашли множество ошибок, а значит скрипт по регэкспам будет работать намного быстрее.
Отв: Типичные ошибки распознавания - собираем статистику ...
Ещё (может кто не знает)
Чтобы присвоить скрипту (любому) горячую клавишу нужно:
1. Заходим в меню Сервис-Настройки
2. в появившемся окне выбираем вкладку "Клавиши". В левом окошке выбираем "Скрипты". В правом ищем скрипт "Поиск по набору регеспов" . В чекбоксе "Клавиши" выбираем ту, что больше нравится. (В моём случае это F4) Жмём "Присвоить"
ВСЁ
Можно вывести иконку на панель скриптов. Для этого:
1. Клик на панели скриптов. Появится окошко "Настроить"
2. В появившемся окошке настройки, выбираем нужную иконку и переносим её в правую часть, нажав кнопку "Добавить"
Отв: Типичные ошибки распознавания - собираем статистику ...
Голма совершенно права. Я тоже сначала прохожу скриптами, которые заточены под определённые операции и только потом прохожу Единым скриптом и Спеллчеком.
Страницы