ChitankaDownloader - създаване и обновяване на архиви на "Моята библиотека"

[nassoo]

Честита Нова година!

Малък новогодишен подарък за всички, които биха желали да поддържат архиви на "Моята библиотека" за своето устройство за четене: ChitankaDownloader.
Накратко - можете да създадете архив от произведенията, включени в библиотека и да го обновявате, когато решите. Програмата работи с Моята библиотека като преносима версия - трябва да я изтеглите предварително. След това ChitankaDownloader може да направи архив в fb2.zip или epub формат и да го обновява, без да е необходимо да го изтегляте отново целия. В архива ще бъдат включени всички книги, както и произведенията, които не попадат в никоя книга. За момента има версия само за Windows - надявам се скоро да ми остане време да я пусна и за Linux. Повече информация ще откриете на посочения адрес (ChitankaDownloader).

Когато теглите нова версия на ChitankaDownloader, след като сте създали вече архив, НЕ презаписвайте папката user_data - ако презапишете файловете в нея, съдържанието ще започне да се изтегля отначало, вместо само да се обновява. От архива извадете и презапишете единствено изпълнимия файл ChitankaDownloader.exe.

Ако забележите грешки в поведението на програмата или смятате, че е добре да се добави/коригира някоя функционалност, пишете тук - ще се опитам да направя, каквото мога.

Приятно четене!

[zl_tsanev]

Здравей и благодаря за положения труд!

Пробвах - работи макар и доста бавно.
Обновяването също работи. Но всичко това е в рамките на текущата актуализация на преносимата версия - която не обновява до текущата дата.

Предложение: торент файл за текущото съдържание на ЧИТАНКА. Моето предложение е за формат FB2.

[nassoo]

Качена е нова версия - можете да я изтеглите от същия линк (в първия пост). Ако вече сте изтеглили основното съдържание на библиотеката, заменете само файла ChitankaDownloader.exe. Не презаписвайте папката user_data - ако презапишете файловете в нея, съдържанието ще започне да се изтегля отналачо, вместо само да се обновява. От новия файл ChitankaDownloader.exe стартирайте "Само обнови" - в архива ще бъдат поправени някои проблеми, свързани с поредиците (може би сте забелязали, че се получаваха разни папки с име "NULL"); освен това най-дългите имена на файлове ще бъдат съкратени мъничко, за да не правят излишни проблеми на електронния четец.

Здравей и благодаря за положения труд!

Пробвах - работи макар и доста бавно.
Обновяването също работи. Но всичко това е в рамките на текущата актуализация на преносимата версия - която не обновява до текущата дата.

Предложение: торент файл за текущото съдържание на ЧИТАНКА. Моето предложение е за формат FB2.

Здрасти Радвам се, че е свършила работа програмката.
Бавно работи, защото файлове се свалят от сървър (макар и локален) - обработват се десетки хиляди заявки и няма как да забързам процеса.
А ако имаш предвид бавното зареждане на файла (особено първия път) - това е цената всичко да е напъхано в едно exe. Мога да пусна и версия, в която exe-то е мъничко и заржда мигновено, но ще е в папка с още десетки файлове, което ще е объркващо за някои потребители (а аз искам и майка ми, например, да може да я ползва). Струва ми се, на фона на няколкочасовото теглене на архива, секундите в началото са пренебрежими

Относно актуализацията на преносимата версия, ако има някакви проблеми в нея, пиши в този раздел. Не я ъпдейтвам много често на моя компютър, но доколкото имам наблюдения, в общи линии ми дава актуалните данни...

По отношение на торента, това би обезсмило цялата концепция на ChitankaDownloader - там файловете ще са статични и не може да се използва за обновяване на архив. Давам пример - на някоя книга се променя заглавието или се включва в поредица (ако преди това не е била). Теглиш торента, презаписваш върху твоя архив, но старите файлове остават. А и трябва да се тегли всеки път няколго гигабайта съдържание - при обновяване ChitankaDownloader доста бързо ще свали новото съдържание и ще затрие всичко излишно

[zl_tsanev]

Днес на сайта на ЧИТАНКА актуалната дата за нови книги е 03.01.2023.
Ъпдейта е до 31.12.2022.
Опитах се да генерирам библиотечен файл чрез MyHomeLib на данните от Читанка създадени чрез ChitankaDownloader.
Освен грешките в структурата на файловете FB2 се появяват грешки от четене на архивите(.fb2.zip).
Предложение:
Ако е възможно опитайте данните от ChitankaDownloader да бъдат обработвани докрай от MyHomeLib(при мен обработката приключва некъде около 4500) - все пак тя е една от добрите прогами-"библиотекар". Включена е в торентите на ФЛИБУСТА и ЛИБРУСЕК от много години.

[nassoo]

Благодаря много за обратната връзка - изключително ми е полезна за разработването на програмката!

Днес на сайта на ЧИТАНКА актуалната дата за нови книги е 03.01.2023.
Ъпдейта е до 31.12.2022.

Това леко забавяне на обновяването зависи от преносимата версия на Моята библиотека. Там не мога да помогна - тук трябва да се пускат проблемите, свързани с нея

грешките в структурата на файловете FB2

Дааа, с този проблем съм наясно - подготвям съм лог с грешките и ще го пратя на администраторите на сайта. Проблемът е някъде в генератора на fb2 файловете - XML таговете не се затварят винаги на правилното място, "пресичат" се и - съответно - всеки парсер гърми. Надявам се това да бъде оправено скоро, защото засяга не само преносимата версия, а и целия сайт. Опитай да свалиш някой от счупените файлове от сайта и ще видиш, че положението е същото...

се появяват грешки от четене на архивите(.fb2.zip)

Това си е гаден проблем. В преносимата версия пренасочването не работи консистентно и станах луд, докато оправя всички url-и. Явно съм изпуснал няколко гранични случая - оказа се, че изобщо не ги и отваря даже преносимата версия. Решението за момента е да се свалят от основния сайт.

Ако е възможно опитайте данните от ChitankaDownloader да бъдат обработвани докрай от MyHomeLib(при мен обработката приключва некъде около 4500) - все пак тя е една от добрите прогами-"библиотекар". Включена е в торентите на ФЛИБУСТА и ЛИБРУСЕК от много години.

Опитах да реша проблема с MyHomeLib, но като изключим грешките в структурата на FB2 файловете, другото май си е проблем на MyHomeLib. Всички файлове, за които казва, че са повреден zip, са си съвсем редовни. Отварям ги на компютъра с всеки архиватор (пробвах няколко), отварям ги и ги чета на електронния четец... свалям ги директно от сайта - пак ми казва, че не може да ги разархивира MyHomeLib. Единствено тези 5 наистина бяха повредени:
Български/С/Сааведра, Мигел де Сервантес/Мигел де Сервантес Сааведра - Знаменитият идалго Дон Кихот де ла Манча
Български/М/Ман, Джон _ Шулер, Крис _ Рой, Джефри…/Джон Ман _ Крис Шулер _ Джефри Рой… - Световна енциклопедия на пътешественика
Български/Д/Джерард, Майк/Майк Джерард - Енциклопедия на пътешественика_ Европа
Български/Ш/Шаму, Франсоа/Великите цивилизации/Франсоа Шаму - Вц - 2) Гръцката цивилизация през архаичната и класическата епоха
Български/_/Приказки от цял свят

Малко по-късно ще кача нова версия, в която е оправен проблемът със счупените архиви и някои други бъгове, които забелязах.

Междувременно, ако забележиш (или някой друг забележи) още някакви нередности в поведението на ChitankaDownloader - ще се радвам да ги споделите и се надявам да успея да ги отстраня.

[nassoo]

Следващата версия вече е качена (достъпна е през линка от първия пост).
Новите неща в нея:

• Книгите и произведенията, които имат повече от една версия, ще бъдат коректно изтеглени и индексирани (v1), (v2) и т.н. В предишната версия файловете се записваха един върху друг и в архива оставаше само последният.
• Няколко файла са повредени в преносимата версия и в архива са изтеглени "счупени" zip файлове. В тази версия е добавена опция, с която можете да ги "излекувате". Занапред такива счупени файлове (които са малко) ще се изтеглят директно от сайта, докато не бъдат коригирани в преносимата версия.
• Програмата ще ви казва автоматично при стартиране, когато е налична нова версия.
• Малки корекции в интерфейса и по-незначителни оптимизации.

За да приложите корекциите в архива, който вече сте създали, не е нужно да теглите цялото съдържание отначало - натиснете "Само обновяване" и програмата сама ще се оправи

[pechkov]

… XML таговете не се затварят винаги на правилното място, "пресичат" се и - съответно - всеки парсер гърми. …

Въпросния проблем съм го забелязал отдавна. Получава се при произведения, в които има "strong" и "emphasis" заедно. В sfb формата те се записват съответно с две и с едно ниско тире (__ и _). Слети заедно - правят три ниски тирета (___), при които генератора в определени случаи не може да се сети как да затвори след това.

Предложил съм този проблем да се елиминира като се сложи забрана за три ниски тирета в sfb формата, и ако има "strong" и "emphasis" заедно - поне единия таг да се изписва с по-ясното "{s}" или "{e}", като съответно и затварянето му да е с прилежащите "{/s}" или "{/e}".

Към момента при мен за направа на обобщени архиви до края на 2022 година не могат да бъдат изтеглени две произведения в FB2 формат: 49031 и 49035. При тях сървъра връща грешка 500, и е възможно това да е в случай на един друг стар проблем - лошо надписани имена на файлове за изображения. Писал съм на Борислав, и когато ги оправи, тогава ще пускам и архивите.

EPUB файловете не съм ги тествал още, ще пусна конверсия към MOBI, и там парсера ще изреве каквото има за реване.

[zl_tsanev]

Предложение към nassoo

Можеш да въведеш избор - комресирани или некомпресирани .FB2 като краен резултат.
Що се касае до "пресечени" тагове - срещал съм и <body> и <section> такива, но май само веднъж.

[nassoo]

Към момента при мен за направа на обобщени архиви до края на 2022 година не могат да бъдат изтеглени две произведения в FB2 формат: 49031 и 49035. При тях сървъра връща грешка 500, и е възможно това да е в случай на един друг стар проблем - лошо надписани имена на файлове за изображения. Писал съм на Борислав, и когато ги оправи, тогава ще пускам и архивите.

Върти ми се в главата да хвана направо от сорсовете да ги генерирам файловете, вместо да ги дърпам от сървъра, но това ще отнеме доста време, каквото в момента нямам свободно... Може би следващия месец ще успея да прегледам php генераторите и да започна да имплементирам нещо такова.

Предложение към nassoo
Можеш да въведеш избор - комресирани или некомпресирани .FB2 като краен резултат.

Въпросът е, че данните се вземат в момента от сървъра (преносимата версия на Читанка), а там има опции само за fb2.zip, epub, txt.zip и sfb.zip. Мога да сложа опция да ги разархивира накрая... което всъщност се случва на последната стъпка за добавяне на информацията за поредиците - разархивира се fb2.zip файла, отваря се xml-а, добавят се липсващите данни, и се архивира отново. Не знам има ли кой знае колко смисъл, при положение, че архивът ще стане огромен, но не пречи да го добавя, ако на някого му се съхранява 3-4 пъти по-обемен архив

[zl_tsanev]

...което всъщност се случва на последната стъпка за добавяне на информацията за поредиците - разархивира се fb2.zip файла, отваря се xml-а, добавят се липсващите данни, и се архивира отново

Вероятно може да се пробва с опции за архивиране(за съвместимост с MyHomeLib).

[nassoo]

...което всъщност се случва на последната стъпка за добавяне на информацията за поредиците - разархивира се fb2.zip файла, отваря се xml-а, добавят се липсващите данни, и се архивира отново

Вероятно може да се пробва с опции за архивиране(за съвместимост с MyHomeLib).

Лошото е, че тази несъвместимост не се появява след архивиране с ChitankaDownloader - тези файлове си ги зарежда MyHomeLib. Сърди се на някои zip файлчета така, както са си свалени от chitanka.info (или от локалния сървър - еднакво е поведението), но все още нямам представа защо. Надявам се следващия месец да ми остане време да опитам да генерирам поне fb2 директно от sfb - това би решило проблема (както и този с пресичащите се тагове).

[nassoo]

Вероятно може да се пробва с опции за архивиране(за съвместимост с MyHomeLib).

Оказа се, че просто MyHomeLib не се разбира добре с някои символи вътре в архивите, които генераторът на Читанка създава. Става дума за имената на това, което е вътре в zip файла, не за името на самия zip. Също така става дума само за MyHomeLib - навсякъде другаде, където пробвах, файловете се отварят без проблем.
В момента нямам време, но към края на февруари ще направя нова версия с опция за допълнителна верификация за тези, които държат да използват точно MyHomeLib
Изпратих и списък с всички повредени fb2 файлове на администратора - не са много (31 файла), дотогава може евентуално и те да са готови и всички да са щастливи

[zl_tsanev]

След предварително разархивиране на изтеглената с ChitankaDownloader информация всички файлове(без един) се обработват от MyHomeLib. Въпросният файл е "Световните цивилизации. История и култура. Том първи (Зората на историята. Светът през Класическата епоха).fb2" от Ралф, Филип Лий( и други). Прегледах го бегло, но освен че не завършва с LF нищо особено не намерих. А е и валиден FB2 файл.
Благодаря за положения труд и разбира се, всяко подобрение е добре дошло!

P.S. Пропуснах - въпросните 31 файла с "кръстосани" тагове също не се обработват.

[nassoo]

Налична е нова версия - единствената промяна е възможността архивът да се тегли в FB2 (разархивиран) формат. Имайте предвид, че ако използвате .fb2, а не .fb2.zip, архивът ще стане няколко пъти по-голям и ще се изтегли малко по-бавно.

След предварително разархивиране на изтеглената с ChitankaDownloader информация всички файлове(без един) се обработват от MyHomeLib. Въпросният файл е "Световните цивилизации. История и култура. Том първи (Зората на историята. Светът през Класическата епоха).fb2" от Ралф, Филип Лий( и други). Прегледах го бегло, но освен че не завършва с LF нищо особено не намерих.

С новата версия при избран FB2 формат MyHomeLib импортира всичко, освен повредените файлове (с кръстосани тагове) - след като бъдат поправени в сайта и в базата данни, и това ще се оправи.

Благодаря за положения труд и разбира се, всяко подобрение е добре дошло!

Благодарностите са за хората, които са направили и продължават да правят възможно съществуването на тази съкровищница
А подобрения в програмката ще има може би след около месец, но не обещавам кога точно ще ми остане време да се захвана с по-сериозни промени...

[zl_tsanev]

След пълно обновяване във формат FB2:
Изтеглени файлове - 17841.
От тях - 28 с грешки в структурата.
Ето списъка:

\_\.zip -> Английска поезия [В превод на Александър Шурбанов].fb2
\_\.zip -> Заветни лири [Антология на руската класическа поезия].fb2
\Б\Браун, Пиърс\Червен изгрев\.zip -> Пиърс Браун - Чи - 2) Златен син.fb2
\Б\Брет, Питър В\Демонски цикъл\.zip -> Питър В. Брет - Дц - 3) Дневната война.fb2
\Б\Брет, Питър В\Демонски цикъл\.zip -> Питър В. Брет - Дц - 4) Черепният трон.fb2
\Д\Дивър, Джефри\Джеймс Бонд\.zip -> Джефри Дивър - ДБ - 37) Картбланш.fb2
\Е\Ериксън, Стивън\Трилогия за Карканас\.zip -> Стивън Ериксън - ТзК - 1) Ковачница на мрак.fb2
\К\Каултър, Катрин\Регентството\.zip -> Катрин Каултър - Р - Херцогът.fb2
\К\Колвин, Фред\.zip -> Фред Колвин - Превъзходен път [Любовта и библейската употреба на духовните дарби].fb2
\К\Къркпатрик, Ръсел\Небесен огън\.zip -> Ръсел Къркпатрик - Но - 1) През лицето на света.fb2
\М\Меснер, Райнхолд\.zip -> Райнхолд Меснер - Моят живот на ръба [Автобиография в беседи с Томас Хютлин].fb2
\М\Младенов-Young, Борис\.zip -> Борис Младенов-Young - Вълнения [Любителска поезия] [(Неиздадени стихове)].fb2
\М\Младенов-Young, Борис\.zip -> Борис Младенов-Young - С лира и слушалка [Любими стихове] [Юбилейно 80].fb2
\Н\Нес, Патрик\.zip -> Патрик Нес - Часът на чудовището.fb2
\П\Пировски, Любомир Т. _ Пировски, Никола Л\.zip -> Любомир Т. Пировски _ Никола Л. Пировски - Биорегулация на стареенето.fb2
\П\Пировски, Любомир Т. _ Пировски, Никола Л. _ Стайкова-Пировска, Йорданка\.zip -> Любомир Т. Пировски _ Никола Л. Пировски _ Йорданка Стайкова-Пировска - Искам — мога — трябва [Холистичен модел на….fb2
\П\Пушкин, Александър\.zip -> Александър Пушкин - Избрани произведения. Том втори [Стихотворения. 1825-1836].fb2
\П\Пушкин, Александър\.zip -> Александър Пушкин - Избрани произведения. Том първи [Стихотворения. 1814-1824].fb2
\С\Сандърсън, Брандън\Възмездителите\.zip -> Брандън Сандърсън - В - 2) Зарево.fb2
\С\Сандърсън, Брандън\Ритматист\.zip -> Брандън Сандърсън - Р - 1) Ритматистът.fb2
\С\Сапковски, Анджей\.zip -> Анджей Сапковски - Нещо приключва, нещо започва.fb2
\С\Смит, Гавин\Ветеран\.zip -> Гавин Смит - В - 1) Ветеран.fb2
\С\Смит, Гавин\Ветеран\.zip -> Гавин Смит - В - 2) Война в небесата.fb2
\С\Стийвотър, Маги\Момчетата от академия «Алионби»\.zip -> Маги Стийвотър - Моа - 1) Пророчеството на гарвана.fb2
\Т\Торо, Ал\.zip -> Ал Торо - Зомбокалипсис.fb2
\Т\Торо, Ал\.zip -> Ал Торо - Рандеву.fb2
\У\Улман, Лин\.zip -> Лин Улман - Съкровеното.fb2
\Ф\Филипс, Сюзън Елизабет\Чикаго старс\.zip -> Сюзън Елизабет Филипс - Чс - Сияйна звезда.fb2

Обема е малко повече от два пъти спрямо .FB2.ZIP, а скороста е малко по-висока - от избягване на архивирането предполагам.

[nassoo]

След пълно обновяване във формат FB2:
Изтеглени файлове - 17841.
От тях - 28 с грешки в структурата.
Ето списъка:
...

Да, тези са изпратени до администратора и вече работи по отстраняването на проблемите. Откри и други грешки покрай тях - генерира се well-formed XML, но не по схемата на FB2.

Обема е малко повече от два пъти спрямо .FB2.ZIP

15.1GB е архивът с .fb2 за момента, а 6.36GB е с .fb2.zip файлове, така че да - приблизително 2.4 пъти по-голям е, ако не са разархивирани.

скороста е малко по-висока - от избягване на архивирането предполагам.

Това е странно - архивирането не се избягва. Напротив, заявките към сървъра връщат архивирани файлове, а ChitankaDownloader ги разархивира, за да се получат fb2 файлове. При мен отне около 15-20 минути повече...

[zl_tsanev]

Това е странно - архивирането не се избягва. Напротив, заявките към сървъра връщат архивирани файлове, а ChitankaDownloader ги разархивира, за да се получат fb2 файлове. При мен отне около 15-20 минути повече...

Възможно е да греша - оценката ми бе чисто субективна. Може да добавиш индикация за продължителността на процеса, но това не е толкова важно, разбира се!

[nassoo]

Налична е нова версия (достъпна е през линка от първия пост).
Новите неща в нея:

• Подобрено индексиране да дублиращи се записи (вече се добавят индекси и ако имената на файловете се различават само по малка/главна буква).
• В края на процеса се показва колко време е продължил (с точност до 5 секунди).
• По-точна проверка за наличие на нови версии.

Забелязах, че при обновяване на папката chitanka-content на Моята библиотека като преносима версия размерът ѝ значително се увеличи. Доколкото виждам, това се дължи на по-големи изображения за обложки на книгите. Промените обаче не са отразени в базата данни и ChitankaDownloader няма как да знае, че нещо във файловете е променяно, за да ги обнови. Ако някой иска да получи наново по-големите файлове, ще се наложи да пусне процеса отначало (т.е. да избере "Изтегли всичко" вместо "Обнови").

Освен това Моята библиотека като преносима версия не може да се справи с най-големите файлове (напр. Miguel-de-Cervantes_-_Znamenitijat_idalgo_Don_Kihot_de_la_Mancha_-_8838-b.fb2.zip, който е над 70MB) и връща грешка. Можете да решите проблема по следния начин: в основната директория на програмата (по подразбиране chitanka-desktop-windows, ако не сте я преименували) отворете файла php.ini (намира се в папката php) и променете в него стойността memory_limit=256M на memory_limit=512M. След като запазите файла, заявките би трябвало да минават.