Архив на библиотеката

Правила
Уважавайте другите участници и се отнасяйте с тях така, както бихте желали те да се отнасят с вас!

Отговор на темата


Този въпрос служи за улавяне на ботове и предотвратяване на спама.
Усмивки
:D :) :( :o :shock: :? 8) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :wink: :!: :?: :idea: :arrow: :| :mrgreen:

BBCode е включен
Кодът [img] е включен
Кодът [url] е включен
Усмивките са включени

Преглед на темата
   

Разгъване Преглед на темата: Архив на библиотеката

Re: Архив на библиотеката

от nassoo » 06 октомври 2021, 09:01

tonywoolf написа:Я кажи, ако искам само да добавя новите неща към вече оформения архив, как трябва да се процедира? Ако пусна скрипта, ще ги добави ли или ще започне от самото начало, ще замени всички изтеглени и ще добави новите?
За момента трябва да се започне отначало (може да се изтрият старите или да се пусне скриптът върху тях - ще презапише старите просто). При това трябва да обновя списъците, за да вижда новодобавените/коригираните заглавия (мисля засега да го правя периодично, примерно веднъж месечно). Имам и версия, в която се задава начална дата и тегли всичко след нея, но пак не е оптималният вариант... Затова в момента работя върху доста подобрена версия, която да прави всичко автоматично и която да не изисква допълнителна инсталация на пакети, но ще отнеме време (което напоследък ми е много ограничено). Освен това трябва да разреша няколко концептуални проблема, за най-важния от тях ти писах лично съобщение, пуснал съм въпроса и в съответната тема във форума. Ако не е възможно да се направи така, ще опитам да направя същото през "Моята библиотека като преносима версия", но пък там ми даваше всички връзки като външни, сочещи към chitanka.info, а не към локалната машина - затова се насочих първоначално към виртуалната машина. След като ми отговориш ти, или някой друг, който е наясно как работи базата данни на виртуалната машина, ще видя как точно бих могъл да продължа...

Re: Архив на библиотеката

от tonywoolf » 05 октомври 2021, 22:51

Я кажи, ако искам само да добавя новите неща към вече оформения архив, как трябва да се процедира? Ако пусна скрипта, ще ги добави ли или ще започне от самото начало, ще замени всички изтеглени и ще добави новите?

Re: Архив на библиотеката

от nassoo » 26 септември 2021, 20:03

pechkov написа:От години обмислям по каква логика да "слея" книги и произведения в едно, без да се повторят всички произведения, но засега няма работещи идеи.

Проблемите са, че има произведения, които са включени в няколко книги, а има и произведения, които не са включени в нито една книга. Също така тук-там има разлика в заглавията на книгите и произведенията в тях. А за да се подредят файловете по директории - трябва да има някакъв ред.

Скоро ще съм готов с някои промени по архивите, и наближава момента за новия обобщен архив. Хайде да го обсъдим, и ако стигнем до някакво работещо решение - да има време до тогава да направя и промените във Филтъра.
Да, винаги обмяната на идеи води до подобрения, така че съм напълно отворен да споделя начина, по който сглобих нещата, и да помогна с каквото мога... Миналата седмица говорихме и с Борислав по мейла, опитах накратко да му обясня каква е логиката. В общи линии реших да подходя както в една традиционна "хартиена" библиотека - включих всички книги, без значение дали някое произведение го има в повече от една. Предполагам, няма да се хареса на всички, но за мен поне и за хората, с които се консултирах като потребили, това е най-удобният вариант. Като отделни файлове се теглят само произведенията, които не са включени в книга.

Ако искаш, пиши ми лично съобщение, за да ми дадеш мейл или някакъв месинджър - във форума директно ми се струва, че трудно би се провела такава комуникация... а и по-лесно ще мога да ти пратя всички файлове, които генерират архива.

Re: Архив на библиотеката

от nassoo » 26 септември 2021, 19:43

tonywoolf написа:Каза ОК, довиждане и т.н. 16804, и толкова. Inkpad-а ми, от стария архив, казва 49000 и нагоре... Разликата е в книги/произведения?
Да, в стария архив има само произведения - съответно всеки разказ (част от книга), всяко стихотворение (част от стихосбирка), дори всеки предговор излизаха като отделни файлове. Тук всичко е подредено по книги - ако стихотворението е част от стихосбирка, се изтегля книгата, в която е включено заедно с всички останали стихотворения, предговори и т.н. Единствено произведенията, които не са включени в никоя книга, се изтеглят като отделни файлове. Съответно оттук се получава разликата в броя файлове в двата архива.
Това, което ме притеснява, е броят, който ми казваш - би трябвало да са със сто и няколко повече файловете... 16804 ти го показва reader-ът (тогава би звучало логично заради някои дублирания), или го гледаш във файлов мениджър (тогава може би има някакъв проблем, въпреки че python скриптът би следвало да изпищи, ако нещо не може да се изтегли)?

Re: Архив на библиотеката

от pechkov » 26 септември 2021, 19:28

От години обмислям по каква логика да "слея" книги и произведения в едно, без да се повторят всички произведения, но засега няма работещи идеи.

Проблемите са, че има произведения, които са включени в няколко книги, а има и произведения, които не са включени в нито една книга. Също така тук-там има разлика в заглавията на книгите и произведенията в тях. А за да се подредят файловете по директории - трябва да има някакъв ред.

Скоро ще съм готов с някои промени по архивите, и наближава момента за новия обобщен архив. Хайде да го обсъдим, и ако стигнем до някакво работещо решение - да има време до тогава да направя и промените във Филтъра.

Re: Архив на библиотеката

от tonywoolf » 26 септември 2021, 15:56

Каза ОК, довиждане и т.н. 16804, и толкова. Inkpad-а ми, от стария архив, казва 49000 и нагоре... Разликата е в книги/произведения?

Re: Архив на библиотеката

от nassoo » 24 септември 2021, 21:55

Ох, това вече е недоглеждане от моя страна :roll: Изпуснал съм един символ в .bat файла. Всъщност то ти е изтеглило всички книги и произведения, но накрая, вместо да ти каже "довиждане" (или да мине на следващата стъпка, ако си дал да наслага сериите), ти е изплюло това съобщение за грешка. Както и да е, ето нов bat файл, с който да заместиш стария, ако ти се прави още един тест. :)

Re: Архив на библиотеката

от tonywoolf » 21 септември 2021, 23:56

Пуснах го два пъти и двата пъти завърши на
16957
16958
16959
="2" was unexpected at this time.
И спира до тук.

Re: Архив на библиотеката

от tonywoolf » 21 септември 2021, 07:55

Да, на едно и също място се чупи, четири-пет пъти. Днес ще пусна новите неща и ще видим.

Re: Архив на библиотеката

от nassoo » 20 септември 2021, 08:43

Здрасти, tonywoolf,
Не мога да репродуцирам грешката при мен, но очевидно е във вградената библиотека urllib проблемът - виждам, че из форумите доста хора се оплакват от същото.
Направих нов .py файл, който използва друга, по-надеждна библиотека. Тя обаче трябва да бъде инсталирана (става за секунди) - инсталацията я добавих директно в .bat файла. Може да изтеглиш двата файла от този zip файл. Сложи ги в директорията на мястото на старите със същите имена. Пиши ми дали така се е получило :)

Предполагам, пробвал си няколко пъти да свалиш данните - забеляза ли дали на едно и също място ти дава грешката или е произволно?

Re: Архив на библиотеката

от tonywoolf » 19 септември 2021, 15:19

Здравей,
Започва да сваля, прави структурата по азбучен ред и малко след това спира с грешка:

Traceback (most recent call last):
File "E:\books\Chitanka_archive\get_files.py", line 29, in <module>
urllib.request.urlretrieve(url, dirName + filename)
File "C:\Users\myuser\AppData\Local\Programs\Python\Python39\lib\urllib\request.py", line 278, in urlretrieve
raise ContentTooShortError(
urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 155959 out of 157250 bytes>

Re: Архив на библиотеката

от Борислав » 11 септември 2021, 11:17

Бих искал подобен инструмент да се вгради в преносимата версия на библиотеката, но да не зависи от допълнителни приграми, освен PHP, и да може да работи както на Уиндоус, така и на Линукс.

Архив на библиотеката

от nassoo » 07 септември 2021, 15:13

Здравейте,
Тъй като архивите, които дълги години се поддържаха и, според мен, бяха най-удобният начин за читателите да си изтеглят съдържанието на "Читанка", бяха спрени, реших да направя нов архив. За разлика от предишните (включващи всички произведения, но не подредени в книги), този включва всички книги от библиотеката, като се изтеглят освен това само тези произведения, които не са включени в никоя книга.

Миналата седмица писах на администраторите през формуляра, за да попитам дали биха имали желание такива архиви да бъдат качвани периодично някъде на сайта. Не получих отговор, което ме навежда на мисълта, че вероятно има проблем с въпросния формуляр за обратна връзка... Ако е така, ще помоля някой от администраторите да отговори тук. Докато не получа отговор, няма да публикувам целия архив, защото подозирам, че причината за спирането на досегашните архиви не е нежеланието на автора им да ги поддържа - може би става дума за политика на администраторите или... един господ знае какво.

За момента ще споделя само скриптовете, които генерират архива. За използването им е необходимо на компютъра да има инсталиран Python и да е пусната "Моята библиотека" на виртуална машина. След това трябва да изтеглите този архив, да го разархивирате, в разархивираната папка да стартирате файла Download_Archive.bat и да следвате инструкциите - няколко въпроса за основни настройки (IP на виртуалната машина, тип на файловете и т.н.), след което ще получите папка с цялото съдържание на библиотеката, сортирано по автори и поредици. Тъй като в базата данни на Читанка етикет за серии (поредици) имат само произведенията, но не и книгите, съм добавил възможност да се въмкват сериите и в книгите, които са част от поредица (работи само за fb2.zip).

Ако на някого му върши работа и забележи някакви проблеми или има въпроси, може да ми пише :)

Към началото