Пиринг чем не новый вариант сетевой библиотеки?

Mike Sinkovsky
Пусть три. Но так как доступна версия - будет проще выбрать более вычитанную.

Локальная база - часть сетевой. Что есть в ней, то есть и в сетевой. А локальную делать все равно придется (да и делаю я ее так или иначе).

Обмен мы в данный момент и изобретаем. Предполагается использовать набор данных, предоставяемый стандартом, он вроде как достаточен. Грубо говоря, в качестве десриптора документа передается ветка FictionBook/description. Сжатая bz2, например.

Над алгоритмами я сейчас и думаю головой, пока руки клепают базу Smile

Договоримся о терминах:

* Точка: компьютер в сети, на котором активен наш пиринговый библиотекарь.

* Линк: другая точка, с которой в данный момент есть связь.

Пока видится примерно так. Уровень 1 - минимальный. Точка периодически раскидывает своим линкам (у нас нет деления на ап- и даунлинки, система пиринговая) случайные выборки (либо полные каталоги) своих doc.id/version, и сама принимает такие выборки. Если точка видит, что в ее фондах что-либо из этого отсутствует, она запрашивает некоторое количество отсутствующего фонда.

Если локальное хранилище переполняется, некая опять же случайная его часть заменяется но новые поступления. При этом в первую очередь удаляются "старые" версии документов. При этом вероятность замены (удаления) документа не зависит от его популярности - чтобы фонд не вырождался.

Уровень 2. Аналогично 1, но также распространяется некий общий каталог. Каждая точка добавляет в него свои докумнеты, если их там нет, каталог циркулирует по системе, постоянно обновляясь. В каталоге для каждого документа указывается параметр индекс - если на точке документ есть, он инкрементируется. Иначе декрементируется. Докумнеты с низким индексом запрашиваются у линков и сохранются в локальном фонде. Если фонд переполняется, из него удаляются случайно документы с максимальным индексом хранения.

Уровень 3. Аналогично 2, но с выделенным сервером библиографии, который хранит общий каталог. Если сервер доступен, то обновляется каклог на нем. Если нет, то используется уровень 2.

А как работает DNS например нельзя сделать, чтоб не изобретать велосипед без необходимости? То же самое ведь по сути, распределенная база...

Sergey Chernov

Sergey Chernov
1.Предполагается реализовать все 3 уровня или один из них?
2.Какой механизм фиксации документа будет?
Думаю нужна фиксация не только конкретного документа, но и по автору/серии + исключения.

Kv
Под локальной версией понимается библиотека у каждого пользователя на компьютере.

Ух сколько Smile

Буду отвечать потихонечку.

Формат обмена информацией.

bz2 существует на всех платформах, он бесплатный, есть в исходниках сколько угодно, и жмет лучше, что в нашем случае весьма существенно. Я полагал это известно любому программисту. zip кажется не бесплатный. И на мой вкус вполне дебильный и извращенный. Хотя не думаю что такая лексика хороша для обсуждения Wink

прости уж Алан. Таким образом, я надеюсь что использование этого сжатия позволит использовать для обмена уровня 2-3 существующий xml, хотя он крайне неэффективен по плотности упаковки.

Полагаю, информационный пакет на книгу будет до килобайта. В случае передачи каталога индекса копирования существенно ниже, байт 12-18 на книгу (id + собственно индекс в двоичном формате).

Использовать fb2 без расширения формата не получится, так как он не несет информации, необходимой для организации распределенной базы.

Тем не менее, для обмена собственно книгами с самого начала и предполагался fb2.zip. Речь шла о передаче каталогов и т.д.

Уровни

Сперва думаю надо реализовать 1, потом 2, потом 3. Вариант с сервером - если сервер содержит хранит _только_ библиографию, и не хранит собственно книг, то его накрыть непросто. Более того, в отличие от прикрытого сервера мп3 он даже не хранит никакую информацию об участниках сети. Но его можно убрать из системы в любой момент - она автоматом спустится на уровень 2 (если сервера-или серверов нет), и будет прекрасно пахать и без них.

Обмен

Смысл случайности: уменьшение вероятности пропажи некоторой книги из сетевой библиотеки. Рискну предположить, что если весь фонд текстов книг, который сейчас обретается, запихать в fb2.zip, то получится гигабайт 10-15. То есть не каждый пока согласится у себя держать копию всего фонда. Поскольку мы не в силах построить мгновенный срез всех кусочков, и понять, что именно требуется копировать, а что нет, мы делаем случайные выборки и надеемся на закон больших чисел Smile

Это слабая надежда, для этого есть уровень 2, который существенно улучшает качество оценки, на основе которой книга удаляется либо наоборот копируется.

Другие форматы

Парадигма такая: ежели кто то напишет внятный плагин для импорта-экспорта XXX <-> FB2, мы его включаем в общий пакет. Но только для импорта-экспорта, внутри системы формат один - fb2. Иначе будет худо. НО. Можно потом сделать расширение fb2: в ветке body ссылка на бинарник, который в хвосте, а в хвосте - картиночная книжка, типа djvu. Или еще как расширить формат для такой цели. Хотя мне он категорически не нравится - текст это текст. Я бы скорее предложил добавить туда формулы a la tex и т.д.

Локальная и сетевая библиотека

Имхо в принципе идентичны. Различия минимальны, предложения весьма спорны, приводятся только для примера.

Варианты расширений локальной библиотеки:

* пометка личных книг, и они не будут пересылаться в общий фонд (например, над которыми идет работа и они еще не закончены)

* пометка книг, которые не будут автоматически удаляться при ротации фонда

* Ведение списка книг, прочитанных участником )для его удобства), информация не будет пересылаться. Хотя можно пересылать анонимную статистику

Добавлено спустя 17 минут 35 секунд:

Забыл сказать - DNS не катит, там все крутится на выделенных серверах, да еще поддержка этого протокола конфигурируется админами повсеместно, а мы такого счастья пока не заслуживаем Smile

Нам надо прорываться сквозь файрволлы, и не надеяться на такие вкусные вещи, как мультикасты в сколь-нибудь серьезных размерностях сетей. Но это нас не пугает, мы профессионалы в конце концов Smile

Дополнительные фичи, о которых можно подумать.

Оценки и рецензии.

Можно расширить информационный пакет книги возможностью циркулярной рассылки рецензий и оценок. Сделать обмен такой информацией опциональным. Есть вероятность, что такая информация не может представлять собой слабость, за счет которой каперы от юриспруденции смогут организовать преследование, тогда для оценок, библиографии и рецензий можно будет ставить выделенные сервера. Но не факт, эта шайка горазда на пакости.

Поиск книги.

Новые термины:

Пакет запроса. Совокупнсть SQL-like запроса на выборку книг, и маршуртного пакета.

Маршрутный пакет. Совокупность информации, позволяющая ответу на запрос вернуться к источнику (если надо), а запросу не путешествовать бесконечно и по кругу Smile

Воспользуемся опытом IP.

Уровень 1. Точка рассылает нечто вроде SQL-запроса исходя их общей для системы схемы данных, по своим линкам, и принимает такие запросы сама.

Если при обработке запроса получена непустая выборка по локальной базе, то инфопакет выборки немедленно отдается обратно на точку-инициатор запроса. В противном случае запрос рассылается дальше с модификацией маршрутного пакета (если дальнейший роутинг возожен). Если на транзитный запрос получет положительный ответ, возможно 2 сценария:

- точка - инициатор доступна в онлайне: выборка немедленно отдается.

- недоступна: выборка добавляется стандартным образом в локальную базу, и "блокируется" на некоторый период времени (скажем, 4 дня). Следует принять специальные меры, чтобы такие книги по истечении блокировки удалялись в первую очередь (если вообще необходимо удаление), чтобы избежать вырождения фонда из за бестсендеров Wink

Наверное, пока достаточно для обусждения. Ваши комментарии?