Пиринг чем не новый вариант сетевой библиотеки?

Советуют или
SHA-512 http://en.wikipedia.org/wiki/SHA_hash_functions
или
WHIRLPOOL http://en.wikipedia.org/wiki/WHIRLPOOL
"В обозримом будущем не возможно сгенерить файл на замену с таким же хешом"

Замечательная идейка, сам недавно именно о такой штуке думал. Однозначно этой системе нужен открытый сетевой протокол, желательно задокументированный в виде отдельного документа - это позволит развиваться альтернативным клиентам, как это происходит в емуле, торренте и дс++.

Я бы например с удовольствием пользовался клиентом-демоном для домашней линукс-машины (АДСЛ 128к/32к анлим, работает круглосуточно) - метров 50 траффика в сутки бы под такую задачу выделил, и несколько гиг на винте - тоже не вопрос.

Могу и поучаствовать в написании такого клиента, но на С++ - для эффективности, и потому что я его знаю Smile

. Естественно писать сразу кросс-платформенно, собираться эта штучка должна на gcc на разных платформах - вин, юниксы разные - опыт такого программирования есть.
Со стороны юзера как это будет выглядеть - пока не знаю, может структура папок "только для чтения", может веб-интерфейс, только нужно какой-нибудь готовый встраиваемый к себе в прогу веб-сервер легкий найти - в этой области изобретать велосипед уж точно не нужно.

Насчет именно организации сетевого взаимодействия - считаю, нужно сразу думать о защите от ложных узлов - раз у нас открытый протокол и исходники, написать ложный узел - не вопрос. Есть над чем подумать.

Еще поддерживаю идею об использовании случайных чисел при реализации протокола - возможно, таким образом можно различные обновления и синхронизации общей базы проводить случайными частями, но за счет достаточного количества узлов полнота базы будет достигаться с вероятностью очень близкой к 1. Тут больно не бейте - идея слишком общая, я сам еще не до конца понял что именно можно случайно раскидать.

Еще записи в базе локального хранилища мне кажется стоит снабжать временнЫми метками, и на их основе оценивать количество экземпляров данной книги в сети, время от времени (редко) посылая некий пакет, сообщающий о том что у такого-то узла такая-то книга есть. Хотя тут опять стоит вопрос о доверии пославшему узлу...

А вообще, библиотека, поставившая целью сохранить "все-все" книги, ИМХО будет подвержена замусориванию. Нужны механизмы подтверждения, что это вообще книга а не мусор. Рецензии читателей без доверия к самим читателям - не годятся, я заведу полтыщи ботов и они мне будут на мой же мусор строчить хвалебные оды Smile

Вот так вот - начали за здравие... Ну а что делать. В емуле мусора тоже хватает - но не так много. А тут именно за счет политики "храним все" и большей легкости отдачи (книжки маленькие по объему) можно получить очень много мусора или спама. Поэтому - предлагаю каждому, кто придумывает идеи в концепцию п2п е-библиотеки, представить себя на 15 минут злым хацкером - поборником копирайта и подумать - а что тут можно легко сломать и сделать людям гадысть Smile

Ключевое слово - "легко"! То примерами могут служить: с одной стороны - классический емейл, система где все всем верят и уже сейчас мусора больше чем полезных писем - в разы. С другой стороны - тот же фринет, где ты даже не знаешь что у тебя на винте лежит... Нам нужно что-то среднее, и с функциями именно библиотеки, которые тут хорошо расписаны Сергеем Черновым.
Насчет аутентификации - в доке к фринету правильно написано, возможно доверие даже при наличии анонимности. Просто нужно продумать схему этого доверия - чтобы оно не напрягало хороших пользователей и не давало слишком много раздолья откровенно плохим. Потому что "хранить все" - слишком уж это заманчиво, может я например начну там свои вирусы хранить, под видом книги автора "Еолдрмваимп Ождлшцаьцааауцы" - и распределенная библиотека будет мне в этом помогать.

Вообще наверно возможность удалять все же нужна, мало ли действительно кто начнет распространять - вирусы там всякие или детскую порнуху. И без модераторов система работать не сможет в окружении злых кулхацкеров.
Ну да это всё решаемо, работают ведь форумы всякие, в том числе и варезные. Тут аналогично как-то надо - правила, баны, удаления книг и пользователей и т.п.

Мне тоже думается, что надо с сертификатами делать и системой доверия когда владельцы "благонадежных" сертификатов могут добавить или убавить репутацию другим сертификатам. Типа сначала есть несколько (к примеру 5) клиентов/нодов/модераторов/сертификатов (взаимозаменяемые понятия) которые являются библиотекарями/разработчиками и имеют высокий уровень доверия. Если Вася Пупкин хочет добавить новую книгу, то он делает это через программу библиотекаря и это изменение или само распространяется по сети или Васин клиент его напрямую библиотекарям направляет (или клиенты библиотекарей сами ищут в сети направленные им "запросы" на редактирование/добавление). В любом случае Васино изменение/книга подписаны его сигнатурой, но т.к. его никто не знает, то другие клиенты это изменение в свою базу и не импротируют. Только если к примеру не меньше 3 из 5 библиотекарей одобрят это изменение поставив свои подписи, то такое изменение будет импортировано другими нодами иначе они его просто игнорируют. При этом они запоминают, что изменение было от Васи и добавляют ему рейтинг доверия. После некольких таких одобренных изменений рейтинг Васи становится достаточно высоким чтобы его изменения импортировались и без подписей от библиотекарей. Что-то вроде того.

Только ИМХО это надо сразу делать, а не на потом откладывать. Во-первых это довольно сложная система и ее будет в несколько раз сложнее встроить в уже работающую сеть чем встраивать с самого начала. Потом "заложить идею в планы" при достаточной сложности реализации может потребовать ее сразу не меньше чем на 50% и реализовать. Так почему бы не доделать сразу оставшиеся 50% (а может и намного меньше) и пользоваться плюсами с самого начала? Еще один довод в пользу реализовать сразу, это то, что такая сложная система не заработает сразу как надо и понадобится не малое время на доводку. И если уже появится проблема со спамерами, то и доводить до ума будет намного сложнее.

К примеру сговорится Вася с Петей и еще парой человек. Выложат они для начала по несколько книг, сделают вычитку еще нескольких книг, заработают себе хорошую репутация и когда их изменения из-за хорошей репутации будут приниматься клиентами без подписей от библиотекарей они начинают портить библиотеку и понижать рейтинг самих библиотекарей! чтобы они не могли отменить изменения спамеров Васи, Пети и Со. (в моем видении библиотекари такие же пользователи просто изначально с высоким рейтингом, так что система самоорганизующаяся). Конечно решение в лоб жестко прописать библиотекарей в саму программу так чтобы их рейтинг не мог понижаться. Но это не красиво да и открывает фронт для нападений со стороны правоборцев. При достаточно большой сети библиотекарей будет много и соответственно они регулярно меняться будут (к примеру диск полетел и пришлось все заново ставить и в том числе новую сигнатуру генерить) и из-за этого каждый раз выпускать новую версию программы? Это насчет не красиво. По правоборцам так - Вася выложил нелегально некоторую книгу, а библиотекарь Х эту книгу своей сигнатурой одобрил и тем самым сам попадает под ответственность. Если сигнатура Х стоит напрямую в коде, значит разработчики знают как минимум имейл Х. Дальше вопрос только в желании и деньгах. Спамер Петя ничего не сделает, а адвокаты Агаты Кристи при желании смогут прижать Х. Поэтому я и считаю, что права доступа на редактирование должны самоорганизовываться в сети, а не быть жестко прописаны в программе.

На счет удаления мне так думается: если система состоит из программы библиотекаря и сетевого слоя для распространения обновлений/книг, но так что основным интерфейсом для работы с системой является библиотекарь, то как такового удаление непосредственно файлов и не надо. Если некоторая книга не одобрена библиотекарями-модераторами, то даже если она присутствует в сети физически, то клиенты не имеют к ней доступа, потому что она не внесена в базу программы-библиотекаря. Если распределение файлов в сети происходит автоматически как в фринете, то такая книга некоторое время спустя и физически из сети исчезнет.

Чужая сеть это хорошо.
Серваков поднимать не нужно.
А вот, что плохо с интеграцией, то что много мусора будет.
По этому я всё же за специализированную сеть.
Да, придётся разрабатывать с нуля (ну или почти).
За то под особенные нужды можно резервировать команды.

Я извиняюсь, если повторю кого-то, всю тему не прочитал, но поимел наглость вклинится.

Так вот моя мысль какая. Возьмём например kad или donkey, в сети распространяются метки "название файла", "хэш файла", а ведь нам нужна куча инфы!
автор
книга
серия
жанр
версия

и многое другое. Какой тут хэш, он будет только мешатся!

Кстати я очень смеялся на счёт идеи обмена через почтовые протоколы. Знаете, а ведь в этом, что-то есть!

Я именно такую систему сейчас и пишу....и это притом на форуме не лажу и тему не читал....и кстати - а может уже есть?
уже заканчиваю читалку, есть валидатор (ыыы, сложная штука)...пишу на дот нете...сделал неймспейс...
туда же добавлю експорт/импорт в другие популярные форматы...
потом займусь редактором...
а уже потом...библиотека и пиринговый клиент

может совместить Это с вот Этой программой через плагин интерфейс? Ну чтобы вместе работало

http://fb2library.com/news.php?readmore=4

Если вы действительно пишете описываемую прелесть, то учтите, пожалуйста, существование специально и только для чтения предназначенных электронных книжек с Linux на ARМ, "дисковой" памятью на SDНC карточках (16 Гб) и встроенными средствами связи (GPRS, WiFi). Такие машинки уже выпускаются или заявлены несколькими производителями (Jinkе, Irех...). Они могли бы быть идеальными мобильными носителями копий фонда, вполне способными не только скачивать, но и выдавать другим запрашивающим копии редких документов, когда хозяин качает нужное ему. Не ограничивайте, пожалуйста, мобильные платформы. Это позволит носить всю библиотеку практически в кармане.