Пиринг чем не новый вариант сетевой библиотеки?

Насчет других форматов: надо будет для них писать какой то специальный импорт. Потребуется помощь энтузиастов, или придется вносить объекты по одному, заполняя форму. Что есть непросто при таких объемах Smile

Про "портит". Есть база с описанием документов и ссылками на файлы с документами. Если неконтролируемо менять эти файлы, то они рассинхронизуются с базой. Поэтому для обменной части библиотеки не модифицировать эти файлы иначе как через интерфейс библиотекаря будет условием нормальной работы точки. Для личной части библиотеки это будет рекомендацией. Как писалось выше, можно сделать автоматическое сканирование внешних изменений файлового фонда и синхронизации базы.

Юзверей всегда много типов Smile

А прога пока одна на всех, но ее можно по-разному настроить. В зависимости от этого она будет по-разному работать. Например, без обменного фонда - для тех, что не может этого себе позволить, скажем, сидит на дрянной линии или чужом компьютере. "Чистым клиентом" я назвал конфигурацию точки с нулевым обменным фондом. Возможно, мы это запретим, но пока такое теоретически возможно. Кста, пока активна, она может тем не менее работать проксей типа тора.

Участвовать только своим фондом: конфигурация той же точки, с нулевой квотой обменного фонда, но с личным фондом, который частично либо полностью открыт. Т.е. его единицы учитываются в индексе хранения и могут быть запрошены. Тем не менее, личный фонд не подвергается ротации что уменьшает его вклад в поддержку глобального фонда.

Сохранность обменного фонда обеспечивается автоматическим резервным копированием единиц хранения. При уменьшении/отключении квоты будет выводиться предупреждение в случае риска потерять уникальные элементы, однако, при нормальной работе сети, уникальных не будет. Каким образом это обеспечить я уже предлагал (уровень 2 - индекс хранения и ротация фонда).

Обменный фонд нужен для построения глобального фонда. Глобальный фонд имеет эдакую гуманистическую Wink

сверхцель: хранить и беречь все книги, независимости от спроса на них и временных взбрыков популярности. Иначе грамотная раскрутка какого нибудь безобразия, месячный всплеск интереса (который обычно сменяется отвращением) смлжет выбить из сети что-нибудь, имеющее непреходящую ценность.

Механизм включения-отключения - исключительно по желанию пользователя. От кратковременного спорадического подключения до непрерывного, демона/сервиса/фоновой программы.

Если никто не будет открывать квоту на обмен, затея умрет. Но - интернет большой, может найтись достаточное количество, скажем так, любителей книг и при этом хороших людей Wink

Факт существования файлообменов (пусть и с порнухой) дает почву для осторожного оптимизма.

Ну и чистый модуль обмена файлами проектировать смысла нет - вона их сколько, тот же фринет или торрр с одинном какимнить Smile

Наша задача интереснее.

Добавлено спустя 5 минут 22 секунды:

Вот бы еще юриста толкового по смежным правам. Все таки непонятно мне можно ли преследовать пользователя за факт транзита и накопления произвольной информации на его компьютере, получение и транзит которой не является его намерением и происходит не в результате его намеренных действий...

С другой стороны, закон что дышло, и "прав" с его точки зрения практически всегда преступник Sad

так что надо страховаться по максимуму.

Насчет возможности иметь несколько сетей идея тоже здравая, можно сделать Id сетки чтобы они не перемешивались. А потом можно будет сделать плагин чтобы тащил по некоторым признакам объекты из одной сетки в другую.

Действительно, интересы разные, и форматы разные. Я, например, предпочитаю читать на КПК и поэтому гигансткие djvue мне как то не очень импонируют. А другим наоборот, он больше нравится. Соответственно, можно будет сделать отдельные сетки для чисто текстовых форматов и чисто нетекстовых, там совсем разные ресурсы нужны.

Стартовый вариант структуры базы где то на 2 странице, кажется.

- понимаю. у меня совершенно не получается читать pdf на маленьком экране, хотя по работе надо. Засим таскаю ноутбук Smile

Все таки, нужны текстовые форматы, которые можно переформатировать на маленький экран. Давно крутится идея сделать из fb "tb" - добавить описания формул и диаграмм простых...

select * from person limit 10
last nick middle authorid id first
Абрамов None None None 1 Сергей
None ZeoS None None 2 None
Григорович None Bailo None 3 Арсений
None ZeoS None None 4 None
Абэ None None None 5 Кобо
Гривнин None С. None 6 В.
Efimov nobodyn None None 7 Valentin
Adams None None None 8 Douglas
None smotritel None None 9 Rollon
None smotritel None None 10 Rollon

select * from book limit 1
lang isbn texthash title srctitle shelf id docid arcname
version path
date srclang annotation
ru None None Приключения на Лесной улице None 1 1 478DB536-D3E6-40D4-8F4C-80FDF1F3E3E7 abramov_
priklyucheniya_na_lesnoyi_ulice.fb2 1.0 \2005.12\abramov_sergeyi_aleksandrovich\priklyucheniya_na_lesnoyi_
ulice\abramov_priklyucheniya_na_lesnoyi_ulice.fb2.zip None ru None

id - везде - нечто вроде ROWID, внутренний для БД идентификатор записи, используется только для join'ов.

docid fb2.document-info.id. Он не уникален при разных version.

arcname: да. Поддерживаем вариант нескольких единиц хранения в одном архиве.

version: версия документа (при одинаковом docid)

date: дата создания исходного документа, берется из импортируемого документа. Например, дата написания книги. НЕ дата создания объекта некоторого формата.

Аннотация для поиска по базе. Сейчас поиск делается по подстроке в ключевых словах, названии, именах авторов и аннотации. Потом добавлю поиск еще по имени серии и по фрагменту текста (медленный, без общего индекса).

По идее, плагин может _легко_ добавить свои таблицы в базу! Для этого только надо свой класс вывести из DataObject и вызвать у него createTable. а там можно хранить все, что душе угодно, связать его, опять же, очень легко, с книгой, или автором, или еще как, и вперед!

Тем не менее, можно и добавть еще некоторое текстовое поле, как назовем?

спасибо, все понятно. не вижу проблем сделать экспорт. Да, некоторые поля будут пустыми. Кроме того, для не-фб2 документов надо придумать что-то с docid - чтобы сразу было понятно, что это нечто не фб2. Как они формируются в фб2?

docid, version нужны для всех типов документов. По опыту, обычно там используют guid. Какие рекомендации у fb2 не в курсе.

giud имхо вполне хорош. Для разных типов документов стоит ввести колонку doctype.

Насчет обмена. В принципе, прецедентное право мерков это их проблемы, которые мне (сорри) глубоко до лампочки... В России и бывших пятнадцати дружных такой проблемы нет, в европе - не в курсе.

Прецедент против напстера не катит, судили напстер, а не клиентов, кажется. Здесь не будет напстера, вообще никакого центрального клиента, которого можно засудить. А я их не боюсь ну ни капельки Smile

И не таких посылали, "здесь не чикаго" Wink

Так что делем фонд видимым. А проксяки встрою, угу. Путь помучаются, или мотают в свои мерки, и там судятся с последними из людей, если такие там еще остались Wink

Добавлено спустя 2 минуты 27 секунд:

Кста т птицах. В качестве некоей защиты можно заложить шифрование всех файлов на точке. Но в этом есть смысл, только ежели пароль вводится и меняется часто.

GUID (aka UUID): Generally Uniqie Id. Есть несколько способов генерации, в том числе и случайный. Предполагается, что вероятность случайного совпадения 2 независимо сгенерированных GUID вечьма мала. Широко используются именно для независимой генерации уникальных Id. Вообще я не эксперт по ним, см.http://www.faqs.org/rfcs/rfc4122.html

Насчет прятать обменный фонд. Вариант засовывать в базу мне не нравится по многим причинам:

- нельзя пользоваться другими программами

- файлы БД получаются чудовищными, что не есть хорошо. Медленнее работают, больше фрагментируются. Я использую sqlite, там кажется не советуют файлы больше 2 Гб или что то такое. А так получается быстрая и компактная (60М кажется у меня было на одном из тестов) база.

- желающим стыковать с другими тулзами такого толка можно будет напрямую пользоваться фондами

Можно спрятать от чайников расположение на FS в Hidden директориях, под виндой - в ~/application data, чтобы имя с точки начиналось и т.д. Для контроля целостности можно считать CRC файла. Он быстрее крипто-хешей вроде.

Насчет шифорвания. Имеется ввиду случай изъятия компьютера на экспертизу, как сейчас любит поступать наша насквозь бандитская милиция. "Сцепиалисты отдела К" приличный, скажем, AES или ГОСТ89а хрен сломают, но для этого необходимо, чтобы система требовала пароль при каждой активации.

Я извиняюсь, но пока не было озвучено ни какого плана разработки. Пока всей разработкой занимается один человек, я так понимаю, он держит все в уме, но если ему надоест - дело заглохнет. Я предлагаю по принципу юниксовского софта разить программу на блоки. Описать блоки описать их взаимодействие. Посмотреть, а может функционал данного блока давно реализован и можно воспользоваться готовым free софтом.
Блоки:
1) Библиотека – база данных по всем книгам расшаренным пользователями с описанием, хешем, если есть - локальным путем …
2) Читалка в которую библиотека передает путь к локальному файлу книги возможно сначала его скачав (куча готовых программ).
3) p2p клиент с возможностью легкого расшаривания файлов (emule, dc++ … торрент не подойдет)
4) модуль поиска файла книги по расшаренным другими пользователями базам (используя хеш файла полученный из библиотеки) возможно использовать штатные средства p2p клиента.
5) модуль обеспечения избыточности – обеспечивает хранение редких книг. Например клиент у которого нет расшаренных редких книг не может скачивать ничего кроме этих самых редких книг пока не наберет необходимый минимальный объем.
6) модуль проведения голосований для исключения «мусорных» файлов
список естественно нужно дополнять и конкретизировать
7) модуль обмена базой библиотеки (возможно стоит посмотреть в сторону распределенных баз данных?)

Для контроля целостности CRC не годится. Нужно исходить из того что обязательно найдется кто-то кто будет преднамерянно портить файлы (не важно будут ли это правоборцы или просто кто-то из желания нагадить). Сгенерировать дефектный файл с той же CRC довольно тривиальная задача. Тогда клиент такой файл опознает как правильный и будет его бодро раздавать всем желающим. А люди потом будут удивляться откуда и них битые файлы. Так что надо крипто-хеш, а лучше два сразу. Сейчас вроде все самые распространенные хеши сломаны. MD4 который вроде имуль использует сломан сильно (в смысле что реально подобрать модифицированный дефектный файл с тем же хешем), MD5 и SHA1 тоже сломаны, но вроде пока еще вычислительные мощности не позволяют это практически использовать. Но время идет, процессоры (специализированные для взлома) совершенствуются да и новые дыры тоже активно ищут. Так что мне думается что для эффективной защиты хорошо бы два хеша использовать - тогда количество вариантов для перебора повышается в экспоненциальной пропорции и даже если оба хеша сломаны, то подобрать дефектный файл так чтобы оба хеша совпали с оригиналом будет еще много лет нереально.

А проверять файлы при доступе к ним - или при открытии для чтения или когда приходит запрос от другой ноды. Можно вместе с криптохешами и CRC сохранить. Тогда сначала быстро посчитать CRC и таким образом большинство дефектных (не преднамерянно испорченных) файлов отсеются. Если CRC совпало, то считать уже криптохеши и так опознать преднамерянно испорченные, которые прошли проверку на CRC.

Конечно криптохеши намного медленнее считаются чем просто CRC. Но я тут попробовал посчитать SHA1 для пары файлов. Так вот для маленьких файлов от 500кб до 8Мб задержки в дос консоли вообще не чувствовалось. Для 8 зазипованных ФБ2 (из-за длинных имен файлов больше в окно дос не вставилось) была задержка меньше 0,5 сек. Попробовал еще посчитать хеш для файла 1,6Гб. Считалось долго, почти две минуты. Но самое интересное что загрузка процессора (Р4 2400ГГц) прыгала от 15 до 25%, т.е. основное время процессор ждал пока файл с диска считается. Поэтому думают что для более менее современных компьютеров это не проблема. Какой-нибудь старый Р2-233 конечно будет долго считать, но он и с диском тоже медленнее общается.

Офт
Читал про одну фирму которая за деньги выкладывает в имуле такие дефектные файлы с правильным хешем, клиенты их качают (не обязательно целиком, достаточно кусочков) и получают файл с дефектом. Тоже своего рода способ борьбы с пиратством. И не определишь с наскока отчего файл испортился.