Пиринг чем не новый вариант сетевой библиотеки?

Господа програмари, обращаюсь прежде всего к вам, ну не умею я делать подобные вещи.

Суть предложения состоит в вледующем: совместить пиринговую сеть и fb-библиотеку. А что? Кто сказал что библиотека должна висеть на каком нибуть сайте? Где же дух новаторства? Почему бы не сделать библиотекой все пространство интернет и компы тех кому это интересно?

Запускает допустим у себя юзер прогу типа fb2mule, и помимо локальных файлов получает доступ к файлам всех участвующих в проекте, и притом не так как это сделано в самом осле - свалка файлов где не поймешь что лежит, а к структурированой библиотеке использующей все возможности fb на полную. Да и сервера готовые можно использовать того же emul'а.

Это вариант ИМХО гораздо лучше любого из существующих и его не задушишь не убьешь до тех пор пока буду люди читающие книги на ПК.

Существуют же специальные пиринговые клиенты для любителей послушать музыку на халяву, так мы чем любители почитать электронные книги хуже? МЫ лучше! Twisted Evil

Cherckes_, тебе с предложениями сюда http://www.the-ebook.org/forum/viewtopic.php?t=6515&start=0
_________________
REB 1100, REB 1200, SE P910i

А почему туда?

В общем правильная идея сделать комбинацию персонального библиотекаря и файлообменной сетки. Поскольку размеры тут не те, что у видео, мудрить с пакетной разбивкой особо не нужно. Но сетка должна быть чисто пиринговой с какой то своей системой роутинга запросов поиска и т.д. И еще стоит как то предусмотреть некие "отстойники" в каждой личной библиотеке с некоторым дублированием, чтобы книги в сетке как можно реже исчезали.

В принципе готов поучаствовать Smile

Могу трак захостить, чтобы не долбаться с рекламой, может даже фрилансера нанять, если квалифицированных желающих и времени не будет хватать. Насчет хеширования - для поиска дупов я пробовал (удачно) хешировать собственно текст, без разметки и заголовков. Если еще и выкидывать из хеша все знаки препинания и пробелы, получится неплохо, правда, исправление опечаток не будет видеть, ну да для этого есть id и версия документа.

Что смешно - в данный момент я как раз отчаянно пытаюсь в свободное время успеть сделать в подарок маленький библиотекарь с некоторыми специальными функциями - вот бы и вставил туда клиента таких сеток. Правда, но на питоне, зато в форме кучи плагинов. Но одному как то скучно - дел оч много, тормозить буду. А заказывать за бабло как то неспортивно. Хотя и можно Smile

Хотелось бы только иметь спеца по подобным сетям - не в курсе чего придумали за последние 7 лет, отстал от жизни.

Уж очень жалко остатки людей читающих. Шоппинг с чтением как то не стыкуется Smile

Если что, пишите лично - sergeych сбоака tancher точка com. Можно даже трак поставить чтобы тут не раздражать господ коммерсантов.

Идея то не нова и постоянно мелькает на разных форумах книгочеев. Типа: " а мы все равно будем менятся через пиринговые сети" .. Только те кто пробывал что либо с этих сетей скачать? Если это не файловый архив а книги россыпью найти что либо путное довольно тяжело. Проблем тут несколько название файла, каждый именует как ему в голову взбредет, размер меняется в зависимости от используемого архиватора, версия файла, качество ....

Мне самому идея очень нравится даже не в плане будующей платности библиотек и других заморочек, а в том что будет сеть обьеденяющая держателей локальных библиотек, авторов изготовляющих электроные книги и просто любителей читать не завищащая от конкретного сайта или групы сайтов, без рекламы ...

При этом я понимаю сложность реализации этой идеи. То есть книги должны хранится в базе данных или хотя бы в каталогах сформированных самой програмой, дабы избежать разначтения хешей, просмотр доступных вариантов можно будет организовать только через поиск по тем кто находится в сети, результаты можно будет кешировать в туже базу.

Необходимо привязывать все это к какому нибудь из уже работащих протоколов, ибо вероятность поднять и держать свою сеть в рабочем состоянии усилиями рунета стремится к нулю. Вон сколько существует фб и где популярность за пределами рускоговорящего сообщества?

Последнее можно обойти если добавить поодержку других форматов но тут уже не создашь библиотеки... хотя кто его знает ms lit основан на опенебук тот же xml может и там реализована аналогичная сжема служебной информации? В djvu вроде тоже ожно вставить xml схему .. короче одни вопросы.

В принципе ничего архи сложного тут нет, действительно нужна база, но это не беда. Насчет существующих протоколов - не знаю ни одного подходящего, по причинам изложенным выше, то есть сеть придется делать свою. Либо как то круто надстраивать существующую, но это сильно сложнее.

Задача создания эдакого распределенного архива с автоматическим распределением данных и поиском выглядит довольно интересной. Настолько интересной, что может я бы ее в рекламных целях даже и на своей фирме сделал. Типа что мы крутые Wink

Вопрос - где взять аудиторию для создания бесплатной сети. С детства ненавижу пиар.. А надо чтобы народ был - и для проектирования, и для тестирования, и для внедрения. Если кто то возьмет на себя привлечение с агитацией, то я могу в принципе обеспечить проектирование и прототипирование опен сорца.

Насчет других форматов - это можно потом добавить, в принципе к любому объекту можно приделать информационный пакет и в таком виде запихать в сетку. Такое расширение в принципе позволит сделать такой распределенный архив пригодным для хранения любого типа объектов, но это уже слишком. Давайте для начала с fb2 разберемся.

Когда прикроют халяву аудитория появится. Хотя она появится в любом случае уже сейчас многие книги не доступны Sad

. А пиарить придется в любом случае даже на этом форуме прогу попробуют дай бог 10% или и того меньше если будут сложности с фейсом. Как минимум на вики сайта, но там похоже софтовый раздел забыли даже про MacBookReader и обновления библиотекаря ничего не сказано, не говоря уже про другие утилиты.

Добавлено спустя 15 минут 56 секунд:

Тут на форуме http://www.fictionbook.org/forum/viewtopic.php?t=54&postdays=0&postorder=asc&start=0 для одной из читалок, заброшенной впрочем обещалось следующее

Шарп весчь сильно специфическая, и без острой необходимости с ним лучше не связываться. Кросплатформенность у него на самом деле весьма условная, еще хуже чем у явы.

Для макета лучше всего подходит питон, оно пойдет практически на всем. Внешний вид на wx тоже ничуть не хуже. Ну и пишется быстро. А так то же самое, опять же, БД, там теперь есть вполне нормальная только что проверял, 9Гб базу нормально ворочает. С шарпом базу надо тащить внешнюю.

Производительности должно хватить, в крайнем случае узкие места можно потом на сях переделать. Писать на нем существенно быстрее - если голова бумает быстрее, чем руки стучат по клавишам. Я этим ремеслом больше 20 лет занимаюсь, и шарп видал понятно где - как раз между явой и фортраном, причем писал на на всех и много.

Еще могу сказать, что въезжать в чужой код часто сложнее чем заново писать, а хостинг на sf имеет свои недостатки. Тормоза там и реклама. Он хорош, когда денег нету. Или лень хостинг заводить. А у меня несколько проектов на траке - мне еще один добавить 3 минуты, и никакой рекламы Smile

Опять же, для отладки душевно - скрипты крошечные, их легко апдейтить. Правда, если все собрать в один .exe, чтобы его на голую машину ставить без питона, получится ОГОГО Smile

ну да это для релиза, а пока бета, одни скриптики менять надо, халява. Опять же, поддержка автоматического обновления там имеется некоторая. В общем, хорошая весчь.

А вот что в этой задаче до безумия интересно и вызывает боевой задор, так это создание распределенного архива на чисто пиринговой сети, с оптимизацией по сохранению данных. Да еще и без центральных серверов Wink

Есть где пораскинуть мозгами.

Добавлено спустя 12 минут 31 секунду:

Распределенный пиринговый архив

Идея такая. Система автоматически собирает информацию по всем участникам, у кого что лежит, и потихонечку копирует их библиотеки (разрешенные разделы) так, чтобы иметь некую избыточность со случайным распределением, так что, когда некий участник покидает сеть совсем, то с большой вероятностью его фонды сохранаются в базах других участников. При этом расползание фонда делается автоматически с использованием указываемой каждым пользователем квоты на диск и полосу. Сделать это без единого выделенного сервера будет весьма интересно Smile

Имеется функция распространяющегося запроса: нечто типа SQL select clause потихонечку ползает по всей сетке, пока не найдет то, что удовлевторяет условиям, а потом результат поиска (только ответ либо вместе с выборкой) совершает обратное путешествие.

Для вхождения в такую сеть достаточно будет иметь информацию о любом одном активном узле, клиент к нему подключится и начнет обновлять свою конфигурацию.

Можно пойти на полумеру: иметь выделенный connection srvice, который только предоставляет информацию о текущих абонентах в реальном времени. Это сильное упрощение, и прикрывать такой сервис будет непросто с юридической точки зрения, но за бабки как известно можно все, кроме здоровья и счастья Smile

Для транспорта можно даже использовать email для оффлановой передачи, если нет возможности установить прямое соединение Smile

Хотя могут прикрыть и тут.

В общем, куча интересных мыслей.

сдается мне, чапай, что ты --- (ц) анекдот Wink

вся задача реализуется поверх битторрента, дабы не изобретать велосипед, большая часть необходимого там уже есть (и тебе распределенное хранилище, и тебе отсутствие сервера, и тебе возможность сборки полной копии из нескольких неполных, и еще много всяких плюшек). и аудитория, и трекера имеются в достаточных кол-вах

вопрос ТОЛЬКО в однозначной идентификации книг и прикручивании нового уровня к торрент-протоколу. впрочем, вот эта задачка как раз не из легких
_________________
disinformation must be free!

Сдается мне, что чапай это ты;) (шутка) Толку от этого торрента мало. Его основная функция - получения гигансткого файла по кусочкам - здесь не нужна совершенно. А хитрой логистики о которой я говорю там нет, афаик. Идея не в том чтобы скомстрячить файлэху нового тысячелетия. А в том чтобы слепить самоорганизующийся архив, эдакий фонд, как раз сугубо заточенный на обработку книг. Текстов.

Соответственно, торрент и т.д. можно взять только как транспорт. А вот как транспорт он как раз для этой избыточен, и не особенно удобен. С таким же успехом можно взять IMAP/STMP - для него еще больше написано всего Smile

И существующие торрентовские клиенты не подойдут - это должен быть, функционально, плагин к персональному библиотекарю. А не надстройка над торрентовым клиентом.

Когда я говорю о сложностях и интересностях, я вовсе не имею ввиду построение собственно пиринговой сетки. Это хорошо изученная область, я такие сетки для радиопротоколов еще в прошлом векие делал.

Соответственно, прикручивать к конкретному протоколу, для этих целей слабо подходящему, новый уровень, мне лень. И аудитория, которая таскает пиратские фильмы, не будет радостно тестировать поиск-хранение книг. Таскать по частям fb2.zip это неинтересное извращение.

Кроссплатформенность - это круто. На WinMobile пойдёт? Smile

Или опять только XP и линух?
Вообще мечта, иметь библиотекаря в кармане. А если еще и сетевого-распределенного.. У-у!!

Кстати говоря, если кто не в курсе, все зеркало библиотеки Гутенберга у них есть и в торренте. Причем трекер встроен в движок самой библиотеки. Довольно удобно. Почему бы не сделать такое же и с fb2? Был бы программистом, сам бы занялся.
В принципе, как я понимаю, подойдет любой вменяемый торрент движок. Можно даже попробывать поговорить с модераторами книжного раздела на torrents.ru, чтобы они открыли подветку исключительно для fb2 книг, хотя, это будет не так удобно, как специализированный треккер.
А насчет библиотеки в кармане: наверняка же есть уже торрент клиенты и для КПК, так что при наличии WiFi в аппарате и доступа ко все более широко разрастающимся WiFi сетям, проблема становится тривиальной. Чтобы не сочли за рекламу, ссылок давать не буду, но уже сейчас большáя часть Москвы покрыта и работает у того же голдентелекома, а остальная Москва и куски области тестируются. Повремянка у них стоит 100 рублей в час (безлимитка 500 в месяц) и этого часа для скачивания книжек более, чем достаточно.
_________________
Покупайте наших слонов!

2Sergey Chernov: хитрая логистика как раз имеется (она изначально вшита в протокол), а качать книжки по одной -- значит генерить слишком много паразитного траффика. разбиение же, например, по авторам или по жанрам (с последующим выкладыванием апдейтов или же полным перевыкладыванием раздела) -- имхо, оптимальный вариант по соотношению размер закачки/"лишний" траффик

касательно трекеров -- да все равно где, хоть на демоноиде, хоть на торрентс.ру, хоть на thepiratebay, надо, чтобы хоть десяток сидов набрался для "непрерывного" сидинга. да и вообще, в идеале, надо делать мульти-трекер, а то и вовсе не привязываться к трекерам (дабы вообще не зависеть от конкретного сайта -- спецификации торрента позволяют сделать такую вещь, как DHT)

есть одно "но" -- серьезные трекера очень четко следят за соотношением UL/DL, привязываясь к айпишке (да и люди, тусующиеся на таких трекерах, сами стараются постоянно держать файлики на раздаче), а большинство скачивающих книги, тем более на КПК, плевать будут на раздачу

Добавлено спустя 10 минут 34 секунды:

кстати, только что посмотрел, как это реализовано на гутенберге -- это ПОЧТИ то, что надо. только у них каталог реализован через сайт, а не через надстройку для конкретных протоколов

но пока что вижу минус в их подходе -- действительно, большинству не слишком выгодно качать книжки по одной. да и комьюнити не слишком большое, мало людей, висящих на раздаче (впрочем, я пробовал только торренты, а у них в вариантах закачки есть еще как минимум edonkey)
_________________
disinformation must be free!