http://razvlek.3dn.ru/ Форум 4des.su Tue, 03 May 2011 15:40:53 GMT uCoz Web-Service https://razvlek.3dn.ru/forum/90-1299-1 Tue, 03 May 2011 15:40:53 GMT Форум: <a href="https://razvlek.3dn.ru/forum/90">DLE</a><br />Описание темы: Граббер Новостей с сайтов DLE !!!<br />Автор темы: SNIPER32<br />Автор последнего сообщения: DeVip<br />Количество ответов: 5 Платный VaLaR Grabber-v 6.4 R1 - универсальная система, позволяющая наполнять Ваш сайт новостями с большинства DLE сайтов. С помощью данного продукта, написанного на php Вы можете размещать новости на следующих CMS: <p> - DataLife Engine <br /> - Invision Power Board <br /> - Joomla <br /> - LiveStreet <br /> - phpBB <br /> - Simple Machines Forum <br /> - WordPress <br /> <br /> Полная новость <p> Платный VaLaR Grabber-v 6.4 R1 <p> Рад сообщить о выходе новой версии. Цена на скрипт составляет 35 wmz. <br /> За дополнительную плату могу адаптировать скрипт для парсинга любого сайта. <p> Особенности скрипта: <p> [*] Скрипт является самостоятельной системой. <br /> Он легко устанавливается и конфигурируется. <p> [*] Универсальность. <br /> Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент <br /> можно использовать на любом сайте, независимо от того, базируется он на популярной CMS или на самописном скрипте. <br /> Данную систему можно научить парсить новости с любого сайта, обладая начальными навыками PHP и HTML. <p> [*] Гибкость - два режима работы. <br /> >>Классический режим: <br /> В этом режиме дистрибутив граббера копируется непосредственно на Ваш сайт. <br /> Все что нужно - указать тип используемой CMS. <br /> Полученные новости, после их подтверждения, автоматически размещаются у Вас на сайте. <p> >>Пакетный режим: <br /> Суть режима заключается в разделении процесса получения новостей от их добавления. <br /> Грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет набор denwer), <br /> скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые, впоследствии, копируются на Ваш сайт, где другая копия граббера их обрабатывает. <br /> Преимущества данного режима: <p> [*]Возможность грабить большое количество статей одновременно, если этого не позволяет делать Ваш хостинг; <br /> [*]Если вы грабите долгое время с одного сайта, рано или поздно, Ваш IP на этом сайте может быть просто забанен, <br /> а если грабить с локального сервера - тут Вам на помощь прокси и/или динамический IP. <p> [*] Функциональность. <br /> ] <br /> [*]Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям; <br /> [*]Поддержка мультиграббинга (одновременное использование одной копии граббера для работы с множеством источников) <br /> [*]Возможность получения новостей определенной категории или всех новостей, публекуемых на главной странице; <br /> [*]Возможность ограничения количества одновременных запросов с указанием интервала для паузы;* <br /> [*]Возможность добавления "случайных" дат при размещении новостей на Вашем сайте (перемешивание новостей); <br /> [*]Возможность проверки новости на уникальность перед добавлением; <br /> [*]Возможность поэтапного добавления новостей на Ваш сайт; <br /> [*]Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов); <br /> [*]Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова; <br /> [*]Возможность цензурирования новостей (замены или удаления текста по точным совпадениям или шаблонам); <br /> [*]Возможность "чистки" HTML-кода новости (начиная от удаления html-комментариев, заканчивая удалением ненужных конструкций); <br /> [*]Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов); <br /> [*]Возможность синонимизации текста с помощью Google Translate; <br /> [*]Возможность добавления (в том числе и загрузки на сервер в двух режимах) потоковых видео (IMDb) с замещением flash-проигрывателя; <br /> [*]Возможность загрузки картинок на сервер (с возможностью сортировки в разные папки по дате, титулу...); <br /> [*]Возможность наложения водяных знаков на загружаемые картинки; <br /> [*]Возможность расшифровки DLE ссылок (./engine/go.php); <br /> [*]Возможность использования прокси-сервера для соединения с сайтом-источником; <p> [*]Возможность адаптирования скрипта под сайты, которые имеют нестандартную HTML-структуру; <br /> [*]Возможность сохранения списка последних спарсенных сайтов; <br /> [*]Возможность уменьшения картинок на уровне самих файлов или HTML-кода; <br /> [*]Возможность добавления новостей от случайного автора из списка; появится в новой версии <br /> [*]Возможность добавления meta-данных (ключевых слов и описание) в следующих режимах: появится в новой версии <br /> а) парсинг непосредственно с сайта-источника; <br /> б) с помощью автоматической системы получения ключевых слов через анализ контента; <br /> в) по собственным шаблонам; <br /> [*]Наличие универсального модуля загрузки файлов: он может использоваться для загрузки любого типа файлов (будь-то .swf flash-ролики и/или .rar архивы) <br /> [*]Наличие встроенного редактора новостей; <br /> [*]Наличие встроенного онлайн синонимизатора (для проверки баз); <br /> [*]Наличие универсального конвертора формата текстовых баз синонимов; <br /> А также многое другое... <br /> ] <br /> * - На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени). Данный скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой. <br /> Данная опция также может быть полезна, если на Вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта. <br /> (на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden). <p> [*] Оптимизация. <br /> Работа с граббером максимально нацелена на оптимизацию. Все конфиги расположены в отдельной директории и максимально документированы. С моей стороны гарантируется помощь в настройки системы. <p> [*] Надеждый механизм работы. <br /> Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей. <br /> Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы <br /> после любого сбоя не представляет проблем, достаточно заного указать начальную и конечную страницы, <br /> а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить. <p> [*] Расширяемость. <br /> С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и <br /> расположены в отдельных библиотеках, что позволит оптимизировать или расширить <br /> функционал скрипта даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения <br /> собственных модулей по обработке контента. <p> [*] Безопасность. <br /> Граббер имеет встроенный механизм авторизации для ограничения доступа к скрипту. <br /> Данную функцию можно включить и выключить в любой момент. <p> [*] Выгодные условия. <br /> Стоимость данного скрипта - 35 WMZ. Форма оплаты - WebMoney. <p> При покупке вы получаете: <p> [*]Полный дистрибутив скрипта с открытым исходным кодом и документацией; <br /> [*]Следующие драйвера: <p> [*]DLE 7.x / 8.x <br /> [*]IPB <br /> [*]SMF <br /> [*]WordPress <br /> [*]phpBB 3.0.x <br /> [*]LiveStreet <br /> [*]Joomla <br /> [*]Конвертор новостей в текстовые файлы <br /> [*]Универсальный драйвер удаленного импорта новостей для сайтов, на которых нельзя разместить свой сторонний php код (например, ucoz) <p> [*]Множество модулей по обработке новостей; <br /> [*]Отсутствие ограничений по времени использования; <br /> [*]Отсутствие привязок (к домену/IP/....); <br /> [*]Бесплатную техническую поддержку по электронной почте и ICQ в течении месяца; <br /> [*]Бесплатные обновления в течении 6 месяцев; <p> Что нового !!! <p> Краткий лог изменений: <p> - Добавлена возможность фильтрации добавляемых новостей по их авторам на сайте-источнике; <br /> - Исправлены проблемы совместимости скрипта с DLE 8.5; <br /> - Исправлены проблемы с сервисами Google Translate; <br /> - Добавлены новые модификаторы ссылок для SEO-оптимизации новостей; <br /> - Добавлен собственный инструмент для кодирования ссылок по уникальному алгоритму для защиты собственных новостей от копирования; <br /> - Добавлена возможность загрузки картинок на хостинги изображений imageshack и Radikal; <br /> - Добавлена функция обновления новостей, ранее размещенных на сайте (замена новостей); <br /> - Улучшена алгоритм чтения DLE сайтов; <br /> - И многое другое... <p> - Добавлена возможность перевода новостей на другие языки; <br /> - Добавлена система профайлов для возможности использования различной конфигурации при парсинге различных источников; <br /> - Добавлена система контроля добавляемых новостей по белому и черному списках; <br /> - Добавлена поддержка парсинга (или генерация) облака тегов; <br /> - Множество различных улучшений и инноваций, обеспечивающий мощный инструмент SEO-специалистам по редактированию новостей;) <p> (Так же Граббер можно поставить теперь на CRON и этим автоматизировать процес парсинга) <p> По просьбе клиентов описываю дополнительные услуги: <p> - написание драйвера для импорта контента на любой сайт (от 10 wmz) <br /> - написание ядра для экспорта (парсинга) контента с любого типа сайта (от 10 wmz) <br /> - продление технической поддержки на месяц (15 wmz) <br /> - Продажа дополнительных ключей для крона (0,5 wmz за ключ) <p> [*] Итого <br /> По любым вопросам вы можете обращаться по ICQ: 434-608-212. <br /> Если Вас заинтересовал граббер, я могу предоставить ссылку на демонстрационную онлайн версию, <br /> где вы можете протестировать его на сайтах, которые Вам интересны. Пишите! <br /> DLE SNIPER32 https://razvlek.3dn.ru/forum/90-1299-1