arachnid 0.4.1

Arachnid is a web crawler that relies on Bloom Filters to efficiently store visited urls and Typhoeus to avoid the overhead of Mechanize when crawling every page on a domain.

Gemfile:
=

instalar:
=

Versiones:

0.4.1 January 17, 2014 (5 KB)
0.4.0 January 16, 2014 (4,5 KB)
0.3.2 January 16, 2014 (5 KB)
0.3.1 January 16, 2014 (5 KB)
0.3.0 January 16, 2014 (4,5 KB)

Mostrar todas las versiones (12 total)

dependencias de Runtime (4):

bloomfilter-rb = 2.1.1

domainatrix >= 0

nokogiri = 1.5.0

typhoeus = 0.3.2

Mostrar toda la cadena de dependencias

Propietarios:

Autores:

dchuk

SHA 256 checksum:

Total de descargas 50.059

Para esta versión 4.571

Versión publicada:
January 17, 2014 6:36pm

Licencias:
N/A

Versión de Ruby requerida: Ninguno

Enlace:

Página Documentación Descarga Revisar cambios Badge RSS Reportar abusos Dependencias inversas