arachnid 0.1.3

Arachnid is a web crawler that relies on Bloom Filters to efficiently store visited urls and Typhoeus to avoid the overhead of Mechanize when crawling every page on a domain.

Gemfile:
=

installation:
=

Versions:

0.4.1 January 17, 2014 (5 ko)
0.4.0 January 16, 2014 (4,5 ko)
0.3.2 January 16, 2014 (5 ko)
0.3.1 January 16, 2014 (5 ko)
0.3.0 January 16, 2014 (4,5 ko)
0.1.3 November 27, 2011 (4,5 ko)

Voir toutes les versions (12)

Dépendances de Runtime (4):

bloomfilter-rb = 2.1.1

domainatrix = 0.0.10

nokogiri = 1.5.0

typhoeus = 0.3.2

Show all transitive dependencies

Propriétaires:

Auteurs:

dchuk

arachnid 0.1.3

Gemfile:
=

installation:
=

Versions:

Dépendances de Runtime (4):

Propriétaires:

Auteurs:

Total de contrôle SHA 256:

Total de téléchargements 50 085

Pour cette version 4 469

Version publiée:
November 27, 2011 7:06pm

License:
aucune

Version de Ruby requise: None

Liens:

arachnid 0.1.3

Gemfile: =

installation: =

Versions:

Dépendances de Runtime (4):

Propriétaires:

Auteurs:

Total de contrôle SHA 256:

Total de téléchargements 50 085

Pour cette version 4 469

Version publiée: November 27, 2011 7:06pm

License: aucune

Version de Ruby requise: None

Liens:

Gemfile:
=

installation:
=

Version publiée:
November 27, 2011 7:06pm

License:
aucune