RubyGems Navigation menu

arachnid 0.2.0

Arachnid is a web crawler that relies on Bloom Filters to efficiently store visited urls and Typhoeus to avoid the overhead of Mechanize when crawling every page on a domain.

Gemfile:
=

インストール:
=

バージョン履歴:

  1. 0.4.1 January 17, 2014 (5KB)
  2. 0.4.0 January 16, 2014 (4.5KB)
  3. 0.3.2 January 16, 2014 (5KB)
  4. 0.3.1 January 16, 2014 (5KB)
  5. 0.3.0 January 16, 2014 (4.5KB)
  6. 0.2.0 November 29, 2011 (4.5KB)
全てのバージョンを表示(全12件)

Runtime依存関係 (4):

bloomfilter-rb = 2.1.1
domainatrix = 0.0.10
nokogiri = 1.5.0
typhoeus = 0.3.2

所有者:

作者:

  • dchuk

SHA 256チェックサム:

=

累計ダウンロード数 50,085

このバージョンのみ 4,463

このバージョンがリリースされたのは:

ライセンス:

N/A

必要なRubyのバージョン: なし

リンク: