robotstxt-parser 0.1.1

Robotstxt-Parser allows you to the check the accessibility of URLs and get other data. Full support for the robots.txt RFC, wildcards and Sitemap: rules.

Gemfile:
=

installieren:
=

Versionen:

0.1.1 September 18, 2014 (15 KB)
0.1.0 September 18, 2014 (15 KB)

Development Abhängigkeiten (2):

fakeweb ~> 1.3

rake >= 0

Alle transitiven Abhängigkeiten anzeigen

Besitzer:

Autoren:

Garen Torikian

SHA 256-Prüfsumme:

=

Downloads insgesamt 164.275

Für diese Version 161.918

Version veröffentlicht:
September 18, 2014 12:46am

Lizenz:
MIT

Erforderliche Ruby-Version: >= 0

Links:

Homepage Dokumentation Download Review changes Abzeichen RSS Missbrauch melden Reverse dependencies