Wikipedysta:Tawbot

Z Wikipedii

Aktualne wydarzenia: /Poprawa linków na przekierowania

Tawbot to napisany przez Tawa w perlu bot który będzie się zajmował różnymi masowymi edycjami i zmianami.

Konto Tawbot ma ustawioną flagę bot, dzięki czemu nie widać go w ostatnich zmianach, pomimo że jest jednym z najaktywniejszych wikipedystów.

Tawbot nie jest żadnym konkretnym programem tylko zbiorem procedur na różne okazje, z których montuje w miarę potrzeby boty. Niestety oznacza to, że nie bardzo da się opublikować pełne źródła, gdyż takich właściwie nie ma.

Z oryginalnego kodu chyba nic nie zostało, tak szybko się on zmienia ...

Aktualny kod Tawbota jest tutaj — http://svn.gna.org/svn/tawbot/

Fajnym dodatkiem do Tawbota jest chyba HTTP proxy, które wypisuje na standardowym wyjściu, jakie artykuły Wikipedii odwiedziłem, dzięki czemu mogę je szybko przekleić myszką do części bota zajmującej się rekategoryzacją. Kod poniżej. Moja konsola jest ustawiona na Unikod, jeśli ktoś ma konsolę w innym kodowaniu, należy wykomentować linijkę dokonującą konwersji.

[edytuj] Proxy

#!/usr/bin/perl -w

use HTTP::Daemon;
use HTTP::Status;
use HTTP::Response;
use HTTP::Request;
use HTTP::Request::Common;
use LWP;

sub get_url
{
    my ($url) = @_;
    my $ua = LWP::UserAgent->new;
    $ua->agent("Mozilla/5.0 (compatible; Opera)");
    my $res = $ua->request(GET $url);
    unless($res->is_success) {
        ""
    }  else {
        $res->content
    }
}


sub get_from_wikipedia
{ # no changes are needed
    get_url(@_);
}

my $d = HTTP::Daemon->new() or die;
print "URL: ", $d->url, "\n";
while(my $c = $d->accept) {
    next if fork;
    my $r = $c->get_request;
    if($r->method ne 'GET')
    {
        $c->send_error(RC_FORBIDDEN);
    } else {
        my $path = $r->url->path;
        my $cnt;
        if($path eq "/favicon.ico")
        {
            $c->send_error(RC_FORBIDDEN);
            next;
        } elsif($path eq "/") {
            $cnt = get_from_wikipedia("http://pl.wikipedia.org/");
        } elsif ($path =~ m@^/wiki/(.*)$@) {
            my ($apath,$xpath) = ($1,$1);
            $xpath =~ s/%(..)/sprintf "%c", hex($1)/ge; # Konwertuj %XX na Unikod
            print "ARTICLE $xpath\n";
            $cnt = get_from_wikipedia("http://pl.wikipedia.org/wiki/$apath");
        } elsif ($path =~ m@^/(.*)$@) {
            $cnt = get_from_wikipedia("http://pl.wikipedia.org/$1");
        } else {
            $c->send_error(RC_FORBIDDEN);
            next;
        }
        my $res = HTTP::Response->new;
        $res->code(200);
        $res->content($cnt);
        $c->send_response($res);
    }
    close $c;
    exit;
}

[edytuj] Pobierz listę artykułów danej kategorii

Poniższy kod oczywiście nie działa jak trzeba, dobry jest w repozytorium ;-)

wget http://pl.wikipedia.org/wiki/Kategoria:Informatyka --cookies=off --header "Cookie: Ciacho" -U 'Mozilla/5.0 (compatible; Opera)' -o /dev/null -O - | perl -nle 'print $1 if m@^<li><a href="/wiki/(.*?)"@' | perl -ple 's/%(..)/sprintf "%c", hex($1)/ge' >Lista-artykułów-kategorii-informatyka

Ciacho można skopiować logując się uczciwie i sprawdzając jakie ciacho wysyła przeglądarka za pomocą programu tcpflow (albo na tysiąc innych sposobów – lepiej być jednak zalogowanym, bo niezalogowani mają więcej problemów z cache'em.

User-Agent jest lewy, bo wget jest zbanowany (to celowo jest ustawione w ten sposób, takie małe security through obscurity). Dalej wycięcie listy artykułów (i podkategorii) danej kategorii, i konwersja na unikod (można pominąć).