En stund nå har jeg vært nødt til å forholde meg til
Fronter, en nettløsning
Osloskolen bruker for kontakt mellom hjem og skole. Løsningen
imponerer ikke, og det er lagt opp til at vi foreldre skal logge inn
regelmessig for å se om noe har endret seg. Idéen om å la folk stikke
innom nettsider for å se om det har skjedd endringer er så idiotisk at
jeg har lett etter et alternativ. Fronterløsningen har en innebygget
løsning der en kan abonnere på forsiden (som viser en oppsummering av
det en har tilgang til), og få tilsendt en kopi hver natt, men det
fjerner jo bare behovet for å stikke innom, ikke den idiotiske ideen
om at folk skal huske hvordan nettsiden så ut sist og oppdage hva som
er endret.
For å gjøre livet enklere har jeg derfor brukt litt tid på å lage
et program som kobler seg opp og sjekker etter endringer automatisk,
slik at jeg kan få beskjed fra datamaskinen når noe endrer seg i
stedet for å forsøke å finne ut av det selv. I går ble scriptet
brukbart, og jeg er dermed klar til å dele det med deg.
Jeg startet med å skrive programmet i Python, og hadde en versjon
som logget inn og hentet ned enkeltsider fra Fronter. Men
Fronter-websidene suger golfballer gjennom en hageslange, med
uleselig HTML, flere nivåer av iframes og en struktur på innholdet som
er svært vanskelig å finne ut av, så jeg ga til slutt opp lxml-parsing
med Python og forsøkte meg med WWW::Mechanize for Perl som jeg kjente
fra før. I ettertid har jeg oppdaget at WWW:Mechanize også finnes for
Python, så jeg kunne antagelig droppet språkbyttet. Men da jeg
oppdaget det hadde jeg kommet så langt med Perl-utgaven, så jeg hoppet
ikke tilbake.
For å logge inn i Fronter besøker en enten skolens websider eller
den sentrale innloggingsiden https://fronter.com/osloskoler/.
Perl-koden for å logge inn ser slik ut:
my $mech = WWW::Mechanize->new();
$mech->get('https://fronter.com/osloskoler/');
$mech->submit_form(fields => {
username => $username,
password => $password,
} );
Neste steg er å få oversikt over hvilke «rom» en har tilgang til.
På vår skole er det rom for skolen, biblioteket, elevrådet,
aktivitetsskolen og klasser der en har unger, og dette vil være
forskjellig fra person til person. Etter å ha romstert rundt i
Fronter-grensesnittet endel kom jeg over en grei HTML-side med
oversikt over rommene,
https://fronter.com/osloskoler/adm/projects.phtml?mode=displayRoomchooser,
så jeg bruker denne til å hente ut romoversikt med rom-ID.
my %room;
$mech->get('https://fronter.com/osloskoler/adm/projects.phtml?mode=displayRoomchooser');
for my $link ($mech->links()) {
my $url = $link->url();
if ($url =~ m%/links/list_files.phtml\?edit=(\d+)$%) {
$room{$link->text()} = $1;
}
}
Når en har rom-ID kan en slå opp websiden for rommet, som starter
på
https://fronter.com/osloskoler/contentframeset.phtml?goto_prjid=$ROMID
(der $ROMID byttes ut med rom-ID-tallet). Det gir en side med
iframes, og en må tre nivåer ned i iframes før en får tak i
HTML-informasjonen som vises frem når en ser på det aktuelle rommet.
Her ga jeg opp den robuste parsingen og hardkodet endel URL-er som i
stedet bør spores opp maskinelt. HTML-informasjonen som vises lagres
i en fil etter at økt- og innloggings-nøkkel er fjernet og deretter
bruker jeg lynx --dump --nolist for å hente ut en tekstlig
utgave av websiden. Denne tekstlige utgaven sammenlignes med forrige
versjon og oversikt over endringer kan så sendes ut på egnet vis.
Jeg valgte å bruke git til å holde rede på endringer, så jeg
sjekker inn HTML og tekst-utgaver i git og bruker git til å vise frem
endringene i tekstutgavene. Programvaren for å gjøre dette er testet
på Debian GNU/Linux og kan
lastes
ned fra github.
For å bruke dette selv, kjør følgende kommandoer på din
Debian-maskin (forutsetter sudo-tilgang for installasjon av
programvare):
sudo apt-get install git lynx-cur libio-prompter-perl libwww-mechanize-perl \
libconfig-inifiles-perl
git clone https://github.com/petterreinholdtsen/fronter-scraper-oslo
cd fronter-scraper-oslo
./update-git
Det gjenstår endel, men systemet er allerede nyttig for meg. Jeg
ønsker at systemet også skal laste ned PDF-er og slikt som er lagt ut
for nedlasting på sidene, slik at f.eks. ukeplaner kommer inn i
git-arkivet mitt automatisk og jeg får automatisk beskjed når ny
ukeplan er lagt ut. Kanskje du kan bidra med å få det på plass, eller
kanskje du har andre ting du vil fikse? Jeg tar gjerne imot endringer
og forbedringer. Det er mye som kan gjøres bedre, og scriptet er ikke
veldig robust mot endringer hos nettsidene til Fronter. Jeg regner
dermed med at det vil trengs oppdateringer jevnlig etter hvert som
Fronter-løsningen endrer seg.
