I fjor sommer lagde jeg en +offentlig +tilgjengelig SQL-database over offentlig anbud basert på skraping +av HTML-data fra Doffin. Den har stått og gått siden da, og har nå +ca. 28000 oppføringer. Jeg oppdaget da jeg tittet innom at noen +oppføringer var ikke blitt med, antagelig på grunn av at de fikk +tildelt sekvensnummer i Doffin en godt stund før de ble publisert, +slik at min nettsideskraper som fortsatte skrapingen der den slapp +sist ikke fikk dem med seg. Jeg har fikset litt slik at skraperen nå +ser litt tilbake i tid for å se om den har gått glipp av noen +oppføringer, og har skrapet på nytt fra midten av september 2013 og +fremover. Det bør dermed bli en mer komplett database for kommende +måneder. Hvis jeg får tid skal jeg forsøke å skrape "glemte" data fra +før midten av september 2013, men tør ikke garantere at det blir +prioritert med det første.
+ +Men målet med denne bloggposten er å vise hvordan denne
+Doffin-databasen kan brukes og integreres med en RSS-leser, slik at en
+kan la datamaskinen holde et øye med Doffin-annonseringer etter
+nøkkelord. En kan lage sitt eget søk ved å besøke
+
+select title, scrapedurl as link, abstract as description, + publishdate as pubDate from 'swdata' + where abstract like '%linux%' or title like '%linux%' + order by seq desc limit 20 ++ +
Dette vil søke opp alle anbud med ordet linux i oppsummering eller +tittel. En kan lage mer avanserte søk hvis en ønsker det. URL-en som +dukker opp nederst på siden kan en så gi til sin RSS-leser (jeg bruker +akregator selv), og så automatisk få beskjed hvis det dukker opp anbud +med det aktuelle nøkkelordet i teksten. Merk at kapasiteten hos +Scraperwiki er begrenset, så be RSS-leseren kun hente ned en gang hver +dag eller noe slikt.
+ +Du lurer kanskje på hva slags informasjon en kan få ut fra denne +databasen. Her er to RSS-kilder, med søkeordet +"linux", +søkeordet +"fri +programvare" +og søkeordet +"odf". +Det er bare å søke på det en er interessert i. Kopier gjerne +datasettet og sett opp din egen tjeneste hvis du vil gjøre mer +avanserte søk. SQLite-filen med Doffin-oppføringer kan lastes med fra +Scraperwiki for de som vil grave dypere.
+ + +