From: Petter Reinholdtsen <pere@hungry.com>
Date: Fri, 22 Nov 2013 12:30:51 +0000 (+0000)
Subject: New post.
X-Git-Url: https://pere.pagekite.me/gitweb/homepage.git/commitdiff_plain/18cbf24d03a39d17caf566b5a41a3e6b7156266a

New post.
---

diff --git a/blog/data/2013-11-22-doffin-fritekstsok.txt b/blog/data/2013-11-22-doffin-fritekstsok.txt
new file mode 100644
index 0000000000..82ab370fbb
--- /dev/null
+++ b/blog/data/2013-11-22-doffin-fritekstsok.txt
@@ -0,0 +1,56 @@
+Title: RSS-feed med fritekstsøk i offentlige anbud hos Doffin
+Tags: norsk, nuug, offentlig innsyn
+Date: 2013-11-22 13:40
+
+<p>I fjor sommer lagde jeg en
+<a href="http://people.skolelinux.org/pere/blog/SQL_database_med_anbud_publisert_p__Doffin.html">offentlig
+tilgjengelig SQL-database over offentlig anbud</a> basert på skraping
+av HTML-data fra Doffin.  Den har stått og gått siden da, og har nå
+ca. 28000 oppføringer.  Jeg oppdaget da jeg tittet innom at noen
+oppføringer var ikke blitt med, antagelig på grunn av at de fikk
+tildelt sekvensnummer i Doffin en godt stund før de ble publisert,
+slik at min nettsideskraper som fortsatte skrapingen der den slapp
+sist ikke fikk dem med seg.  Jeg har fikset litt slik at skraperen nå
+ser litt tilbake i tid for å se om den har gått glipp av noen
+oppføringer, og har skrapet på nytt fra midten av september 2013 og
+fremover.  Det bør dermed bli en mer komplett database for kommende
+måneder.  Hvis jeg får tid skal jeg forsøke å skrape "glemte" data fra
+før midten av september 2013, men tør ikke garantere at det blir
+prioritert med det første. </p>
+
+<p>Men målet med denne bloggposten er å vise hvordan denne
+Doffin-databasen kan brukes og integreres med en RSS-leser, slik at en
+kan la datamaskinen holde et øye med Doffin-annonseringer etter
+nøkkelord.  En kan lage sitt eget søk ved å besøke
+<ahref="https://classic.scraperwiki.com/docs/api?name=norwegian-doffin#sqlite">API-et
+hos Scraperwiki</a>, velge format rss2 og så legge inn noe ala dette i
+"query in SQL":</p>
+
+<p><pre>
+select title, scrapedurl as link, abstract as description,
+       publishdate as pubDate from 'swdata'
+   where abstract like '%linux%' or title like '%linux%'
+   order by seq desc limit 20
+</pre></p>
+
+<p>Dette vil søke opp alle anbud med ordet linux i oppsummering eller
+tittel.  En kan lage mer avanserte søk hvis en ønsker det.  URL-en som
+dukker opp nederst på siden kan en så gi til sin RSS-leser (jeg bruker
+akregator selv), og så automatisk få beskjed hvis det dukker opp anbud
+med det aktuelle nøkkelordet i teksten.  Merk at kapasiteten hos
+Scraperwiki er begrenset, så be RSS-leseren kun hente ned en gang hver
+dag eller noe slikt.</p>
+
+<p>Du lurer kanskje på hva slags informasjon en kan få ut fra denne
+databasen.  Her er to RSS-kilder, med søkeordet
+"<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25linux%25'%20or%20title%20like%20'%25linux%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">linux</a>"
+søkeordet
+"<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25fri%20programvare%25'%20or%20title%20like%20'%25fri%20programvare%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">fri
+programvare</a>"
+og søkeordet
+"<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25odf%25'%20or%20title%20like%20'%25odf%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">odf</a>".
+Det er bare å søke på det en er interessert i.  Kopier gjerne
+datasettet og sett opp din egen tjeneste hvis du vil gjøre mer
+avanserte søk.  SQLite-filen med Doffin-oppføringer kan lastes med fra
+Scraperwiki for de som vil grave dypere.</p>
+<!-- nov 625, okt 1080, sep 1120 -->