blog/RSS_kilde_for_friteksts_k_i_offentlige_anbud_hos_Doffin.html

   1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
   2           "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
   3 <html xmlns="http://www.w3.org/1999/xhtml" dir="ltr">
   4   <head>
   5     <meta http-equiv="Content-Type" content="text/html;charset=utf-8" />
   6     <title>Petter Reinholdtsen: RSS-kilde for fritekstsøk i offentlige anbud hos Doffin</title>
   7     <link rel="stylesheet" type="text/css" media="screen" href="http://people.skolelinux.org/pere/blog/style.css" />
   8     <link rel="stylesheet" type="text/css" media="screen" href="http://people.skolelinux.org/pere/blog/vim.css" />
   9
  10
  11   </head>
  12   <body>
  13     <div class="title">
  14  <h1>
  15      <a href="http://people.skolelinux.org/pere/blog/">Petter Reinholdtsen</a>
  16
  17  </h1>
  18
  19 </div>
  20
  21
  22     <div class="entry">
  23       <div class="title">RSS-kilde for fritekstsøk i offentlige anbud hos Doffin</div>
  24       <div class="date">22nd November 2013</div>
  25       <div class="body"><p>I fjor sommer lagde jeg en
  26 <a href="http://people.skolelinux.org/pere/blog/SQL_database_med_anbud_publisert_p__Doffin.html">offentlig
  27 tilgjengelig SQL-database over offentlig anbud</a> basert på skraping
  28 av HTML-data fra Doffin.  Den har stått og gått siden da, og har nå
  29 ca. 28000 oppføringer.  Jeg oppdaget da jeg tittet innom at noen
  30 oppføringer var ikke blitt med, antagelig på grunn av at de fikk
  31 tildelt sekvensnummer i Doffin en godt stund før de ble publisert,
  32 slik at min nettsideskraper som fortsatte skrapingen der den slapp
  33 sist ikke fikk dem med seg.  Jeg har fikset litt slik at skraperen nå
  34 ser litt tilbake i tid for å se om den har gått glipp av noen
  35 oppføringer, og har skrapet på nytt fra midten av september 2013 og
  36 fremover.  Det bør dermed bli en mer komplett database for kommende
  37 måneder.  Hvis jeg får tid skal jeg forsøke å skrape "glemte" data fra
  38 før midten av september 2013, men tør ikke garantere at det blir
  39 prioritert med det første. </p>
  40
  41 <p>Men målet med denne bloggposten er å vise hvordan denne
  42 Doffin-databasen kan brukes og integreres med en RSS-leser, slik at en
  43 kan la datamaskinen holde et øye med Doffin-annonseringer etter
  44 nøkkelord.  En kan lage sitt eget søk ved å besøke
  45 <ahref="https://classic.scraperwiki.com/docs/api?name=norwegian-doffin#sqlite">API-et
  46 hos Scraperwiki</a>, velge format rss2 og så legge inn noe ala dette i
  47 "query in SQL":</p>
  48
  49 <p><pre>
  50 select title, scrapedurl as link, abstract as description,
  51        publishdate as pubDate from 'swdata'
  52    where abstract like '%linux%' or title like '%linux%'
  53    order by seq desc limit 20
  54 </pre></p>
  55
  56 <p>Dette vil søke opp alle anbud med ordet linux i oppsummering eller
  57 tittel.  En kan lage mer avanserte søk hvis en ønsker det.  URL-en som
  58 dukker opp nederst på siden kan en så gi til sin RSS-leser (jeg bruker
  59 akregator selv), og så automatisk få beskjed hvis det dukker opp anbud
  60 med det aktuelle nøkkelordet i teksten.  Merk at kapasiteten og
  61 ytelsen hos Scraperwiki er begrenset, så ikke be RSS-leseren hente ned
  62 oftere enn en gang hver dag.</p>
  63
  64 <p>Du lurer kanskje på hva slags informasjon en kan få ut fra denne
  65 databasen.  Her er to RSS-kilder, med søkeordet
  66 "<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25linux%25'%20or%20title%20like%20'%25linux%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">linux</a>",
  67 søkeordet
  68 "<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25fri%20programvare%25'%20or%20title%20like%20'%25fri%20programvare%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">fri
  69 programvare</a>"
  70 og søkeordet
  71 "<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25odf%25'%20or%20title%20like%20'%25odf%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">odf</a>".
  72 Det er bare å søke på det en er interessert i.  Kopier gjerne
  73 datasettet og sett opp din egen tjeneste hvis du vil gjøre mer
  74 avanserte søk.  SQLite-filen med Doffin-oppføringer kan lastes med fra
  75 Scraperwiki for de som vil grave dypere.</p>
  76 </div>
  77
  78       <div class="tags">Tags: <a href="http://people.skolelinux.org/pere/blog/tags/norsk">norsk</a>, <a href="http://people.skolelinux.org/pere/blog/tags/nuug">nuug</a>, <a href="http://people.skolelinux.org/pere/blog/tags/offentlig innsyn">offentlig innsyn</a>.</div>
  79
  80
  81     </div>
  82
  83
  84
  85
  86     <div id="sidebar">
  87
  88
  89
  90 <h2>Archive</h2>
  91 <ul>
  92
  93 <li>2014
  94 <ul>
  95
  96 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/01/">January (2)</a></li>
  97
  98 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/02/">February (3)</a></li>
  99
 100 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/03/">March (8)</a></li>
 101
 102 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/04/">April (7)</a></li>
 103
 104 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/05/">May (1)</a></li>
 105
 106 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/06/">June (2)</a></li>
 107
 108 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/07/">July (1)</a></li>
 109
 110 </ul></li>
 111
 112 <li>2013
 113 <ul>
 114
 115 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/01/">January (11)</a></li>
 116
 117 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/02/">February (9)</a></li>
 118
 119 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/03/">March (9)</a></li>
 120
 121 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/04/">April (6)</a></li>
 122
 123 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/05/">May (9)</a></li>
 124
 125 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/06/">June (10)</a></li>
 126
 127 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/07/">July (7)</a></li>
 128
 129 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/08/">August (3)</a></li>
 130
 131 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/09/">September (5)</a></li>
 132
 133 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/10/">October (7)</a></li>
 134
 135 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/11/">November (9)</a></li>
 136
 137 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/12/">December (3)</a></li>
 138
 139 </ul></li>
 140
 141 <li>2012
 142 <ul>
 143
 144 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/01/">January (7)</a></li>
 145
 146 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/02/">February (10)</a></li>
 147
 148 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/03/">March (17)</a></li>
 149
 150 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/04/">April (12)</a></li>
 151
 152 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/05/">May (12)</a></li>
 153
 154 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/06/">June (20)</a></li>
 155
 156 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/07/">July (17)</a></li>
 157
 158 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/08/">August (6)</a></li>
 159
 160 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/09/">September (9)</a></li>
 161
 162 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/10/">October (17)</a></li>
 163
 164 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/11/">November (10)</a></li>
 165
 166 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/12/">December (7)</a></li>
 167
 168 </ul></li>
 169
 170 <li>2011
 171 <ul>
 172
 173 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/01/">January (16)</a></li>
 174
 175 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/02/">February (6)</a></li>
 176
 177 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/03/">March (6)</a></li>
 178
 179 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/04/">April (7)</a></li>
 180
 181 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/05/">May (3)</a></li>
 182
 183 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/06/">June (2)</a></li>
 184
 185 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/07/">July (7)</a></li>
 186
 187 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/08/">August (6)</a></li>
 188
 189 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/09/">September (4)</a></li>
 190
 191 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/10/">October (2)</a></li>
 192
 193 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/11/">November (3)</a></li>
 194
 195 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/12/">December (1)</a></li>
 196
 197 </ul></li>
 198
 199 <li>2010
 200 <ul>
 201
 202 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/01/">January (2)</a></li>
 203
 204 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/02/">February (1)</a></li>
 205
 206 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/03/">March (3)</a></li>
 207
 208 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/04/">April (3)</a></li>
 209
 210 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/05/">May (9)</a></li>
 211
 212 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/06/">June (14)</a></li>
 213
 214 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/07/">July (12)</a></li>
 215
 216 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/08/">August (13)</a></li>
 217
 218 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/09/">September (7)</a></li>
 219
 220 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/10/">October (9)</a></li>
 221
 222 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/11/">November (13)</a></li>
 223
 224 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/12/">December (12)</a></li>
 225
 226 </ul></li>
 227
 228 <li>2009
 229 <ul>
 230
 231 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/01/">January (8)</a></li>
 232
 233 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/02/">February (8)</a></li>
 234
 235 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/03/">March (12)</a></li>
 236
 237 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/04/">April (10)</a></li>
 238
 239 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/05/">May (9)</a></li>
 240
 241 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/06/">June (3)</a></li>
 242
 243 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/07/">July (4)</a></li>
 244
 245 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/08/">August (3)</a></li>
 246
 247 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/09/">September (1)</a></li>
 248
 249 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/10/">October (2)</a></li>
 250
 251 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/11/">November (3)</a></li>
 252
 253 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/12/">December (3)</a></li>
 254
 255 </ul></li>
 256
 257 <li>2008
 258 <ul>
 259
 260 <li><a href="http://people.skolelinux.org/pere/blog/archive/2008/11/">November (5)</a></li>
 261
 262 <li><a href="http://people.skolelinux.org/pere/blog/archive/2008/12/">December (7)</a></li>
 263
 264 </ul></li>
 265
 266 </ul>
 267
 268
 269
 270 <h2>Tags</h2>
 271 <ul>
 272
 273  <li><a href="http://people.skolelinux.org/pere/blog/tags/3d-printer">3d-printer (13)</a></li>
 274
 275  <li><a href="http://people.skolelinux.org/pere/blog/tags/amiga">amiga (1)</a></li>
 276
 277  <li><a href="http://people.skolelinux.org/pere/blog/tags/aros">aros (1)</a></li>
 278
 279  <li><a href="http://people.skolelinux.org/pere/blog/tags/bankid">bankid (4)</a></li>
 280
 281  <li><a href="http://people.skolelinux.org/pere/blog/tags/bitcoin">bitcoin (8)</a></li>
 282
 283  <li><a href="http://people.skolelinux.org/pere/blog/tags/bootsystem">bootsystem (14)</a></li>
 284
 285  <li><a href="http://people.skolelinux.org/pere/blog/tags/bsa">bsa (2)</a></li>
 286
 287  <li><a href="http://people.skolelinux.org/pere/blog/tags/chrpath">chrpath (2)</a></li>
 288
 289  <li><a href="http://people.skolelinux.org/pere/blog/tags/debian">debian (99)</a></li>
 290
 291  <li><a href="http://people.skolelinux.org/pere/blog/tags/debian edu">debian edu (147)</a></li>
 292
 293  <li><a href="http://people.skolelinux.org/pere/blog/tags/digistan">digistan (10)</a></li>
 294
 295  <li><a href="http://people.skolelinux.org/pere/blog/tags/dld">dld (15)</a></li>
 296
 297  <li><a href="http://people.skolelinux.org/pere/blog/tags/docbook">docbook (12)</a></li>
 298
 299  <li><a href="http://people.skolelinux.org/pere/blog/tags/drivstoffpriser">drivstoffpriser (4)</a></li>
 300
 301  <li><a href="http://people.skolelinux.org/pere/blog/tags/english">english (249)</a></li>
 302
 303  <li><a href="http://people.skolelinux.org/pere/blog/tags/fiksgatami">fiksgatami (21)</a></li>
 304
 305  <li><a href="http://people.skolelinux.org/pere/blog/tags/fildeling">fildeling (12)</a></li>
 306
 307  <li><a href="http://people.skolelinux.org/pere/blog/tags/freeculture">freeculture (13)</a></li>
 308
 309  <li><a href="http://people.skolelinux.org/pere/blog/tags/freedombox">freedombox (8)</a></li>
 310
 311  <li><a href="http://people.skolelinux.org/pere/blog/tags/frikanalen">frikanalen (11)</a></li>
 312
 313  <li><a href="http://people.skolelinux.org/pere/blog/tags/intervju">intervju (40)</a></li>
 314
 315  <li><a href="http://people.skolelinux.org/pere/blog/tags/isenkram">isenkram (9)</a></li>
 316
 317  <li><a href="http://people.skolelinux.org/pere/blog/tags/kart">kart (18)</a></li>
 318
 319  <li><a href="http://people.skolelinux.org/pere/blog/tags/ldap">ldap (9)</a></li>
 320
 321  <li><a href="http://people.skolelinux.org/pere/blog/tags/lenker">lenker (7)</a></li>
 322
 323  <li><a href="http://people.skolelinux.org/pere/blog/tags/ltsp">ltsp (1)</a></li>
 324
 325  <li><a href="http://people.skolelinux.org/pere/blog/tags/mesh network">mesh network (8)</a></li>
 326
 327  <li><a href="http://people.skolelinux.org/pere/blog/tags/multimedia">multimedia (28)</a></li>
 328
 329  <li><a href="http://people.skolelinux.org/pere/blog/tags/norsk">norsk (246)</a></li>
 330
 331  <li><a href="http://people.skolelinux.org/pere/blog/tags/nuug">nuug (162)</a></li>
 332
 333  <li><a href="http://people.skolelinux.org/pere/blog/tags/offentlig innsyn">offentlig innsyn (11)</a></li>
 334
 335  <li><a href="http://people.skolelinux.org/pere/blog/tags/open311">open311 (2)</a></li>
 336
 337  <li><a href="http://people.skolelinux.org/pere/blog/tags/opphavsrett">opphavsrett (46)</a></li>
 338
 339  <li><a href="http://people.skolelinux.org/pere/blog/tags/personvern">personvern (72)</a></li>
 340
 341  <li><a href="http://people.skolelinux.org/pere/blog/tags/raid">raid (1)</a></li>
 342
 343  <li><a href="http://people.skolelinux.org/pere/blog/tags/reactos">reactos (1)</a></li>
 344
 345  <li><a href="http://people.skolelinux.org/pere/blog/tags/reprap">reprap (11)</a></li>
 346
 347  <li><a href="http://people.skolelinux.org/pere/blog/tags/rfid">rfid (2)</a></li>
 348
 349  <li><a href="http://people.skolelinux.org/pere/blog/tags/robot">robot (9)</a></li>
 350
 351  <li><a href="http://people.skolelinux.org/pere/blog/tags/rss">rss (1)</a></li>
 352
 353  <li><a href="http://people.skolelinux.org/pere/blog/tags/ruter">ruter (4)</a></li>
 354
 355  <li><a href="http://people.skolelinux.org/pere/blog/tags/scraperwiki">scraperwiki (2)</a></li>
 356
 357  <li><a href="http://people.skolelinux.org/pere/blog/tags/sikkerhet">sikkerhet (40)</a></li>
 358
 359  <li><a href="http://people.skolelinux.org/pere/blog/tags/sitesummary">sitesummary (4)</a></li>
 360
 361  <li><a href="http://people.skolelinux.org/pere/blog/tags/skepsis">skepsis (4)</a></li>
 362
 363  <li><a href="http://people.skolelinux.org/pere/blog/tags/standard">standard (44)</a></li>
 364
 365  <li><a href="http://people.skolelinux.org/pere/blog/tags/stavekontroll">stavekontroll (3)</a></li>
 366
 367  <li><a href="http://people.skolelinux.org/pere/blog/tags/stortinget">stortinget (9)</a></li>
 368
 369  <li><a href="http://people.skolelinux.org/pere/blog/tags/surveillance">surveillance (25)</a></li>
 370
 371  <li><a href="http://people.skolelinux.org/pere/blog/tags/sysadmin">sysadmin (1)</a></li>
 372
 373  <li><a href="http://people.skolelinux.org/pere/blog/tags/valg">valg (8)</a></li>
 374
 375  <li><a href="http://people.skolelinux.org/pere/blog/tags/video">video (42)</a></li>
 376
 377  <li><a href="http://people.skolelinux.org/pere/blog/tags/vitenskap">vitenskap (4)</a></li>
 378
 379  <li><a href="http://people.skolelinux.org/pere/blog/tags/web">web (32)</a></li>
 380
 381 </ul>
 382
 383
 384     </div>
 385     <p style="text-align: right">
 386  Created by <a href="http://steve.org.uk/Software/chronicle">Chronicle v4.6</a>
 387 </p>
 388
 389   </body>
 390 </html>