blog/RSS_kilde_for_friteksts_k_i_offentlige_anbud_hos_Doffin.html

   1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
   2           "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
   3 <html xmlns="http://www.w3.org/1999/xhtml" dir="ltr">
   4   <head>
   5     <meta http-equiv="Content-Type" content="text/html;charset=utf-8" />
   6     <title>Petter Reinholdtsen: RSS-kilde for fritekstsøk i offentlige anbud hos Doffin</title>
   7     <link rel="stylesheet" type="text/css" media="screen" href="http://people.skolelinux.org/pere/blog/style.css" />
   8     <link rel="stylesheet" type="text/css" media="screen" href="http://people.skolelinux.org/pere/blog/vim.css" />
   9
  10
  11   </head>
  12   <body>
  13     <div class="title">
  14  <h1>
  15      <a href="http://people.skolelinux.org/pere/blog/">Petter Reinholdtsen</a>
  16
  17  </h1>
  18
  19 </div>
  20
  21
  22     <div class="entry">
  23       <div class="title">RSS-kilde for fritekstsøk i offentlige anbud hos Doffin</div>
  24       <div class="date">22nd November 2013</div>
  25       <div class="body"><p>I fjor sommer lagde jeg en
  26 <a href="http://people.skolelinux.org/pere/blog/SQL_database_med_anbud_publisert_p__Doffin.html">offentlig
  27 tilgjengelig SQL-database over offentlig anbud</a> basert på skraping
  28 av HTML-data fra Doffin.  Den har stått og gått siden da, og har nå
  29 ca. 28000 oppføringer.  Jeg oppdaget da jeg tittet innom at noen
  30 oppføringer var ikke blitt med, antagelig på grunn av at de fikk
  31 tildelt sekvensnummer i Doffin en godt stund før de ble publisert,
  32 slik at min nettsideskraper som fortsatte skrapingen der den slapp
  33 sist ikke fikk dem med seg.  Jeg har fikset litt slik at skraperen nå
  34 ser litt tilbake i tid for å se om den har gått glipp av noen
  35 oppføringer, og har skrapet på nytt fra midten av september 2013 og
  36 fremover.  Det bør dermed bli en mer komplett database for kommende
  37 måneder.  Hvis jeg får tid skal jeg forsøke å skrape "glemte" data fra
  38 før midten av september 2013, men tør ikke garantere at det blir
  39 prioritert med det første. </p>
  40
  41 <p>Men målet med denne bloggposten er å vise hvordan denne
  42 Doffin-databasen kan brukes og integreres med en RSS-leser, slik at en
  43 kan la datamaskinen holde et øye med Doffin-annonseringer etter
  44 nøkkelord.  En kan lage sitt eget søk ved å besøke
  45 <ahref="https://classic.scraperwiki.com/docs/api?name=norwegian-doffin#sqlite">API-et
  46 hos Scraperwiki</a>, velge format rss2 og så legge inn noe ala dette i
  47 "query in SQL":</p>
  48
  49 <p><pre>
  50 select title, scrapedurl as link, abstract as description,
  51        publishdate as pubDate from 'swdata'
  52    where abstract like '%linux%' or title like '%linux%'
  53    order by seq desc limit 20
  54 </pre></p>
  55
  56 <p>Dette vil søke opp alle anbud med ordet linux i oppsummering eller
  57 tittel.  En kan lage mer avanserte søk hvis en ønsker det.  URL-en som
  58 dukker opp nederst på siden kan en så gi til sin RSS-leser (jeg bruker
  59 akregator selv), og så automatisk få beskjed hvis det dukker opp anbud
  60 med det aktuelle nøkkelordet i teksten.  Merk at kapasiteten og
  61 ytelsen hos Scraperwiki er begrenset, så ikke be RSS-leseren hente ned
  62 oftere enn en gang hver dag.</p>
  63
  64 <p>Du lurer kanskje på hva slags informasjon en kan få ut fra denne
  65 databasen.  Her er to RSS-kilder, med søkeordet
  66 "<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25linux%25'%20or%20title%20like%20'%25linux%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">linux</a>",
  67 søkeordet
  68 "<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25fri%20programvare%25'%20or%20title%20like%20'%25fri%20programvare%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">fri
  69 programvare</a>"
  70 og søkeordet
  71 "<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25odf%25'%20or%20title%20like%20'%25odf%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">odf</a>".
  72 Det er bare å søke på det en er interessert i.  Kopier gjerne
  73 datasettet og sett opp din egen tjeneste hvis du vil gjøre mer
  74 avanserte søk.  SQLite-filen med Doffin-oppføringer kan lastes med fra
  75 Scraperwiki for de som vil grave dypere.</p>
  76 </div>
  77
  78       <div class="tags">Tags: <a href="http://people.skolelinux.org/pere/blog/tags/norsk">norsk</a>, <a href="http://people.skolelinux.org/pere/blog/tags/nuug">nuug</a>, <a href="http://people.skolelinux.org/pere/blog/tags/offentlig innsyn">offentlig innsyn</a>.</div>
  79
  80
  81     </div>
  82
  83
  84
  85
  86     <div id="sidebar">
  87
  88
  89
  90 <h2>Archive</h2>
  91 <ul>
  92
  93 <li>2015
  94 <ul>
  95
  96 <li><a href="http://people.skolelinux.org/pere/blog/archive/2015/01/">January (7)</a></li>
  97
  98 <li><a href="http://people.skolelinux.org/pere/blog/archive/2015/02/">February (4)</a></li>
  99
 100 </ul></li>
 101
 102 <li>2014
 103 <ul>
 104
 105 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/01/">January (2)</a></li>
 106
 107 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/02/">February (3)</a></li>
 108
 109 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/03/">March (8)</a></li>
 110
 111 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/04/">April (7)</a></li>
 112
 113 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/05/">May (1)</a></li>
 114
 115 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/06/">June (2)</a></li>
 116
 117 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/07/">July (2)</a></li>
 118
 119 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/08/">August (2)</a></li>
 120
 121 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/09/">September (5)</a></li>
 122
 123 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/10/">October (6)</a></li>
 124
 125 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/11/">November (3)</a></li>
 126
 127 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/12/">December (5)</a></li>
 128
 129 </ul></li>
 130
 131 <li>2013
 132 <ul>
 133
 134 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/01/">January (11)</a></li>
 135
 136 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/02/">February (9)</a></li>
 137
 138 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/03/">March (9)</a></li>
 139
 140 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/04/">April (6)</a></li>
 141
 142 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/05/">May (9)</a></li>
 143
 144 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/06/">June (10)</a></li>
 145
 146 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/07/">July (7)</a></li>
 147
 148 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/08/">August (3)</a></li>
 149
 150 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/09/">September (5)</a></li>
 151
 152 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/10/">October (7)</a></li>
 153
 154 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/11/">November (9)</a></li>
 155
 156 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/12/">December (3)</a></li>
 157
 158 </ul></li>
 159
 160 <li>2012
 161 <ul>
 162
 163 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/01/">January (7)</a></li>
 164
 165 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/02/">February (10)</a></li>
 166
 167 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/03/">March (17)</a></li>
 168
 169 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/04/">April (12)</a></li>
 170
 171 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/05/">May (12)</a></li>
 172
 173 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/06/">June (20)</a></li>
 174
 175 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/07/">July (17)</a></li>
 176
 177 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/08/">August (6)</a></li>
 178
 179 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/09/">September (9)</a></li>
 180
 181 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/10/">October (17)</a></li>
 182
 183 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/11/">November (10)</a></li>
 184
 185 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/12/">December (7)</a></li>
 186
 187 </ul></li>
 188
 189 <li>2011
 190 <ul>
 191
 192 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/01/">January (16)</a></li>
 193
 194 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/02/">February (6)</a></li>
 195
 196 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/03/">March (6)</a></li>
 197
 198 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/04/">April (7)</a></li>
 199
 200 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/05/">May (3)</a></li>
 201
 202 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/06/">June (2)</a></li>
 203
 204 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/07/">July (7)</a></li>
 205
 206 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/08/">August (6)</a></li>
 207
 208 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/09/">September (4)</a></li>
 209
 210 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/10/">October (2)</a></li>
 211
 212 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/11/">November (3)</a></li>
 213
 214 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/12/">December (1)</a></li>
 215
 216 </ul></li>
 217
 218 <li>2010
 219 <ul>
 220
 221 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/01/">January (2)</a></li>
 222
 223 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/02/">February (1)</a></li>
 224
 225 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/03/">March (3)</a></li>
 226
 227 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/04/">April (3)</a></li>
 228
 229 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/05/">May (9)</a></li>
 230
 231 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/06/">June (14)</a></li>
 232
 233 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/07/">July (12)</a></li>
 234
 235 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/08/">August (13)</a></li>
 236
 237 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/09/">September (7)</a></li>
 238
 239 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/10/">October (9)</a></li>
 240
 241 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/11/">November (13)</a></li>
 242
 243 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/12/">December (12)</a></li>
 244
 245 </ul></li>
 246
 247 <li>2009
 248 <ul>
 249
 250 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/01/">January (8)</a></li>
 251
 252 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/02/">February (8)</a></li>
 253
 254 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/03/">March (12)</a></li>
 255
 256 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/04/">April (10)</a></li>
 257
 258 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/05/">May (9)</a></li>
 259
 260 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/06/">June (3)</a></li>
 261
 262 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/07/">July (4)</a></li>
 263
 264 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/08/">August (3)</a></li>
 265
 266 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/09/">September (1)</a></li>
 267
 268 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/10/">October (2)</a></li>
 269
 270 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/11/">November (3)</a></li>
 271
 272 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/12/">December (3)</a></li>
 273
 274 </ul></li>
 275
 276 <li>2008
 277 <ul>
 278
 279 <li><a href="http://people.skolelinux.org/pere/blog/archive/2008/11/">November (5)</a></li>
 280
 281 <li><a href="http://people.skolelinux.org/pere/blog/archive/2008/12/">December (7)</a></li>
 282
 283 </ul></li>
 284
 285 </ul>
 286
 287
 288
 289 <h2>Tags</h2>
 290 <ul>
 291
 292  <li><a href="http://people.skolelinux.org/pere/blog/tags/3d-printer">3d-printer (13)</a></li>
 293
 294  <li><a href="http://people.skolelinux.org/pere/blog/tags/amiga">amiga (1)</a></li>
 295
 296  <li><a href="http://people.skolelinux.org/pere/blog/tags/aros">aros (1)</a></li>
 297
 298  <li><a href="http://people.skolelinux.org/pere/blog/tags/bankid">bankid (4)</a></li>
 299
 300  <li><a href="http://people.skolelinux.org/pere/blog/tags/bitcoin">bitcoin (8)</a></li>
 301
 302  <li><a href="http://people.skolelinux.org/pere/blog/tags/bootsystem">bootsystem (15)</a></li>
 303
 304  <li><a href="http://people.skolelinux.org/pere/blog/tags/bsa">bsa (2)</a></li>
 305
 306  <li><a href="http://people.skolelinux.org/pere/blog/tags/chrpath">chrpath (2)</a></li>
 307
 308  <li><a href="http://people.skolelinux.org/pere/blog/tags/debian">debian (109)</a></li>
 309
 310  <li><a href="http://people.skolelinux.org/pere/blog/tags/debian edu">debian edu (151)</a></li>
 311
 312  <li><a href="http://people.skolelinux.org/pere/blog/tags/digistan">digistan (10)</a></li>
 313
 314  <li><a href="http://people.skolelinux.org/pere/blog/tags/dld">dld (15)</a></li>
 315
 316  <li><a href="http://people.skolelinux.org/pere/blog/tags/docbook">docbook (12)</a></li>
 317
 318  <li><a href="http://people.skolelinux.org/pere/blog/tags/drivstoffpriser">drivstoffpriser (4)</a></li>
 319
 320  <li><a href="http://people.skolelinux.org/pere/blog/tags/english">english (268)</a></li>
 321
 322  <li><a href="http://people.skolelinux.org/pere/blog/tags/fiksgatami">fiksgatami (22)</a></li>
 323
 324  <li><a href="http://people.skolelinux.org/pere/blog/tags/fildeling">fildeling (12)</a></li>
 325
 326  <li><a href="http://people.skolelinux.org/pere/blog/tags/freeculture">freeculture (14)</a></li>
 327
 328  <li><a href="http://people.skolelinux.org/pere/blog/tags/freedombox">freedombox (9)</a></li>
 329
 330  <li><a href="http://people.skolelinux.org/pere/blog/tags/frikanalen">frikanalen (12)</a></li>
 331
 332  <li><a href="http://people.skolelinux.org/pere/blog/tags/intervju">intervju (41)</a></li>
 333
 334  <li><a href="http://people.skolelinux.org/pere/blog/tags/isenkram">isenkram (10)</a></li>
 335
 336  <li><a href="http://people.skolelinux.org/pere/blog/tags/kart">kart (19)</a></li>
 337
 338  <li><a href="http://people.skolelinux.org/pere/blog/tags/ldap">ldap (9)</a></li>
 339
 340  <li><a href="http://people.skolelinux.org/pere/blog/tags/lenker">lenker (8)</a></li>
 341
 342  <li><a href="http://people.skolelinux.org/pere/blog/tags/lsdvd">lsdvd (2)</a></li>
 343
 344  <li><a href="http://people.skolelinux.org/pere/blog/tags/ltsp">ltsp (1)</a></li>
 345
 346  <li><a href="http://people.skolelinux.org/pere/blog/tags/mesh network">mesh network (8)</a></li>
 347
 348  <li><a href="http://people.skolelinux.org/pere/blog/tags/multimedia">multimedia (32)</a></li>
 349
 350  <li><a href="http://people.skolelinux.org/pere/blog/tags/norsk">norsk (260)</a></li>
 351
 352  <li><a href="http://people.skolelinux.org/pere/blog/tags/nuug">nuug (172)</a></li>
 353
 354  <li><a href="http://people.skolelinux.org/pere/blog/tags/offentlig innsyn">offentlig innsyn (15)</a></li>
 355
 356  <li><a href="http://people.skolelinux.org/pere/blog/tags/open311">open311 (2)</a></li>
 357
 358  <li><a href="http://people.skolelinux.org/pere/blog/tags/opphavsrett">opphavsrett (51)</a></li>
 359
 360  <li><a href="http://people.skolelinux.org/pere/blog/tags/personvern">personvern (82)</a></li>
 361
 362  <li><a href="http://people.skolelinux.org/pere/blog/tags/raid">raid (1)</a></li>
 363
 364  <li><a href="http://people.skolelinux.org/pere/blog/tags/reactos">reactos (1)</a></li>
 365
 366  <li><a href="http://people.skolelinux.org/pere/blog/tags/reprap">reprap (11)</a></li>
 367
 368  <li><a href="http://people.skolelinux.org/pere/blog/tags/rfid">rfid (3)</a></li>
 369
 370  <li><a href="http://people.skolelinux.org/pere/blog/tags/robot">robot (9)</a></li>
 371
 372  <li><a href="http://people.skolelinux.org/pere/blog/tags/rss">rss (1)</a></li>
 373
 374  <li><a href="http://people.skolelinux.org/pere/blog/tags/ruter">ruter (4)</a></li>
 375
 376  <li><a href="http://people.skolelinux.org/pere/blog/tags/scraperwiki">scraperwiki (2)</a></li>
 377
 378  <li><a href="http://people.skolelinux.org/pere/blog/tags/sikkerhet">sikkerhet (41)</a></li>
 379
 380  <li><a href="http://people.skolelinux.org/pere/blog/tags/sitesummary">sitesummary (4)</a></li>
 381
 382  <li><a href="http://people.skolelinux.org/pere/blog/tags/skepsis">skepsis (4)</a></li>
 383
 384  <li><a href="http://people.skolelinux.org/pere/blog/tags/standard">standard (46)</a></li>
 385
 386  <li><a href="http://people.skolelinux.org/pere/blog/tags/stavekontroll">stavekontroll (3)</a></li>
 387
 388  <li><a href="http://people.skolelinux.org/pere/blog/tags/stortinget">stortinget (9)</a></li>
 389
 390  <li><a href="http://people.skolelinux.org/pere/blog/tags/surveillance">surveillance (29)</a></li>
 391
 392  <li><a href="http://people.skolelinux.org/pere/blog/tags/sysadmin">sysadmin (2)</a></li>
 393
 394  <li><a href="http://people.skolelinux.org/pere/blog/tags/usenix">usenix (2)</a></li>
 395
 396  <li><a href="http://people.skolelinux.org/pere/blog/tags/valg">valg (8)</a></li>
 397
 398  <li><a href="http://people.skolelinux.org/pere/blog/tags/video">video (48)</a></li>
 399
 400  <li><a href="http://people.skolelinux.org/pere/blog/tags/vitenskap">vitenskap (4)</a></li>
 401
 402  <li><a href="http://people.skolelinux.org/pere/blog/tags/web">web (35)</a></li>
 403
 404 </ul>
 405
 406
 407     </div>
 408     <p style="text-align: right">
 409  Created by <a href="http://steve.org.uk/Software/chronicle">Chronicle v4.6</a>
 410 </p>
 411
 412   </body>
 413 </html>