blog/RSS_kilde_for_friteksts_k_i_offentlige_anbud_hos_Doffin.html

   1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
   2           "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
   3 <html xmlns="http://www.w3.org/1999/xhtml" dir="ltr">
   4   <head>
   5     <meta http-equiv="Content-Type" content="text/html;charset=utf-8" />
   6     <title>Petter Reinholdtsen: RSS-kilde for fritekstsøk i offentlige anbud hos Doffin</title>
   7     <link rel="stylesheet" type="text/css" media="screen" href="http://people.skolelinux.org/pere/blog/style.css" />
   8     <link rel="stylesheet" type="text/css" media="screen" href="http://people.skolelinux.org/pere/blog/vim.css" />
   9
  10
  11   </head>
  12   <body>
  13     <div class="title">
  14  <h1>
  15      <a href="http://people.skolelinux.org/pere/blog/">Petter Reinholdtsen</a>
  16
  17  </h1>
  18
  19 </div>
  20
  21
  22     <div class="entry">
  23       <div class="title">RSS-kilde for fritekstsøk i offentlige anbud hos Doffin</div>
  24       <div class="date">22nd November 2013</div>
  25       <div class="body"><p>I fjor sommer lagde jeg en
  26 <a href="http://people.skolelinux.org/pere/blog/SQL_database_med_anbud_publisert_p__Doffin.html">offentlig
  27 tilgjengelig SQL-database over offentlig anbud</a> basert på skraping
  28 av HTML-data fra Doffin.  Den har stått og gått siden da, og har nå
  29 ca. 28000 oppføringer.  Jeg oppdaget da jeg tittet innom at noen
  30 oppføringer var ikke blitt med, antagelig på grunn av at de fikk
  31 tildelt sekvensnummer i Doffin en godt stund før de ble publisert,
  32 slik at min nettsideskraper som fortsatte skrapingen der den slapp
  33 sist ikke fikk dem med seg.  Jeg har fikset litt slik at skraperen nå
  34 ser litt tilbake i tid for å se om den har gått glipp av noen
  35 oppføringer, og har skrapet på nytt fra midten av september 2013 og
  36 fremover.  Det bør dermed bli en mer komplett database for kommende
  37 måneder.  Hvis jeg får tid skal jeg forsøke å skrape "glemte" data fra
  38 før midten av september 2013, men tør ikke garantere at det blir
  39 prioritert med det første. </p>
  40
  41 <p>Men målet med denne bloggposten er å vise hvordan denne
  42 Doffin-databasen kan brukes og integreres med en RSS-leser, slik at en
  43 kan la datamaskinen holde et øye med Doffin-annonseringer etter
  44 nøkkelord.  En kan lage sitt eget søk ved å besøke
  45 <ahref="https://classic.scraperwiki.com/docs/api?name=norwegian-doffin#sqlite">API-et
  46 hos Scraperwiki</a>, velge format rss2 og så legge inn noe ala dette i
  47 "query in SQL":</p>
  48
  49 <p><pre>
  50 select title, scrapedurl as link, abstract as description,
  51        publishdate as pubDate from 'swdata'
  52    where abstract like '%linux%' or title like '%linux%'
  53    order by seq desc limit 20
  54 </pre></p>
  55
  56 <p>Dette vil søke opp alle anbud med ordet linux i oppsummering eller
  57 tittel.  En kan lage mer avanserte søk hvis en ønsker det.  URL-en som
  58 dukker opp nederst på siden kan en så gi til sin RSS-leser (jeg bruker
  59 akregator selv), og så automatisk få beskjed hvis det dukker opp anbud
  60 med det aktuelle nøkkelordet i teksten.  Merk at kapasiteten og
  61 ytelsen hos Scraperwiki er begrenset, så ikke be RSS-leseren hente ned
  62 oftere enn en gang hver dag.</p>
  63
  64 <p>Du lurer kanskje på hva slags informasjon en kan få ut fra denne
  65 databasen.  Her er to RSS-kilder, med søkeordet
  66 "<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25linux%25'%20or%20title%20like%20'%25linux%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">linux</a>",
  67 søkeordet
  68 "<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25fri%20programvare%25'%20or%20title%20like%20'%25fri%20programvare%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">fri
  69 programvare</a>"
  70 og søkeordet
  71 "<a href="https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=rss2&name=norwegian-doffin&query=select%20title%2C%20scrapedurl%20as%20link%2C%20abstract%20as%20description%2C%0A%20%20%20%20%20%20%20publishdate%20as%20pubDate%20from%20'swdata'%0A%20%20%20where%20abstract%20like%20'%25odf%25'%20or%20title%20like%20'%25odf%25'%0A%20%20%20order%20by%20seq%20desc%20limit%2020">odf</a>".
  72 Det er bare å søke på det en er interessert i.  Kopier gjerne
  73 datasettet og sett opp din egen tjeneste hvis du vil gjøre mer
  74 avanserte søk.  SQLite-filen med Doffin-oppføringer kan lastes med fra
  75 Scraperwiki for de som vil grave dypere.</p>
  76 </div>
  77
  78       <div class="tags">Tags: <a href="http://people.skolelinux.org/pere/blog/tags/norsk">norsk</a>, <a href="http://people.skolelinux.org/pere/blog/tags/nuug">nuug</a>, <a href="http://people.skolelinux.org/pere/blog/tags/offentlig innsyn">offentlig innsyn</a>.</div>
  79
  80
  81     </div>
  82
  83
  84
  85
  86     <div id="sidebar">
  87
  88
  89
  90 <h2>Archive</h2>
  91 <ul>
  92
  93 <li>2015
  94 <ul>
  95
  96 <li><a href="http://people.skolelinux.org/pere/blog/archive/2015/01/">January (7)</a></li>
  97
  98 <li><a href="http://people.skolelinux.org/pere/blog/archive/2015/02/">February (6)</a></li>
  99
 100 <li><a href="http://people.skolelinux.org/pere/blog/archive/2015/03/">March (1)</a></li>
 101
 102 <li><a href="http://people.skolelinux.org/pere/blog/archive/2015/04/">April (4)</a></li>
 103
 104 <li><a href="http://people.skolelinux.org/pere/blog/archive/2015/05/">May (3)</a></li>
 105
 106 <li><a href="http://people.skolelinux.org/pere/blog/archive/2015/06/">June (2)</a></li>
 107
 108 </ul></li>
 109
 110 <li>2014
 111 <ul>
 112
 113 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/01/">January (2)</a></li>
 114
 115 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/02/">February (3)</a></li>
 116
 117 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/03/">March (8)</a></li>
 118
 119 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/04/">April (7)</a></li>
 120
 121 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/05/">May (1)</a></li>
 122
 123 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/06/">June (2)</a></li>
 124
 125 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/07/">July (2)</a></li>
 126
 127 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/08/">August (2)</a></li>
 128
 129 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/09/">September (5)</a></li>
 130
 131 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/10/">October (6)</a></li>
 132
 133 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/11/">November (3)</a></li>
 134
 135 <li><a href="http://people.skolelinux.org/pere/blog/archive/2014/12/">December (5)</a></li>
 136
 137 </ul></li>
 138
 139 <li>2013
 140 <ul>
 141
 142 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/01/">January (11)</a></li>
 143
 144 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/02/">February (9)</a></li>
 145
 146 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/03/">March (9)</a></li>
 147
 148 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/04/">April (6)</a></li>
 149
 150 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/05/">May (9)</a></li>
 151
 152 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/06/">June (10)</a></li>
 153
 154 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/07/">July (7)</a></li>
 155
 156 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/08/">August (3)</a></li>
 157
 158 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/09/">September (5)</a></li>
 159
 160 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/10/">October (7)</a></li>
 161
 162 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/11/">November (9)</a></li>
 163
 164 <li><a href="http://people.skolelinux.org/pere/blog/archive/2013/12/">December (3)</a></li>
 165
 166 </ul></li>
 167
 168 <li>2012
 169 <ul>
 170
 171 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/01/">January (7)</a></li>
 172
 173 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/02/">February (10)</a></li>
 174
 175 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/03/">March (17)</a></li>
 176
 177 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/04/">April (12)</a></li>
 178
 179 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/05/">May (12)</a></li>
 180
 181 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/06/">June (20)</a></li>
 182
 183 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/07/">July (17)</a></li>
 184
 185 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/08/">August (6)</a></li>
 186
 187 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/09/">September (9)</a></li>
 188
 189 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/10/">October (17)</a></li>
 190
 191 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/11/">November (10)</a></li>
 192
 193 <li><a href="http://people.skolelinux.org/pere/blog/archive/2012/12/">December (7)</a></li>
 194
 195 </ul></li>
 196
 197 <li>2011
 198 <ul>
 199
 200 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/01/">January (16)</a></li>
 201
 202 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/02/">February (6)</a></li>
 203
 204 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/03/">March (6)</a></li>
 205
 206 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/04/">April (7)</a></li>
 207
 208 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/05/">May (3)</a></li>
 209
 210 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/06/">June (2)</a></li>
 211
 212 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/07/">July (7)</a></li>
 213
 214 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/08/">August (6)</a></li>
 215
 216 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/09/">September (4)</a></li>
 217
 218 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/10/">October (2)</a></li>
 219
 220 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/11/">November (3)</a></li>
 221
 222 <li><a href="http://people.skolelinux.org/pere/blog/archive/2011/12/">December (1)</a></li>
 223
 224 </ul></li>
 225
 226 <li>2010
 227 <ul>
 228
 229 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/01/">January (2)</a></li>
 230
 231 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/02/">February (1)</a></li>
 232
 233 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/03/">March (3)</a></li>
 234
 235 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/04/">April (3)</a></li>
 236
 237 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/05/">May (9)</a></li>
 238
 239 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/06/">June (14)</a></li>
 240
 241 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/07/">July (12)</a></li>
 242
 243 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/08/">August (13)</a></li>
 244
 245 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/09/">September (7)</a></li>
 246
 247 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/10/">October (9)</a></li>
 248
 249 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/11/">November (13)</a></li>
 250
 251 <li><a href="http://people.skolelinux.org/pere/blog/archive/2010/12/">December (12)</a></li>
 252
 253 </ul></li>
 254
 255 <li>2009
 256 <ul>
 257
 258 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/01/">January (8)</a></li>
 259
 260 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/02/">February (8)</a></li>
 261
 262 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/03/">March (12)</a></li>
 263
 264 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/04/">April (10)</a></li>
 265
 266 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/05/">May (9)</a></li>
 267
 268 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/06/">June (3)</a></li>
 269
 270 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/07/">July (4)</a></li>
 271
 272 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/08/">August (3)</a></li>
 273
 274 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/09/">September (1)</a></li>
 275
 276 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/10/">October (2)</a></li>
 277
 278 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/11/">November (3)</a></li>
 279
 280 <li><a href="http://people.skolelinux.org/pere/blog/archive/2009/12/">December (3)</a></li>
 281
 282 </ul></li>
 283
 284 <li>2008
 285 <ul>
 286
 287 <li><a href="http://people.skolelinux.org/pere/blog/archive/2008/11/">November (5)</a></li>
 288
 289 <li><a href="http://people.skolelinux.org/pere/blog/archive/2008/12/">December (7)</a></li>
 290
 291 </ul></li>
 292
 293 </ul>
 294
 295
 296
 297 <h2>Tags</h2>
 298 <ul>
 299
 300  <li><a href="http://people.skolelinux.org/pere/blog/tags/3d-printer">3d-printer (13)</a></li>
 301
 302  <li><a href="http://people.skolelinux.org/pere/blog/tags/amiga">amiga (1)</a></li>
 303
 304  <li><a href="http://people.skolelinux.org/pere/blog/tags/aros">aros (1)</a></li>
 305
 306  <li><a href="http://people.skolelinux.org/pere/blog/tags/bankid">bankid (4)</a></li>
 307
 308  <li><a href="http://people.skolelinux.org/pere/blog/tags/bitcoin">bitcoin (8)</a></li>
 309
 310  <li><a href="http://people.skolelinux.org/pere/blog/tags/bootsystem">bootsystem (15)</a></li>
 311
 312  <li><a href="http://people.skolelinux.org/pere/blog/tags/bsa">bsa (2)</a></li>
 313
 314  <li><a href="http://people.skolelinux.org/pere/blog/tags/chrpath">chrpath (2)</a></li>
 315
 316  <li><a href="http://people.skolelinux.org/pere/blog/tags/debian">debian (109)</a></li>
 317
 318  <li><a href="http://people.skolelinux.org/pere/blog/tags/debian edu">debian edu (153)</a></li>
 319
 320  <li><a href="http://people.skolelinux.org/pere/blog/tags/digistan">digistan (10)</a></li>
 321
 322  <li><a href="http://people.skolelinux.org/pere/blog/tags/dld">dld (15)</a></li>
 323
 324  <li><a href="http://people.skolelinux.org/pere/blog/tags/docbook">docbook (13)</a></li>
 325
 326  <li><a href="http://people.skolelinux.org/pere/blog/tags/drivstoffpriser">drivstoffpriser (4)</a></li>
 327
 328  <li><a href="http://people.skolelinux.org/pere/blog/tags/english">english (278)</a></li>
 329
 330  <li><a href="http://people.skolelinux.org/pere/blog/tags/fiksgatami">fiksgatami (23)</a></li>
 331
 332  <li><a href="http://people.skolelinux.org/pere/blog/tags/fildeling">fildeling (12)</a></li>
 333
 334  <li><a href="http://people.skolelinux.org/pere/blog/tags/freeculture">freeculture (15)</a></li>
 335
 336  <li><a href="http://people.skolelinux.org/pere/blog/tags/freedombox">freedombox (9)</a></li>
 337
 338  <li><a href="http://people.skolelinux.org/pere/blog/tags/frikanalen">frikanalen (15)</a></li>
 339
 340  <li><a href="http://people.skolelinux.org/pere/blog/tags/intervju">intervju (42)</a></li>
 341
 342  <li><a href="http://people.skolelinux.org/pere/blog/tags/isenkram">isenkram (10)</a></li>
 343
 344  <li><a href="http://people.skolelinux.org/pere/blog/tags/kart">kart (19)</a></li>
 345
 346  <li><a href="http://people.skolelinux.org/pere/blog/tags/ldap">ldap (9)</a></li>
 347
 348  <li><a href="http://people.skolelinux.org/pere/blog/tags/lenker">lenker (8)</a></li>
 349
 350  <li><a href="http://people.skolelinux.org/pere/blog/tags/lsdvd">lsdvd (2)</a></li>
 351
 352  <li><a href="http://people.skolelinux.org/pere/blog/tags/ltsp">ltsp (1)</a></li>
 353
 354  <li><a href="http://people.skolelinux.org/pere/blog/tags/mesh network">mesh network (8)</a></li>
 355
 356  <li><a href="http://people.skolelinux.org/pere/blog/tags/multimedia">multimedia (34)</a></li>
 357
 358  <li><a href="http://people.skolelinux.org/pere/blog/tags/norsk">norsk (262)</a></li>
 359
 360  <li><a href="http://people.skolelinux.org/pere/blog/tags/nuug">nuug (176)</a></li>
 361
 362  <li><a href="http://people.skolelinux.org/pere/blog/tags/offentlig innsyn">offentlig innsyn (16)</a></li>
 363
 364  <li><a href="http://people.skolelinux.org/pere/blog/tags/open311">open311 (2)</a></li>
 365
 366  <li><a href="http://people.skolelinux.org/pere/blog/tags/opphavsrett">opphavsrett (52)</a></li>
 367
 368  <li><a href="http://people.skolelinux.org/pere/blog/tags/personvern">personvern (86)</a></li>
 369
 370  <li><a href="http://people.skolelinux.org/pere/blog/tags/raid">raid (1)</a></li>
 371
 372  <li><a href="http://people.skolelinux.org/pere/blog/tags/reactos">reactos (1)</a></li>
 373
 374  <li><a href="http://people.skolelinux.org/pere/blog/tags/reprap">reprap (11)</a></li>
 375
 376  <li><a href="http://people.skolelinux.org/pere/blog/tags/rfid">rfid (3)</a></li>
 377
 378  <li><a href="http://people.skolelinux.org/pere/blog/tags/robot">robot (9)</a></li>
 379
 380  <li><a href="http://people.skolelinux.org/pere/blog/tags/rss">rss (1)</a></li>
 381
 382  <li><a href="http://people.skolelinux.org/pere/blog/tags/ruter">ruter (4)</a></li>
 383
 384  <li><a href="http://people.skolelinux.org/pere/blog/tags/scraperwiki">scraperwiki (2)</a></li>
 385
 386  <li><a href="http://people.skolelinux.org/pere/blog/tags/sikkerhet">sikkerhet (41)</a></li>
 387
 388  <li><a href="http://people.skolelinux.org/pere/blog/tags/sitesummary">sitesummary (4)</a></li>
 389
 390  <li><a href="http://people.skolelinux.org/pere/blog/tags/skepsis">skepsis (4)</a></li>
 391
 392  <li><a href="http://people.skolelinux.org/pere/blog/tags/standard">standard (47)</a></li>
 393
 394  <li><a href="http://people.skolelinux.org/pere/blog/tags/stavekontroll">stavekontroll (3)</a></li>
 395
 396  <li><a href="http://people.skolelinux.org/pere/blog/tags/stortinget">stortinget (9)</a></li>
 397
 398  <li><a href="http://people.skolelinux.org/pere/blog/tags/surveillance">surveillance (33)</a></li>
 399
 400  <li><a href="http://people.skolelinux.org/pere/blog/tags/sysadmin">sysadmin (2)</a></li>
 401
 402  <li><a href="http://people.skolelinux.org/pere/blog/tags/usenix">usenix (2)</a></li>
 403
 404  <li><a href="http://people.skolelinux.org/pere/blog/tags/valg">valg (8)</a></li>
 405
 406  <li><a href="http://people.skolelinux.org/pere/blog/tags/video">video (52)</a></li>
 407
 408  <li><a href="http://people.skolelinux.org/pere/blog/tags/vitenskap">vitenskap (4)</a></li>
 409
 410  <li><a href="http://people.skolelinux.org/pere/blog/tags/web">web (36)</a></li>
 411
 412 </ul>
 413
 414
 415     </div>
 416     <p style="text-align: right">
 417  Created by <a href="http://steve.org.uk/Software/chronicle">Chronicle v4.6</a>
 418 </p>
 419
 420   </body>
 421 </html>