Petter Reinholdtsen

For et halvt år siden satte jeg opp et system for å lage en database med informasjon om offentlige anbud fra Doffin ved hjelp av Scraperwiki. Nå er databasen så vidt jeg kan se komplett, med data helt tilbake til 2008. Her er litt statistikk over antall anbud publisert hver måned:

Her er tilsvarende tall per år, som viser en liten nedgang i antall anbud:

Jeg droppet den ufullstendige måneden og året fra tabellen. Se lenken for oppdaterte tall.

Ett oppslag i danske versjon2.dk med tittelen "Kommuner trætte af Microsofts licens-politi: Koster skatteborgerne millioner til advokater" forteller at

Det kan være en hård kamp, hvis man får besøg af Microsofts licens-politi fra KPMG. Flere kommuner har brugt halve og hele år og mange skattepenge på de juridiske slagsmål.

Mon tro hvordan de norske kommunene og andre offentlige etater opplever dette? I følge NRK måtte Helse Nord i 2008 betale 40 millioner ekstra etter lisensrevisjon. Det har også vært andre historier, uten at jeg rakk spore opp referanser i kveld. Her tror jeg det er mang en interessant historie å fortelle.

Et av grunnlagene for FiksGataMi er at det offentlige er underlagt forvaltningsloven og må følge god forvaltningsskikk, hvilket for FiksGataMi betyr at de må ta imot henvendelser fra innbyggerne og svare på dem innen 30 dager eller sende den videre og orientere innbyggeren om dette hvis de mener henvendelsen er feilsendt. Det har vist seg at dette er ukjent for endel offentlige etater, og det var derfor interessant å se en artikkel i Bladet Vesterålen om at Lødingen kommune tiltrekker seg oppmerksomheten fra sivilombudsmannen for å ha nektet å svare på en skriftlig henvendelse (epost) fra en innbygger. Ikke bare det, kommunen har latt være å journalføre henvendelsen.

Slo opp saken i postjournalen til Sivilombudsmannen, og den har fått saksnummer 2012/1638 der. Så langt er det journalført fem brev i saken hos Sivilombudsmannen (dokumentdato, inn/ut, dokumenttittel og journal-ID):

Det blir interessant å følge denne saken videre. Jeg har ikke rukket be om innsyn, men regner med at jeg tar opp tråden når den nærmer seg en konklusjon. Jeg håper konklusjonen blir at kommunen også må svare på henvendelser fra folk de ikke ønsker å ha kontakt med.

I forbindelse med NUUG-prosjektet for å lage en samlet postjournal, har jeg som tidligere nevnt samlet inn leveringstidspunkt for de ulike leverandørene av postjournaler til DIFIs Offentlig Elektronisk Postjournal. Leveringsfrekvensen ser i dag slik ut for de som har brukt mer enn 10 dager i snitt siden jeg startet innsamling av leveringsdato 2012-05-14

Basert på innsamlet leveringsfrekvens har jeg så sendt spørsmål til den offisielle epostadressen til de som har lavest leveringsfrekvens, og spurt dem hva som skjer. Her er svarene jeg har fått så langt, som et knippe forklaringer til hvorfor det kan gå lang tid før offentlige postjournaler blir tilgjengelig for innbyggerne og pressen.

Norges geologiske undersøkelse

Subject: Hvor ofte leverer Norges geologiske undersøkelse til Offentlig Elektronisk postjournal?
Date: Fri, 08 Jun 2012 09:20:57 +0200

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg det er lenge siden NGU leverte postjournalen sin sist. Hvor ofte pleier NGU å levere til Offentlig Eletronisk Postjournal? Er dere fornøyd med dagens leveringfrekvens?

---

Subject: SV: Hvor ofte leverer Norges geologiske undersøkelse til Offentlig Elektronisk postjournal?
Date: Fri, 8 Jun 2012 12:49:35 +0200

Hei

NGUS fravær på OEP skyldes problemer vi har i forbindelse med oppgradering til ny versjon i vårt arkivsystem. Det jobbes med saken og jeg tror og håper at det snart skal være i orden. Normalt leverer vi til OEP 1 gang i uken.

Medietilsynet

Subject: Hvor ofte leverer Medietilsynet til Offentlig Elektronisk postjournal?
Date: Mon, 11 Jun 2012 13:29:23 +0200

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg det er lenge siden Medietilsynet leverte postjournalen sin sist. Hvor ofte pleier Medietilsynet å levere til Offentlig Eletronisk Postjournal? Er dere fornøyd med dagens leveringfrekvens?

---

Subject: SV: Hvor ofte leverer Medietilsynet til Offentlig Elektronisk postjournal?
Date: Tue, 12 Jun 2012 04:55:42 +0000

Hei!

Medietilsynet leverer normalt postlister en gang i uka. Nå har vi tekniske problemer, derfor er vi forsinket. Vi regner med å levere i løpet av denne uken. Ellers er vi fornøyd med dagens leveringsfrekvens.

Kunnskapsdepartementet

Subject: Hvor ofte leverer Kunnskapsdepartementet til Offentlig Elektronisk Postjournal?
Date: Fri, 22 Jun 2012 21:03:01 +0200

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg at Kunnskapsdepartementet har levert postjournalen sin to ganger siden 2012-05-10, og sist 2012-05-16. Hvor ofte pleier Kunnskapsdepartementet å levere til Offentlig Eletronisk Postjournal? Er dere fornøyd med dagens leveringfrekvens?

---

Subject: Re: Hvor ofte leverer Kunnskapsdepartementet til Offentlig Elektronisk Postjournal?
Date: Wed, 27 Jun 2012 14:42:23 +0200

Hei. Kom denne eposten frem? Har ikke sett noe svar, og andre institusjoner jeg har spurt om tilsvarende har svart i løpet av under en dag på tilsvarende spørsmål, så jeg begynner å lurer på om meldingen gikk tapt.

[... kopi av opprinnelig epost ...]

---

Subject: Re: VS: Hvor ofte leverer Kunnskapsdepartementet til Offentlig Elektronisk Postjournal?
Date: Wed, 27 Jun 2012 14:33:20 +0000

Hei!

Normalt leverer vi hver virkedag til OEP, med fem virkedagers forsinkelse. Kunnskapsdepartementet har imidlertid ikke kunnet levere OEP pga innføringen av nytt saksbehandlingssystem 7. Mai. Den etterfølgende streiken medførte så et større etterslep på journalføring som har gjort at vi har måttet prioritere dette fremfor offentlig journal. Dette arbeidet har av flere sammenfallende årsaker tatt noe tid. Vi håper imidlertid på at vi kan begynne å publisere offentlig journal igjen i løpet av denne uken, senest neste uke. Vi gjenopptar da vår vanlige publiseringsfrekvens i tillegg til å få på plass de manglende journalene.

Norsk Akkreditering

Subject: Hvor ofte leverer Norsk Akkreditering til Offentlig Elektronisk postjournal?
Date: Thu, 28 Jun 2012 07:35:43 +0200

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg det går lenge hver gang Norsk Akkreditering leverer postjournalen sin. Hvor ofte pleier Norsk Akkreditering å levere til Offentlig Eletronisk Postjournal? Er dere fornøyd med dagens leveringfrekvens?

---

Subject: SV: Hvor ofte leverer Norsk Akkreditering til Offentlig Elektronisk postjournal?
Date: Mon, 2 Jul 2012 08:32:06 +0200

Hei,

Norsk Akkreditering har som ambisjon å levere til OEP 2 ganger i uken. Pga sykdom har dette vært vanskelig å gjennomføre i juni.

Toll- og avgiftsdirektoratet

Date: Tue, 03 Jul 2012 11:55:07 +0200
Subject: Hvor ofte leverer Toll- og avgiftsdirektoratet til Offentlig Elektronisk postjournal?

Hei. Jeg har et lite spørsmål til dere. Fra statistikken til Offentlig Eletronisk Postjournal (OEP) ser jeg det går lenge hver gang Toll- og avgiftsdirektoratet leverer postjournalen sin til OEP, og at siste levering var 2012-06-06. Hvor ofte pleier Toll- og avgiftsdirektoratet å levere til OEP? Er dere fornøyd med dagens leveringfrekvens?

---

Date: Wed, 4 Jul 2012 09:33:18 +0000
Subject: SV: Hvor ofte leverer Toll- og avgiftsdirektoratet til Offentlig Elektronisk postjournal?

Til: Petter Reinholdtsen

Det vises til din e-post av 3. juli 2012.

Våre rutiner tilsier at vår journal skal publiseres en gang pr. uke (hver torsdag). Vi søker så langt det er mulig å få dette til og har stort sett publisert iht rutinene siden vi kom opp på OEP.

Pga ekstraordinære forhold ved vårt arkiv har vi i de siste ukene ikke hatt kapasitet til å opprettholde den publiseringsfrekvensen vi har fastsatt. Det er et begrenset antall medarbeidere som kan og skal kunne publisere våre journaler. Vi håper imidlertid at dette raskt vil bedres og vi er tilbake til den frekvens vi har satt oss som mål å ha.

Vi beklager hvis dette har skapt vanskeligheter.

Like etter at jeg fikk svar ble OEP oppdatert med postjournaler fra alle disse etatene. Antagelig tilfeldig, men jeg ser ikke bort fra at det kan ha virket motiverende for å få på plass leveringen at de ser at det er interesse for leveringen til OEP.

Den norske offentlighetsloven er ganske bra, og inneholder rettigheter som sikrer at borgerne (og journalister) i stor grad kan holde øye med hva fellesskapets representanter i det offentlige holder på med. En kan be om kopi av alle dokumenter som finnes i offentlige etater, kommuner, departementer etc, og det kreves en konkret lovhjemmel for å nekte å levere ut en kopi. Men for å vite hva en skal be om, må en vite hva som finnes, og det er der de offentlige postjournalene kommer inn. Alle underlagt offentlighetsloven, som er alle offentlige kontorer samt selskaper som er kontrollert av det offentlige, er pliktig å føre postjournal og utlevere den på forespørsel. Underlig nok forteller Uninett AS meg at de som aksjeselskap ikke er underlagt krav om å publisere postjournalen på web når jeg spurte hvor postjournalen kan finnes, så det virker å være et hull i denne plikten hvis målet er at innbyggerne skal ha enkel mulighet til å kontrollere våre representanter. Men de må føre journal og utlevere den på forespørsel.

Men tema for denne bloggposten er hvordan en får tak i de offentlige postjournaler som finnes, og her er det mye som kunne vært bedre. Det finnes en felles portal for postjournaler til alle departementer, nasjonale direktorater, fylkesmenn etc (ca. 100 kilder), men for alle kommuner, fylkeskommuner, helseregioner, universiteter og høgskoler, offentlig styret stiftelser og selskaper, må en innom hver enkelt organisasjons nettsider og se etter postjournalen. Noen har laget fine søketjenester, andre har laget dårlige søketjenester. De fleste har kun lagt ut datobaserte lister over journaloppføringer, av og til HTML-basert, men ofte PDF-basert. Noen har kun innskannede bilder av dokumenter (f.eks i PDF-innpakning). Alt dette gjør det veldig vanskelig å holde et øye med det som skjer over hele Norge. En er nødt til å besøke flere hundre nettsteder, og lese mange tusen sider hver dag for å holde rede på hva som skjer, og resultatet er at det i stor grad ikke skjer.

Men datakildene ligger der, de er bare knot å bruke. En naturlig løsning på det problemet som det er utrolig og trist at presse-Norge ikke allerede har gjennomført, er å lage automatiske systemer for å samle inn og strukturere den tilgjengelige informasjonen og lage en innbygger og journalist-vennlig portal. I en slik portal bør en kunne søke etter nøkkelord, saker og andre egenskaper (f.eks. dokumenter som det tok lang tid å journalføre). Når informasjonen er samlet inn kan en analysere og finne ut hvilke organisasjoner som er trege til å publisere journalen sin, og hvilke som er mer flinke. En kan også koble saker på tvers av organisasjoner, når et brev i en sak sendes mellom organisasjonene, og dermed få en mer komplett oversikt over hva som blir gjort på vegne av oss alle i det offentlige. Det hadde vært morsomt å vite om alle brev som blir sendt mellom departementer eller kommuner blir journalført begge steder, og om det hender at sender og mottaker er uenige om et dokument kan unndras offentligheten. En slipper også å måtte forholde seg til når den journalførende enhet velger å fjerne journalen fra web. Her er praksis sprikende, og noen er flinke og har journalen liggende ute fra første dag publiseringen på web startet, mens andre fjerner den etter noen få dager.

Det er personvernutfordringer rundt tilgjengeliggjøring av postjournaler, da den offentlige informasjonen som er tilgjengelig i postjournalene kan gi ganske mye informasjon om enkeltpersoners kontakt med det offentlige Norge. En kan se når det bygges, søkes, klages og sertifiseres, blant mange andre aktiviteter en tvinges til å kontakte det offentlige Norge for å få gjort. Men det må veies opp mot behovet til å holde "makta" i Norge under oppsikt, og der må jeg innrømme at jeg tror behovet i Norge er enormt.

Uansett, dette er bakgrunnen for at vi i NUUG-regi har startet et prosjekt for å gjøre postjournalene tilgjengelig som åpne data på strukturert format, og bidra til at pressen og innbyggerne får en portal som gjør det mulig å bruke den innsynsmakten offentlighetsloven gir oss. Hvis du er interessert i å bidra, stikk innom IRC (#nuug på irc.freenode.net) og meld deg. :) Det innebærer å lage skrapere for flere hundre kilder. Noen er enkle og tar 10-20 minutter (hvis de f.eks. bruker ePhortes PDF-eksport), mens andre tar mer tid. Her trengs det programører. :)

PS: Hvis du vil lære litt mer om hva vi har mulighet til å få innsyn i hos det offentlige Norge, ta en titt på offentlighet.no, et samarbeidsprosjekt mellom Norsk Presseforbund, Norsk Redaktørforening, Norsk Journalistlag og Institutt for Journalistikk.

Doffin er det offentlige Norges portal for annonsering av anbudsutlysninger. Nettstedet er mye brukt, men rådataene er ikke enkelt tilgjengelig for almenheten. For å bøte på det har jeg som et NUUG-prosjekt laget en Scraperwiki-skraper som lager en SQL-database med nøkkelinformasjonen fra Doffin, slik at det er mulig å søke og analysere Doffin-oppføringene. Det publiseres mellom 900-1500 anbud hver måned via Doffin. Jeg har ingen konkrete planer for analyse, men håper enklere tilgjengelighet gjør at flere griper sjansen. På sikt håper jeg å bruke denne databasen som grunnlag for å lage en database over anbudsdokumenter, som i dag ikke er tilgjengelig fra doffin, men må bestilles fra hver enkelt utlyser.

Jeg var litt usikker på om det var rettighetsproblemer knyttet til skraping av informasjon fra Doffin, men ser i vilkårene til Doffin følgende:

Opphavsrett mv

Ved innleggig av kunngjøringer på Doffin aksepterer Oppdragsgiver at opphavsrett og andre rettigheter til materialet overføres til Fornyings- og administrasjonsdepartementet, eller den departementet utnevner. Oppdragsgiver har imidlertid bruksrett til materialet, og kan benytte det til de formål de måtte ønske.

Hvis informasjonen er vernet av opphavsrettsloven (hvilket jeg tviler på, gitt lovens begrensninger om informasjon fra det offentlige), så er det FAD som har de immaterielle rettighetene. FAD er en del av staten, som opererer på vegne av folket, og enhver borger skulle dermed ha rett til å videreformidle informasjonen. Ingen av offentlighetslovens unntak kommer til anvendelse, i og med at informasjonen allerede er publisert.

De siste månedene har jeg sammen med andre i NUUG jobbet med å gjøre det enklere å få innsyn i offentlige dokumenter, og dette inkluderer å gjøre postjournaler enklere tilgjengelig for maskinell analyse og søk. I den forbindelse tok jeg i dag å tittet litt på Offentlig Elektronisk Postjournal (OEP), FAD/DIFIs fellesløsning for departementer og statlige etater.

Her er antall oppføringer pr. måned det siste året, summert opp ved hjelp av en Scraperwiki-database. Merk at denne Scraperwikien har ytelsesproblemer pga. mengden data.

Det er også interessant å se hvor ofte ulike etater sender inn sine journaloppføringer til OEP. OEP inneholder en liste med sist innrapporteringsdato for alle som sender til OEP, og ved å se når og hvor ofte det blir sendt inn fra etatene kan frekvensen beregnes. Her er bunnlista, dvs. de som leverer sjeldnere enn hver 10. dag beregnet fra en Scraperwiki-database:

En kan beregne lignende frekvenser ved å sammenligne journalføringsdato med publiseringsdato for hver enkelt oppføring i OEP, men den lenken legger jeg ikke ved her for å unngå at søkemotorroboter begynner å overbelaste Scraperwiki-databasen.

Jeg har spurt Norges geologiske undersøkelse om hvorfor de leverer så sjelden, og det kommer av at de har problemer etter oppgradering av arkivsystemet sitt og jobber med å fikse det slik at de kan gå tilbake til å levere hver uke. Har ikke undersøkt noen av de andre.