X-Git-Url: http://pere.pagekite.me/gitweb/homepage.git/blobdiff_plain/38a85b258d4968f3da052dcd67448c1a4c1f613d..33aa1c0600c2b3b8750c5daea87cdcd8625de166:/blog/index.html diff --git a/blog/index.html b/blog/index.html index fcd4728a4e..3ee1ee9f09 100644 --- a/blog/index.html +++ b/blog/index.html @@ -20,59 +20,50 @@
-
MIME type "text/vnd.sosi" for SOSI map data
-
20th May 2019
-

As part of my involvement in the work to -standardise -a REST based API for Noark 5, the Norwegian archiving standard, I -spent some time the last few months to try to register a -MIME type -and PRONOM -code for the SOSI file format. The background is that there is a -set of formats approved for long term storage and archiving in Norway, -and among these formats, SOSI is the only format missing a MIME type -and PRONOM code.

- -

What is SOSI, you might ask? To quote Wikipedia: SOSI is short for -Samordnet Opplegg for Stedfestet Informasjon (literally "Coordinated -Approach for Spatial Information", but more commonly expanded in -English to Systematic Organization of Spatial Information). It is a -text based file format for geo-spatial vector information used in -Norway. Information about the SOSI format can be found in English -from Wikipedia. The -specification is available in Norwegian from -the -Norwegian mapping authority. The SOSI standard, which originated -in the beginning of nineteen eighties, was the inspiration and formed the -basis for the XML based -Geography -Markup Language.

- -

I have so far written -a pattern matching -rule for the file(1) unix tool to recognize SOSI files, submitted -a request to the PRONOM project to have a PRONOM ID assigned to the -format (reference TNA1555078202S60), and today send a request to IANA -to register the "text/vnd.sosi" MIME type for this format (referanse -IANA -#1143144). If all goes well, in a few months, anyone implementing -the Noark 5 Tjenestegrensesnitt API spesification should be able to -use an official MIME type and PRONOM code for SOSI files. In -addition, anyone using SOSI files on Linux should be able to -automatically recognise the format and web sites handing out SOSI -files can begin providing a more specific MIME type. So far, SOSI -files has been handed out from web sites using the -"application/octet-stream" MIME type, which is just a nice way of -stating "I do not know". Soon, we will know. :)

+
Totalovervåkning av innbyggernes bevegelser - nei takk!
+
16th April 2020
+

Jeg er blitt spurt hva jeg synes om lansering av smittestopp-appen, +overvåkningsløsningen lansert av Folkehelseinstituttet, +Simula-senteret og Regjeringen i dag, fulgt av klare trusler fra +regjeringen om konsekvenser hvis befolkningen ikke tar den i bruk. +Rekker ikke skrive noe fyldig om temaet, men det er klart for meg at +den utraderer retten til privatliv samt utgjør en personlig +sikkerhetsrisiko for alle som tar den i bruk. Bare det er nok til at +det fremstår som en svert dårlig ide å bli med på denne "dugnaden". +Det finnes andre og bedre tilnærminger enn den valgt av FHI. Har de +valgt den for å sikre seg nok et datasett i den fremtidige +ehelse-portalen? Potensialet for misbruk av informasjon samlet inn av +appen er for stort, effekten på neste krise for klar og gevinsten for +liten.

+ +

For å si det med forhenværende leder i Datatilsynet, Georg Apenes, +som skrev i en kronikk den gang Datatilsynet vernet +privatsfæren at +«SENTRALT +I en liberal forestillingsverden finner vi aksept av borgerens rett +til å kunne velge å være i fred; å være u-iakttatt, uregistrert og +anonym». Det er ikke uten grunn han startet kronikken med +«Personvern et fremmedord i enkelte av de statsorganene som samler +inn, oppbevarer og bruker personopplysninger». Der har nok +statsorganene bare blitt dårligere på 13 år.

+ +

Det er jo også verdt å merke seg at personvernrådet i EU (EDPB) +mener smittestopp-appen +opererer +i strid med prinsippet om dataminimering. Også de ser at det +finnes mye bedre måter å gjøre dette på.

-

As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

+ +

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. +Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: english, kart, noark5, standard. + Tags: norsk, surveillance.
@@ -80,155 +71,31 @@ activities, please send Bitcoin donations to my address
-
PlantUML for text based UML diagram modelling - nice free software
-
25th March 2019
-

As part of my involvement with the -Nikita -Noark 5 core project, I have been proposing improvements to the -API specification created by The -National Archives of Norway and helped migrating the text from a -version control system unfriendly binary format (docx) to Markdown in -git. Combined with the migration to a public git repository (on -github), this has made it possible for anyone to suggest improvement -to the text.

- -

The specification is filled with UML diagrams. I believe the -original diagrams were modelled using Sparx Systems Enterprise -Architect, and exported as EMF files for import into docx. This -approach make it very hard to track changes using a version control -system. To improve the situation I have been looking for a good text -based UML format with associated command line free software tools on -Linux and Windows, to allow anyone to send in corrections to the UML -diagrams in the specification. The tool must be text based to work -with git, and command line to be able to run it automatically to -generate the diagram images. Finally, it must be free software to -allow anyone, even those that can not accept a non-free software -license, to contribute.

- -

I did not know much about free software UML modelling tools when I -started. I have used dia and inkscape for simple modelling in the -past, but neither are available on Windows, as far as I could tell. I -came across a nice -list -of text mode uml tools, and tested out a few of the tools listed -there. The PlantUML tool seemed -most promising. After verifying that the packages -is available in -Debian and found its -Java source under a GPL license on github, I set out to test if it -could represent the diagrams we needed, ie the ones currently in -the -Noark 5 Tjenestegrensesnitt specification. I am happy to report -that it could represent them, even thought it have a few warts here -and there.

- -

After a few days of modelling I completed the task this weekend. A -temporary link to the complete set of diagrams (original and from -PlantUML) is available in -the -github issue discussing the need for a text based UML format, but -please note I lack a sensible tool to convert EMF files to PNGs, so -the "original" rendering is not as good as the original was in the -publised PDF.

- -

Here is an example UML diagram, showing the core classes for -keeping metadata about archived documents:

- -
-@startuml
-skinparam classAttributeIconSize 0
-
-!include media/uml-class-arkivskaper.iuml
-!include media/uml-class-arkiv.iuml
-!include media/uml-class-klassifikasjonssystem.iuml
-!include media/uml-class-klasse.iuml
-!include media/uml-class-arkivdel.iuml
-!include media/uml-class-mappe.iuml
-!include media/uml-class-merknad.iuml
-!include media/uml-class-registrering.iuml
-!include media/uml-class-basisregistrering.iuml
-!include media/uml-class-dokumentbeskrivelse.iuml
-!include media/uml-class-dokumentobjekt.iuml
-!include media/uml-class-konvertering.iuml
-!include media/uml-datatype-elektronisksignatur.iuml
-
-Arkivstruktur.Arkivskaper "+arkivskaper 1..*" <-o "+arkiv 0..*" Arkivstruktur.Arkiv
-Arkivstruktur.Arkiv o--> "+underarkiv 0..*" Arkivstruktur.Arkiv
-Arkivstruktur.Arkiv "+arkiv 1" o--> "+arkivdel 0..*" Arkivstruktur.Arkivdel
-Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" <--o "+arkivdel 1..*" Arkivstruktur.Arkivdel
-Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" o--> "+klasse 0..*" Arkivstruktur.Klasse
-Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe
-Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
-Arkivstruktur.Klasse "+klasse 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe
-Arkivstruktur.Klasse "+klasse 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
-Arkivstruktur.Mappe --> "+undermappe 0..*" Arkivstruktur.Mappe
-Arkivstruktur.Mappe "+mappe 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
-Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Mappe
-Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Dokumentbeskrivelse
-Arkivstruktur.Basisregistrering -|> Arkivstruktur.Registrering
-Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Basisregistrering
-Arkivstruktur.Registrering "+registrering 1..*" o--> "+dokumentbeskrivelse 0..*" Arkivstruktur.Dokumentbeskrivelse
-Arkivstruktur.Dokumentbeskrivelse "+dokumentbeskrivelse 1" o-> "+dokumentobjekt 0..*" Arkivstruktur.Dokumentobjekt
-Arkivstruktur.Dokumentobjekt *-> "+konvertering 0..*" Arkivstruktur.Konvertering
-Arkivstruktur.ElektroniskSignatur -[hidden]-> Arkivstruktur.Dokumentobjekt
-@enduml
-
- -

The format is quite -compact, with little redundant information. The text expresses -entities and relations, and there is little layout related fluff. One -can reuse content by using include files, allowing for consistent -naming across several diagrams. The include files can be standalone -PlantUML too. Here is the content of -media/uml-class-arkivskaper.iuml:

- -
-@startuml
-class Arkivstruktur.Arkivskaper  {
-  +arkivskaperID : string
-  +arkivskaperNavn : string
-  +beskrivelse : string [0..1]
-}
-@enduml
-
- -

This is what the complete diagram for the PlantUML notation above -look like:

- -

- -

A cool feature of PlantUML is that the generated PNG files include -the entire original source diagram as text. The source (with include -statements expanded) can be extracted using for example -exiftool. Another cool feature is that parts of the entities -can be hidden after inclusion. This allow to use include files with -all attributes listed, even for UML diagrams that should not list any -attributes.

- -

The diagram also show some of the warts. Some times the layout -engine place text labels on top of each other, and some times it place -the class boxes too close to each other, not leaving room for the -labels on the relationship arrows. The former can be worked around by -placing extra newlines in the labes (ie "\n"). I did not do it here -to be able to demonstrate the issue. I have not found a good way -around the latter, so I normally try to reduce the problem by changing -from vertical to horizontal links to improve the layout.

- -

All in all, I am quite happy with PlantUML, and very impressed with -how quickly its lead developer responds to questions. So far I got an -answer to my questions in a few hours when I send an email. I -definitely recommend looking at PlantUML if you need to make UML -diagrams. Note, PlantUML can draw a lot more than class relations. -Check out the documention for a complete list. :)

+
Ny URL til den frie norske stavekontrollen
+
21st March 2020
+

Det er lenge siden jeg har sett på den norske stavekontrollen, sist +jeg skrev om temaet var i 2016, og i mellomtiden har nettstedet +no.speling.org forsvunnet, og både git-depotet på Alioth og +mailman-tjenesten som hadde epostlistene for oversettelser blitt lagt +ned. Men bokmål og nynorsk trenger fortsatt stavekontroll, så etter +et par purringer fra en som har lyst til å forbedre stavekontrollen +har jeg endelig fått lagt ut ny offentlig kopi av git-depotet. Jeg +valgte gitlab foran github.. Siste utgave av stavekontrollen kan +hentes ned fra +https://gitlab.com/norwegian-language-tools/spell-norwegian. +Ingen ny versjon i denne omgang altså, bare et nytt sted å samle +forbedringer til den frie norske stavekontrollen. :) -

As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

+

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. +Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: english, nice free software, noark5, nuug, standard. + Tags: norsk, stavekontroll.
@@ -236,39 +103,87 @@ activities, please send Bitcoin donations to my address
-
Release 0.3 of free software archive API system Nikita announced
-
24th March 2019
-

Yesterday, a new release of -Nikita -Noark 5 core project was -announced -on the project mailing list. The free software solution is an -implementation of the Norwegian archive standard Noark 5 used by -government offices in Norway. These were the changes in version 0.3 -since version 0.2.1 (from NEWS.md):

+
Nikita version 0.5 released - updated free software archive API server
+
2nd March 2020
+

Today, after many months of development, a new release of +Nikita +Noark 5 core project was finally +announced +on the project mailing list. The Nikita free software solution is +an implementation of the Norwegian archive standard Noark 5 used by +government offices in Norway. These were the changes in version 0.5 +since version 0.4, see the email link above for links to a demo +site:

    -
  • Improved ClassificationSystem and Class behaviour.
    • -
  • Tidied up known inconsistencies between domain model and hateaos links.
    • -
  • Added experimental code for blockchain integration.
    • -
  • Make token expiry time configurable at upstart from properties file.
    • -
  • Continued work on OData search syntax.
    • -
  • Started work on pagination for entities, partly implemented for Saksmappe.
    • -
  • Finalise ClassifiedCode Metadata entity.
    • -
  • Implement mechanism to check if authentication token is still - valid. This allow the GUI to return a more sensible message to the - user if the token is expired.
    • -
  • Reintroduce browse.html page to allow user to browse JSON API using - hateoas links.
    • -
  • Fix bug in handling file/mappe sequence number. Year change was - not properly handled.
    • -
  • Update application yml files to be in sync with current development.
    • -
  • Stop 'converting' everything to PDF using libreoffice. Only - convert the file formats doc, ppt, xls, docx, pptx, xlsx, odt, odp - and ods.
    • -
  • Continued code style fixing, making code more readable.
    • -
  • Minor bug fixes.
    • - + +
  • Updated to Noark 5 versjon 5.0 API specification. +
      +
    • Changed formatting of _links from [] to {} to match IETF draft + on JSON HAL.
      • +
    • Merged Registrering og Basisregistrering in version 4 to + combined Registrering.
      • +
    • DokumentObjekt is now subtype of ArkivEnhet.
      • +
    • Introducing new entity Arkivnotat.
      • +
    • Changed all relation keys to use /v5/ instead of /v4/.
      • +
    • Corrected to use new official relation keys when possible.
      • +
    • Renamed Sakspart to Part and connect it to Mappe, Registrering + and Dokumentbeskrivelse instead of only Saksmappe.
      • +
    • Moved Korrespondansepart connection from Journalpost to + Registrering.
      • +
    • Moved Part and Korrespondansepart from package sakarkiv to + arkivstruktur.
      • +
    • Renamed presedensstatus to presedensStatus.
      • +
    • Use new JSON content-type "application/vnd.noark5+json".
      • +
    • Updated prepopulated format list to use PRONOM codes.
      • +
    • Implemented endpoint for system information.
      • +
    • Implemented national identifiers for both file and record.
      • +
    • Implemented comments.
      • +
    • implemented sign off.
      • +
    • implemented conversion.
      • +
    • +
  • Improved/implemented OData search and paging support for more entities.
    • +
  • No longer exposes attribute Dokumentobjekt.referanseDokumentfil, + one should use the relation in _links instead.
    • +
  • Corrected relation keys under + https://rel.arkivverket.no/noark5/v5/api/administrasjon/, replacing + 'administrasjon' with 'admin'.
    • +
  • Fixed several security and stability issues discovered by Coverity.
    • +
  • Corrected handling ETag errors, now return code 409.
    • +
  • Improved handling of Kryssreferanse.
    • +
  • Changed internal database model to use UUID/SystemID as primary keys + in tables.
    • +
  • Changed internal database table names to use package prefix.
    • +
  • Changed time zone handling for date and datetime attributes, to be + more according to the new definition in the API specification.
    • +
  • Change revoke-token to only drop token on POST requests, not GET.
    • +
  • Updated to newer Spring version.
    • +
  • Changed primary key and URL component for metadata code lists to + use the 'kode' value instead of a SystemID.
    • +
  • Corrected implementation of Part and Sakspart.
    • +
  • Changed instance lists with subtypes (like .../registrering/ and + .../mappe/) to include the attributes and _links entries for the + subtype in the supertype lists.
    • +
  • Adjusted _links relations to make it possible to figure out the + entity of an instance using the self->href->relation key lookup + method.
    • +
  • Fixed several end points to make sure GET, PUT, POST and DELETE + match each other.
    • +
  • Updated DELETE endpoints to work with UUID based entity + identifiers.
    • +
  • Restructured code to use more common URL related constants in entry + point values and replace @RequestMapping with method specific + annotations.
    • +
  • Added first unit test code.
    • +
  • Updated web GUI to work with the updated API.
    • +
  • Changed integer fields, enforce them as numeric.
    • +
  • Rewrote and simplify metadata handling to use common service and + controller code instead of duplicating for each type.
    • +
  • Implemented the remaining metadata types.
    • +
  • Changed Country list source from Wikipedia to Debian iso-codes and + updated the list of Countries.
    • +
  • Many many corrections and improvements.
    • +

If free and open standardized archiving API sound interesting to @@ -293,183 +208,40 @@ activities, please send Bitcoin donations to my address

-
Åpen og gjennomsiktig vedlikehold av spesifikasjonen for Noark 5 Tjenestegrensesnitt
-
11th March 2019
-

Et virksomhetsarkiv for meg, er et arbeidsverktøy der en enkelt kan -finne informasjonen en trenger når en trenger det, og der -virksomhetens samlede kunnskap er tilgjengelig. Det må være greit å -finne frem i, litt som en bibliotek. Men der et bibliotek gjerne tar -vare på offentliggjort informasjon som er tilgjengelig flere steder, -tar et arkiv vare på virksomhetsintern og til tider personlig -informasjon som ofte kun er tilgjengelig fra et sted.

- -

Jeg mistenker den eneste måten å sikre at arkivet inneholder den -samlede kunnskapen i en virksomhet, er å bruke det som virksomhetens -kunnskapslager. Det innebærer å automatisk kopiere (brev, epost, -SMS-er etc) inn i arkivet når de sendes og mottas, og der filtrere -vekk det en ikke vil ta vare på, og legge på metadata om det som er -samlet inn for enkel gjenfinning. En slik bruk av arkivet innebærer at -arkivet er en del av daglig virke, ikke at det er siste hvilested for -informasjon ingen lenger har daglig bruk for. For å kunne være en del -av det daglige virket må arkivet enkelt kunne integreres med andre -systemer. I disse dager betyr det å tilby arkivet som en -nett-tjeneste til hele virksomheten, tilgjengelig for både mennesker -og datamaskiner. Det betyr i tur å både tilby nettsider og et -maskinlesbart grensesnitt.

- -

For noen år siden erkjente visjonære arkivarer fordelene med et -standardisert maskinlesbart grensesnitt til organisasjonens arkiv. De -gikk igang med å lage noe de kalte -Noark -5 Tjenestegrensesnitt. Gjort riktig, så åpner slike maskinlesbare -grensesnitt for samvirke på tvers av uavhengige programvaresystemer. -Gjort feil, vil det blokkere for samvirke og bidra til -leverandørinnlåsing. For å gjøre det riktig så må grensesnittet være -klart og entydig beskrevet i en spesifikasjon som gjør at -spesifikasjonen tolkes på samme måte uavhengig av hvem som leser den, -og uavhengig av hvem som tar den i bruk.

- -

For å oppnå klare og entydige beskrivelser i en spesifikasjon, som -trengs for å kunne få en fri og åpen standard (se -Digistan-definisjon), -så trengs det en åpen og gjennomsiktig inngangsport med lav terskel, -der de som forsøker å ta den i bruk enkelt kan få inn korreksjoner, -etterlyse klargjøringer og rapportere uklarheter i spesifikasjonen. -En trenger også automatiserte datasystemer som måler og sjekker at et -gitt grensesnitt fungerer i tråd med spesifikasjonen.

- -

For Noark 5 Tjenestegrensesnittet er det nå etablert en slik åpen -og gjennomsiktig inngangsport på prosjekttjenesten github. Denne -inngangsporten består først og fremst av en åpen portal som lar enhver -se hva som er gjort av endringer i spesifikasjonsteksten over tid, men -det hører også med et åpent "diskusjonsforum" der en kan -komme med endringsforslag og forespørsler om klargjøringer. Alle -registrerte brukere på github kan bidra med innspill til disse -henvendelsene.

- -

I samarbeide med Arkivverket har jeg fått opprettet et git-depot -med spesifikasjonsteksten for tjenestegrensesnittet, der det er lagt -inn historikk for endringer i teksten de siste årene, samt lagt inn -endringsforslag og forespørsler om klargjøring av teksten. Bakgrunnen -for at jeg bidro med dette er at jeg er involvert i -Nikita-prosjektet, -som lager en fri programvare-utgave av Noark 5 Tjenestegrensesnitt. -Det er først når en forsøker å lage noe i tråd med en spesifikasjon at -en oppdager hvor mange detaljer som må beskrives i spesifikasjonen for -å sikre samhandling.

- -

Spesifikasjonen vedlikeholdes i et rent tekstformat, for å ha et -format egnet for versjonskontroll via versjontrollsystemet git. Dette -gjør det både enkelt å se konkret hvilke endringer som er gjort når, -samt gjør det praktisk mulig for enhver med github-konto å sende inn -endringsforslag med formuleringer til spesifikasjonsteksten. Dette -tekstformatet vises frem som nettsider på github, slik at en ikke -trenger spesielle verktøy for å se på siste utgave av -spesifikasjonen.

- -

Fra dette rene tekstformatet kan det så avledes ulike formater, som -HTML for websider, PDF for utskrift på papir og ePub for lesing med -ebokleser. Avlednings-systemet (byggesystemet) bruker i dag -verktøyene pandoc, latex, docbook-xsl og GNU make til -transformasjonen. Tekstformatet som brukes dag er -Markdown, men det vurderes -å -endre -til formatet RST i fremtiden for bedre styring av utseende på -PDF-utgaven.

- -

Versjonskontrollsystemet git ble valgt da det er både fleksibelt, -avansert og enkelt å ta i bruk. Github ble valgt (foran f.eks. Gitlab -som vi bruker i Nikita), da Arkivverket allerede hadde tatt i bruk -Github i andre sammenhenger.

- -

Enkle endringer i teksten kan gjøres av priviligerte brukere -direkte i nettsidene til Github, ved å finne aktuell fil som skal -endres (f.eks. kapitler/03-konformitet.md), klikke på den lille -bokstaven i høyre hjørne over teksten. Det kommer opp en nettside der -en kan endre teksten slik en ønsker. Når en er fornøyd med endringen -så må endringen "sjekkes inn" i historikken. Det gjøres ved -å gi en kort beskrivelse av endringen (beskriv helst hvorfor endringen -trengs, ikke hva som er endret), under overskriften "Commit -changes". En kan og bør legge inn en lengre forklaring i det -større skrivefeltet, før en velger om endringen skal sendes direkte -til 'master'-grenen (dvs. autorativ utgave av spesifikasjonen) eller -om en skal lage en ny gren for denne endringen og opprette en -endringsforespørsel (aka "Pull Request"/PR). Når alt dette -er gjort kan en velge "Commit changes" for å sende inn -endringen. Hvis den er lagt inn i "master"-grenen så er den -en offisiell del av spesifikasjonen med en gang. Hvis den derimot er -en endringsforespørsel, så legges den inn i -listen -over forslag til endringer som venter på korrekturlesing og -godkjenning.

- -

Større endringer (for eksempel samtidig endringer i flere filer) -gjøres enklest ved å hente ned en kopi av git-depoet lokalt og gjøre -endringene der før endringsforslaget sendes inn. Denne prosessen er -godt beskrivet i dokumentasjon fra github. Git-prosjektet som skal -"klones" er -https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/.

- -

For å registrere nye utfordringer (issues) eller kommentere på -eksisterende utfordringer benyttes nettsiden -https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues. -I skrivende stund er det 48 åpne og 11 avsluttede utfordringer. Et -forslag til hva som bør være med når en beskriver en utfordring er -tilgjengelig som utfordring -#14.

- -

For å bygge en PDF-utgave av spesifikasjonen så bruker jeg i dag en -Debian GNU/Linux-maskin med en rekke programpakker installert. Når -dette er på plass, så holder det å kjøre kommandoen 'make pdf html' på -kommandolinjen, vente ca. 20 sekunder, før spesifikasjon.pdf og -spesifikasjon.html ligger klar på disken. Verktøyene for bygging av -PDF, HTML og ePub-utgave er også tilgjengelig på Windows og -MacOSX.

- -

Github bidrar med rammeverket. Men for at åpent vedlikehold av -spesifikasjonen skal fungere, så trengs det folk som bidrar med sin -tid og kunnskap. Arkivverket har sagt de skal bidra med innspill og -godkjenne forslag til endringer, men det blir størst suksess hvis alle -som bruker og lager systemer basert på Noark 5 Tjenestegrensesnitt -bidrar med sin kunnskap og kommer med forslag til forebedringer. Jeg -stiller. Blir du med?

- -

Det er viktig å legge til rette for åpen diskusjon blant alle -interesserte, som ikke krever at en må godta lange kontrakter med -vilkår for deltagelse. Inntil Arkivverket dukker opp på IRC har vi -laget en IRC-kanal der interesserte enkelt kan orientere seg og -diskutere tjenestegrensesnittet. Alle er velkommen til å ta turen -innom -#nikita -(f.eks. via irc.freenode.net) for å møte likesinnede.

- -

Det holder dog ikke å ha en god spesifikasjon, hvis ikke de som tar -den i bruk gjør en like god jobb. For å automatisk teste om et konkret -tjenestegrensesnitt følger (min) forståelse av -spesifikasjonsdokumentet, har jeg skrevet et program som kobler seg -opp til et Noark 5v4 REST-tjeneste og tester alt den finner for å se -om det er i henhold til min tolkning av spesifikasjonen. Dette -verktøyet er tilgjengelig fra -https://github.com/petterreinholdtsen/noark5-tester, -og brukes daglig mens vi utvikler Nikita for å sikre at vi ikke -introduserer nye feil. Hvis en skal sikre samvirke på tvers av ulike -systemer er det helt essensielt å kunne raskt og automatisk sjekke at -tjenestegrensesnittet oppfører seg som forventet. Jeg håper andre som -lager sin utgave av tjenestegrensesnittet vi bruke dette verktøyet, -slik at vi tidlig og raskt kan oppdage hvor vi har tolket -spesifikasjonen ulikt, og dermed få et godt grunnlag for å gjøre -spesifikasjonsteksten enda klarere og bedre.

- -

Dagens beskrivelse av Noark 5 Tjenestegrensesnitt er et svært godt -utgangspunkt for å gjøre virksomhetens arkiv til et dynamisk og -sentralt arbeidsverktøy i organisasjonen. Blir du med å gjøre den -enda bedre?

+
Blockchain and IoT articles accepted into Records Management Journal
+
27th February 2020
+

On Tuesday, two scietific articles we have been working on for a +while, was finally accepted for publication into +Records +Management Journal. Still waiting for the assigned DOI urls to +start working, but you can have a look at the LaTeX originals here.

+ +

The first article is +"A +record-keeping approach to managing IoT-data for government +agencies" (DOI +10.1108/RMJ-09-2019-0056) by Thomas Sødring, Petter Reinholdtsen +and David Massey, and sketches some approaches for storing measurement +data (aka Internet of Things sensor data) in a archive, thus providing +a well defined mechanism for screening and deletion of the information

+ +

The second article is +"Publishing +and using record-keeping structural information in a blockchain" +(DOI +10.1108/RMJ-09-2019-0050) by Thomas Sødring, Petter Reinholdtsen +and Svein Ølnes, where we describe a way for third parties to validate +authenticity and thus improve trust in the records kept in a +archive.

+ +

As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

- Tags: digistan, noark5, norsk, standard. + Tags: english, noark5.
@@ -477,39 +249,34 @@ enda bedre?

-
DÃ¥rlig med sikkerhetsoppdateringer for Ruters billettautomater i Oslo?
-
13th February 2019
-

For -syv år siden oppdaget jeg at billettautomater for -kollektivtrafikken i Oslo kjørte -Windows 2000 -Professional. Operativsystemet har ikke fått sikkerhetsfikser fra -Microsoft siden 2010-07-13 i følge dem selv. Den samme versjonen av -operativsystemet var i bruk -for -to og et halvt år siden, og jammen er det ikke også i bruk den dag -i dag:

- -

[Bilde av Ruters billettautomat med Windows 2000-feilmelding]

- -

Bildet er tatt i dag av Kirill Miazine og tilgjengelig for bruk med -bruksvilkårene til -Creative -Commons Attribution 4.0 International (CC BY 4.0).

- -

Kanskje det hadde vært -bedre -med gratis kollektivtrafikk, slik at vi slapp å stole på -datakompetansen til Ruter for å verne våre privatliv samt holde -personopplysninger og betalingsinformasjon unna uvedkommende. Eneste -måten å sikre at hvor en befinner seg ikke kan hentes ut fra Ruters -systemer er å betale enkeltbilletter med kontanter. Jeg vet at Ruter -har en god historie om hvor personvernvennlige mobil-app og -RFID-kortene er, men den historien er ikke mulig å uavhengig -kontrollere uten priviligert tilgang til interne system og blir dermed -bare nok en god historie basert på tillit til de som forteller -historien. Det er ikke slik en sikrer privatsfæren. Det gjør en ved -å sikre at det ikke (kan) registreres informasjon om ens person.

+
Redaksjon på plass for Noark 5 tjenestegrensesnitt
+
5th February 2020
+

Arbeidet med å lage et godt, fritt og åpent standardisert maskinelt +grensesnitt for arkivering, med tilhørende fri +programvareimplementasjon fortsetter. Jeg snakker om +Noark +5 Tjenestegrensesnitt og +Nikita. +Siste nytt etter +seminaret +for noen dager siden, er vi i Nikita-prosjektet har fått beskjed +fra Arkivverket at det blir satt ned en redaksjon for å videreutvikle +spesifikasjonen. Redaksjonen består av Mona Danielsen og Anne Sofie +Knutsen ved arkivverket, Thomas Sødring ved OsloMet, og meg selv fra +NUUG. De to sistenevnte tar seg av de åpenbare forbedringene, mens +hele redaksjonen diskuterer tvilstilfeller. Jeg håper dette vil bidra +til at vi lykkes i å gjøre denne protokollspesifikasjonen så entydig +og klar at den vil bidra til et velfungerende marked for +arkivsystemer, og sikre at programmer som trenger å snakke med +arkivsystemet kan snakke med enhver implementasjon av +API-spesifikasjonen. Nikita er den første implementasjonen, men det +bør blir flere.

+ +

Det gjenstår riktig nok endel før vi er i mål, selv om svært mye +allerede er på plass. Med innspill og forslag til forbedringer fra +alle som vil ha et leverandøruavhengig og fullstendig +datamaskinlesbart grensesnitt til arkivet, så tror jeg vi vil +lykkes.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner @@ -520,7 +287,7 @@ Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: betalkontant, norsk, ruter. + Tags: noark5, norsk, standard.
@@ -528,38 +295,24 @@ Merk, betaling med bitcoin er ikke anonymt. :)

-
Stortinget vedtar maskinlesbart register over 20% av selskapseierne i Norge
-
7th February 2019
-

Jeg registrerer med glede at Stortinget i dag har -vedtatt -at det skal vedlikeholdes et åpent og maskinlesbart register over -reelle rettighetshavere i Norge. Her kan en kanskje få et -register som kan brukes til å analysere eierskap og kontroll i Norge -maskinelt og knytte det til internasjonale databaser som -OpenCorporates. Det liker -jeg.

- -

Den vedtatte grense på 25 prosents eierandel fikk stor -oppmerksomhet i debatten. Jeg ser fra enkel analyse av skatteetatens -eierskapsregister at 80.4% av alle selskapseiere i registeret har -mindre enn 25% eierandel, mot 73.8% som har mindre enn 5% eierandel. -En grense på 25% vil altså utelukke 80.4% av selskapseierne fra det -vedtatte registeret, og en grense på 5% vil skjule 73.8%. En må helt -ned i registrering av eierandeler over circa 0.002% for å få mer enn -halvparten av selskapseierne i Norge. Mon tro hvor langt ned en må i -eierprosent for å få med alle eierskapene til politisk valgte -representanter?

- -

Jeg biter meg også merke i at Sivert Bjørnstad fra FrP -tilsynelatende tror at aksjonærregisteret er et eksisterende åpent -register, på tross av at det så vidt jeg vet kun deles ved personlig -oppmøte hos skatteetaten og ikke er tilgjengelig i maskinlesbart -format for enhver, og dermed så langt ikke er importert inn i -OpenCorporates. Det anser jeg ikke for et spesielt åpent register. -Debatten ga ellers lite håp om at situasjonen bedrer seg, da -finansministeren bare henviste til en fraværende næringsministeren og -ikke ville uttale seg om et skikkelig aksjonærregister snart dukker -opp.

+
Artikkel om Noark 5 Tjenestegrensesnitt og Nikita i Arkivråd nummer 3 for 2019
+
26th December 2019
+

Like før julaften ble en artikkel jeg har skrevet om vedlikehold av +Noark +5 Tjenestegrensesnitt og Nikita publisert i tidsskriftet Arkivråd. +Det er basert på +min bloggpost +om samme tema som ble publisert 2019-03-11. Jeg oppdaget nettopp +at nettsiden til tidsskriftet Arkivråd er oppdatert med siste utgave, +og artikkelen dermed er tilgjengelig for alle. Du finner den i +PDF-en +til nummer 2019/3 på side 30-33. Jeg håper leserne av +tidsskriftet får lyst til å sjekke ut tjenestegrensesnittet og at +artikkelen vil gjøre det enklere for flere å bidra til en enda bedre, +klarere og mer entydig API-spesifikasjon. Det kan gjøre at +arkivsystemet +Nikita kan bli enda bedre når spesifikasjonen forbedres.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner @@ -570,7 +323,7 @@ Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: norsk, offentlig innsyn. + Tags: noark5, norsk, standard.
@@ -578,71 +331,61 @@ Merk, betaling med bitcoin er ikke anonymt. :)

-
Websocket from Kraken in Valutakrambod
-
1st February 2019
-

Yesterday, the Kraken virtual currency exchange announced -their -Websocket service, providing a stream of exchange updates to its -clients. Getting updated rates quickly is a good idea, so I used -their API -documentation and added Websocket support to the Kraken service in -Valutakrambod today. The python library can now get updates -from Kraken several times per second, instead of every time the -information is polled from the REST API.

- -

If this sound interesting to you, the code for valutakrambod is -available from -github. -Here is example output from the example client displaying rates in a -curses view:

- -

-           Name Pair   Bid         Ask         Spr    Ftcd    Age
- BitcoinsNorway BTCEUR   2959.2800   3021.0500   2.0%   36    nan    nan
-       Bitfinex BTCEUR   3087.9000   3088.0000   0.0%   36     37    nan
-        Bitmynt BTCEUR   3001.8700   3135.4600   4.3%   36     52    nan
-         Bitpay BTCEUR   3003.8659         nan   nan%   35    nan    nan
-       Bitstamp BTCEUR   3008.0000   3010.2300   0.1%    0      1      1
-           Bl3p BTCEUR   3000.6700   3010.9300   0.3%    1    nan    nan
-       Coinbase BTCEUR   2992.1800   3023.2500   1.0%   34    nan    nan
-         Kraken+BTCEUR   3005.7000   3006.6000   0.0%    0      1      0
-        Paymium BTCEUR   2940.0100   2993.4400   1.8%    0   2688    nan
- BitcoinsNorway BTCNOK  29000.0000  29360.7400   1.2%   36    nan    nan
-        Bitmynt BTCNOK  29115.6400  29720.7500   2.0%   36     52    nan
-         Bitpay BTCNOK  29029.2512         nan   nan%   36    nan    nan
-       Coinbase BTCNOK  28927.6000  29218.5900   1.0%   35    nan    nan
-        MiraiEx BTCNOK  29097.7000  29741.4200   2.2%   36    nan    nan
- BitcoinsNorway BTCUSD   3385.4200   3456.0900   2.0%   36    nan    nan
-       Bitfinex BTCUSD   3538.5000   3538.6000   0.0%   36     45    nan
-         Bitpay BTCUSD   3443.4600         nan   nan%   34    nan    nan
-       Bitstamp BTCUSD   3443.0100   3445.0500   0.1%    0      2      1
-       Coinbase BTCUSD   3428.1600   3462.6300   1.0%   33    nan    nan
-         Gemini BTCUSD   3445.8800   3445.8900   0.0%   36    326    nan
-         Hitbtc BTCUSD   3473.4700   3473.0700  -0.0%    0      0      0
-         Kraken+BTCUSD   3444.4000   3445.6000   0.0%    0      1      0
-  Exchangerates EURNOK      9.6685      9.6685   0.0%   36  22226    nan
-     Norgesbank EURNOK      9.6685      9.6685   0.0%   36  22226    nan
-       Bitstamp EURUSD      1.1440      1.1462   0.2%    0      1      2
-  Exchangerates EURUSD      1.1471      1.1471   0.0%   36  22226    nan
- BitcoinsNorway LTCEUR      1.0009     22.6538  95.6%   35    nan    nan
- BitcoinsNorway LTCNOK    259.0900    264.9300   2.2%   35    nan    nan
- BitcoinsNorway LTCUSD      0.0000     29.0000 100.0%   35    nan    nan
-     Norgesbank USDNOK      8.4286      8.4286   0.0%   36  22226    nan
-

- -

Yes, I notice the strange negative spread on Hitbtc. I've seen the -same on Kraken. Another strange observation is that Kraken some times -announce trade orders a fraction of a second in the future. I really -wonder what is going on there.

+
Meningsløst, men for hvem...
+
25th December 2019
+

En historie som har betydd endel for meg, og som jeg av og til +tenker på når hverdagen tynger, ble så vidt jeg har klart å finne ut, +skrevet av Loren +Eiseley i +flere ulike varianter. På norsk tror jeg den går under navnet +«Gutten og sjøstjernen», og jeg fant en oversettelse av en utgave av den +hos +Quora. +Fant også en +filmatisering, men den versjonen jeg liker best fant jeg +hos +Goodreads. Jeg oversatte den utgaven til norsk i går, og har lyst +til å dele den med deg: + +

Mens jeg tok en pause fra skrivingen og vandret på en +øde strand ved daggry, så jeg en gutt i det fjerne bøye seg ned og +kaste noe mens han vandret mot meg over den endeløse stranden. Da han +kom nærmere, kunne jeg se at han kastet sjøstjerner, som var etterlatt +i sanden av tidevannet, tilbake i havet. Da han var nær nok spurte jeg +ham hvorfor han jobbet så hardt på denne merkelige oppgaven. Han sa at +solen snart ville stå opp og tørke sjøstjernene slik at de ville +dø.

+ +

Jeg sa til ham at dette var helt meningsløst. Det var kilometer på +kilometer med strand, og det lå sjøstjerner hele veien. En person +alene kunne ikke gjøre noen forskjell. Han smilte da han plukket opp +neste sjøstjerne. Mens han kastet den så langt ut i havet som han +klarte sa han, «for denne gjør det en forskjell». Jeg droppet +skrivingen og tilbrakte resten av morgenen med å kaste +sjøstjerner.

+ +

- Loren Eiseley

+
-

As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

+

Kanskje noe du også kan ha glede av å tenke på når ting virker +håpløst?

+ +

Teksten er gjengitt og oversatt basert på utgaven på Good Read, +uten tillatelse fra noen andre enn meg selv. Jeg håper på tilgivelse, +hvis det er et problem for noen, da det er gjort i beste mening. Hvis +eventuell rettighetshaver tar kontakt vil jeg fjerne teksten og i +stedet legge ut henvendelsen der teksten kreves fjernet.

+ +

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. +Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: bitcoin, english. + Tags: norsk.
@@ -650,23 +393,16 @@ activities, please send Bitcoin donations to my address
-
Strategispillet Unknown Horizons nå tilgjengelig på bokmål
-
23rd January 2019
-

I høst ble jeg inspirert til å bidra til oversettelsen av -strategispillet Unknown -Horizons, og oversatte de nesten 200 strengene i prosjektet til -bokmål. Deretter har jeg gått å ventet på at det kom en ny utgave som -inneholdt disse oversettelsene. Nå er endelig ventetiden over. Den -nye versjonen kom på nyåret, og ble -lastet opp i -Debian for noen få dager siden. I går kveld fikk jeg testet det ut, og -må innrømme at oversettelsene fungerer fint. Fant noen få tekster som -måtte justeres, men ikke noe alvorlig. Har oppdatert -oversettelsen på -Weblate, slik at neste utgave vil være enda bedre. :)

- -

Spillet er et ressursstyringsspill ala Civilization, og er morsomt -Ã¥ spille for oss som liker slikt. :)

+
Artikkel om Nikita i Arkheion nummer 2019/2
+
9th December 2019
+

Jeg hadde i dag gleden av å oppdage at en artikkel om +arkivsystemet +Nikita som vi skrev i sommer, nå er publisert i +Arkheion, fagtidsskrift for kommunial +arkivsektor. Du finner artikkelen på side 30-33 i nummer 2019/2, +PDF kan lastes ned fra nettstedet til tidsskriftet. Kanskje +publiseringen kan føre til at noen flere får øynene opp for verdien av +et åpent standardisert API for arkivering og søk i arkivet.

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner @@ -677,7 +413,7 @@ Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: debian, norsk. + Tags: noark5, norsk, standard.
@@ -685,41 +421,45 @@ Merk, betaling med bitcoin er ikke anonymt. :)

-
Debian now got everything you need to program Micro:bit
-
22nd January 2019
-

I am amazed and very pleased to discover that since a few days ago, -everything you need to program the BBC -micro:bit is available from the Debian archive. All this is -thanks to the hard work of Nick Morrott and the Debian python -packaging team. The micro:bit project recommend the mu-editor to -program the microcomputer, as this editor will take care of all the -machinery required to injekt/flash micropython alongside the program -into the micro:bit, as long as the pieces are available.

- -

There are three main pieces involved. The first to enter Debian -was -python-uflash, -which was accepted into the archive 2019-01-12. The next one was -mu-editor, which -showed up 2019-01-13. The final and hardest part to to into the -archive was -firmware-microbit-micropython, -which needed to get its build system and dependencies into Debian -before it was accepted 2019-01-20. The last one is already in Debian -Unstable and should enter Debian Testing / Buster in three days. This -all allow any user of the micro:bit to get going by simply running -'apt install mu-editor' when using Testing or Unstable, and once -Buster is released as stable, all the users of Debian stable will be -catered for.

- -

As a minor final touch, I added rules to -the isenkram -package for recognizing micro:bit and recommend the mu-editor -package. This make sure any user of the isenkram desktop daemon will -get a popup suggesting to install mu-editor then the USB cable from -the micro:bit is inserted for the first time.

- -

This should make it easier to have fun.

+
When terms and policy turn users away
+
7th December 2019
+

When asked to accept terms of use and privacy policies that state +it will to remove rights I otherwise had or accept unreasonable terms +undermining my privacy, I choose away the service. I simply do not +have the conscience to accept terms I have no indention of upholding. +But how are the system and service providers to know how many people +they scared away? Normally I just quietly walk away. But today, I +tried a new approach. I sent the following email (removing the +specifics, as I am not out to take the specific service in question) +to the service provider I decided to not use, to at least give them +one data point on how many users are unhappy with their terms:

+ +
+From: Petter Reinholdtsen +
Subject: When terms of use turn users away +
To: [contact@some.site] +
Date: Sat, 07 Dec 2019 16:30:56 +0100 + +

Dear [Site Owner],

+ +

I was eager to test the system, as it seemed like a fun and +interesting application of [some] technology, but after reading the +terms of use and privacy policy on <URL: +https://www.[some.site]/terms-of-use > and <URL: +https://www.[some.site]/privacy-policy > I want you to know that I +decided to turn away. There were several provisions in the terms and +policy turning me off, but the final term that convinced me was being +asked to sign away my right to reverse engineer.

+ +

-- +
Happy hacking +
Petter Reinholdtsen

+
+ +

I do not expect much to come out of it, but sharing it here in case +others want to give something similar a try too. If companies +discover their terms scare away enough people, perhaps they will be +improved...

As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address @@ -728,7 +468,7 @@ activities, please send Bitcoin donations to my address

- Tags: debian, english, robot. + Tags: english, personvern.
@@ -736,438 +476,61 @@ activities, please send Bitcoin donations to my address
-
Oppdaterte kommentarer til «Evaluation of (il)legality» for Popcorn Time
-
16th January 2019
-

I forrige uke var jeg i Borgarting lagmannsrett som partshjelper og - sakkyndig vitne og presenterte mine oppdaterte undersøkelser rundt - telling - av filmverk i det fri, relatert til - foreningen NUUGs involvering i saken om - Økokrims beslag og senere inndragning av DNS-domenet - popcorn-time.no. I forkant hadde jeg oppdatert mitt notat med - kommentarer til et av aktors bevis, som forsøkte å måle hvor stor - andel ulovligheter som var tilgjengelig via Popcorn Time-avspillere. - Jeg mistenker flere kan ha glede av å lese dette notatet, som jeg - publiserte en tidligere versjon av i fjor, så her er det. Legger - også ved avskrift av dokument 09,13, som er det sentrale dokumentet - jeg kommenterer.

- -

Oppdaterte kommentarer til «Evaluation of (il)legality» for -Popcorn Time

- -

Oppsummering

- -

Målemetoden som Økokrim har lagt til grunn når de påstår at 99% av - filmene tilgjengelig fra Popcorn Time deles ulovlig har svakheter - som gjør resultatet upålitelig.

- -

De eller den som har vurdert hvorvidt filmer kan lovlig deles er - ikke i stand til å identifisere filmer som kan deles lovlig eller er - falt i det fri og har tilsynelatende antatt at kun veldig gamle - filmer kan deles lovlig. Økokrim legger til grunn at det bare finnes - èn film, Charlie Chaplin-filmen «The Circus» fra 1928, som kan deles - fritt blant de som ble observert tilgjengelig via ulike Popcorn - Time-varianter. Med min begrensede og ufullstendige oversikt finner - jeg tre flere blant de observerte filmene: «The Brain That Wouldn't - Die» fra 1962, «God’s Little Acre» fra 1958 og «She Wore a Yellow - Ribbon» fra 1949. Det er godt mulig det finnes flere. Det finnes - dermed minst fire ganger så mange filmer som lovlig kan deles på - Internett i datasettet Økokrim har lagt til grunn når det påstås at - mindre enn 1 % kan deles lovlig.

- -

Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra - ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte - filmkatalogene som helhet, hvilket påvirker fordelingen mellom - filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I - tillegg gir valg av øvre del (de fem første) av søkeresultatene et - avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk - i det fri i søkeresultatet.

- -

Til sist er det viktig å merke seg at det som måles er ikke - (u)lovligheten knyttet til bruken av Popcorn Time, - men (u)lovligheten til innholdet i ulike bittorrent-filmkataloger - som vedlikeholdes av ulike miljøer uavhengig av Popcorn Time, og som - ulike Popcorn Time-varianter har benyttet seg av.

- -

Omtalte dokumenter: 09,12, 09,13, 09,14, - 09,18, 09,19, 09,20.

- -

Utfyllende kommentarer

- -

Økokrim har forklart domstolene at minst 99% av alt som er - tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på - Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette - tallet, og dette notatet er en samling kommentarer rundt målingen - Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på - saken er at jeg er interessert i å identifisere og telle hvor mange - kunstneriske verk som er falt i det fri eller av andre grunner kan - lovlig deles på Internett, og dermed var interessert i hvordan en - hadde funnet den ene prosenten som kanskje deles lovlig.

- -

Andelen på 99% kommer fra et ukreditert og udatert notatet som tar - mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike - Popcorn Time-varianter er.

- -

Raskt oppsummert, så forteller metodedokumentet at fordi det ikke - er mulig å få tak i komplett liste over alle filmtitler tilgjengelig - via Popcorn Time, så lages noe som skal være et representativt - utvalg ved å velge 50 tilfeldige søkeord større enn tre tegn fra en - ordliste kjent som Dale-Chall. For hvert søkeord gjøres et søk og de - første fem filmene i søkeresultatet samles inn inntil 100 unike - filmtitler er funnet. Hvis 50 søkeord ikke var tilstrekkelig for å - nå 100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt - til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut - og søkt på flere tilfeldig valgte søkeord inntil 100 unike - filmtitler var identifisert.

- -

Deretter ble for hver av filmtitlene «vurdert hvorvidt det var - rimelig å forvente om at verket var vernet av copyright, ved å se på - om filmen var tilgjengelig i IMDB, samt se på regissør, - utgivelsesår, når det var utgitt for bestemte markedsområder samt - hvilke produksjons- og distribusjonsselskap som var registrert» (min - oversettelse).

- -

Metoden er gjengitt både i de ukrediterte dokumentene 09,13 og - 09,19, samt beskrevet fra side 47 i dokument 09,20, lysark datert - 2017-02-01. Sistnevnte er kreditert Geerart Bourlon fra Motion - Picture Association EMEA.

- -

Metoden virker å ha flere svakheter som gir resultatene en - slagside. Den starter med å slå fast at det ikke er mulig å hente ut - en komplett liste over alle filmtitler som er tilgjengelig, og at - dette er bakgrunnen for metodevalget. Denne forutsetningen er ikke i - tråd med det som står i dokument 09,12, som ikke heller har oppgitt - forfatter og dato. Dokument 09,12 forteller hvordan hele - kataloginnholdet i en bittorrent-katalog ble lasted ned og talt - opp. Dokument 09,12 er muligens samme rapport som det ble referert - til i dom fra Oslo Tingrett 2017-11-03 - (sak - 17-093347TVI-OTIR/05) under navnet rapport av 1. juni 2017 av - Alexander Kind Petersen. De ligner, men jeg har ikke sammenlignet - dokumentene ord for ord for å kontrollere om de er identiske.

- -

Det finnes flere kilder som kan brukes til å finne filmer som er - allemannseie (public domain) eller har bruksvilkår som gjør det - lovlig for alle å dele dem på Internett. Jeg har det siste året - forsøkt å samle og krysskoble disse listene ved hjelp av tittel-ID i - IMDB for å forsøke å telle antall filmer i det fri. Ved å ta - utgangspunkt i slike lister (og publiserte filmer for - Internett-arkivets del), har jeg så langt klart å identifisere over - 14 000 filmer, hovedsaklig spillefilmer. Noen filmer er gått tapt - ved at de eneste kjente eksemplarene er blitt ødelagt. Jeg har ikke - forsøkt å finne ut hvilke filmer som er gått tapt, ut over å se - hvilke filmer som er tilgjengelig på filmdelings-nettsteder.

- -

IMDB er en forkortelse for The Internet Movie Database, en - anerkjent kommersiell nettjeneste som brukes aktivt av både - filmbransjen og andre til å holde rede på hvilke spillefilmer (og - endel andre filmer) som finnes eller er under produksjon, samt - informasjon om disse filmene. Datakvaliteten er høy, med få feil og - få filmer som mangler. IMDB viser ikke informasjon om - opphavsrettslig status for filmene på infosiden for hver film, men - frivillige har lagt ut på IMDB-tjenesten lister med filmer som antas - å være verk i det fri. Disse listene er en liten del av kildene for - min telling av verk som kan lovlig deles på Internett.

- -

De aller fleste oppføringene over verk i det fri er hentet fra IMDB - selv, basert på det faktum at alle filmer laget i USA før 1923 er - falt i det fri. Tilsvarende tidsgrense for Storbritannia er - 1912-07-01, men dette utgjør bare veldig liten del av spillefilmene - i IMDB (19 totalt). En annen stor andel kommer fra - Internett-arkivet, der jeg har identifisert filmer som har referanse - til IMDB. Internett-arkivet, som holder til i USA, har - som policy å kun - publisere filmer som det er lovlig å distribuere. Jeg har under - arbeidet kommet over flere filmer som har blitt fjernet fra - Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene - som kontrollerer Internett-arkivet har et aktivt forhold til kun å - ha lovlig innhold der, selv om det i stor grad er drevet av - frivillige. Internett-arkivet har publisert 4.6 millioner - videofilmer som samtlige er tilgjengelig også med - Bittorrent-protokollen. En annen stor liste med filmer kommer fra - det kommersielle selskapet Retro Film Vault, som selger - allemannseide filmer til TV- og filmbransjen, Jeg har også benyttet - meg av lister over filmer som hevdes å være allemannseie, det være - seg Public Domain Review, Public Domain Torrents og Public Domain - Movies (to ulike tjenester med samme navn, på .net og .info), samt - lister over filmer med Creative Commons-lisensiering fra Wikipedia, - VODO og The Hill Productions. Jeg har gjort endel stikkontroll ved å - vurdere filmer som kun omtales på en liste. Der jeg har funnet feil - som har gjort meg i tvil om vurderingen til de som har laget listen - har jeg forkastet listen fullstendig (gjelder for eksemel en av - listene fra IMDB).

- -

Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på - Internett (fra blant annet Internett-arkivet, Public Domain - Torrents, Public Domain Reivew og Public Domain Movies), og knytte - dem til oppføringer i IMDB, så har jeg så langt klart å identifisere - over 14 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro - kan lovlig distribueres av alle på Internett. Som ekstra kilder er - det brukt lister over filmer som antas/påstås å være - allemannseie. Disse kildene kommer fra miljøer som jobber for å - gjøre tilgjengelig for almennheten alle verk som er falt i det fri - eller har bruksvilkår som tillater deling.

- -

I tillegg til de over 14 000 filmene der tittel-ID i IMDB er - identifisert, har jeg funnet mer enn 26 000 oppføringer der jeg ennå - ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Jeg har - sett at noen av disse er duplikater av de IMDB-oppføringene som er - identifisert så langt, men de fleste jeg har hatt tid til å - undersøke så langt har vist seg å ikke være duplikater. Retro Film - Vault hevder å ha 44 000 filmverk i det fri i sin katalog, så det er - mulig at det reelle tallet er betydelig høyere enn de jeg har klart - å identifisere så langt. Konklusjonen en kan trekke fra dette er at - tallet 14 000 er nedre grense for hvor mange filmer i IMDB som kan - lovlig deles på Internett. I - følge statistikk fra IMDB - er det 4.6 millioner titler registrert, hvorav 3 millioner er - TV-serieepisoder.

- -

Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å deles - lovlig på Internett, får en følgende histogram:

- -

histogram over frie filmer per år

- -

En kan i histogrammet se at effekten av manglende registrering - eller fornying av registrering er at mange filmer gitt ut i USA før - 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere - filmer gitt ut de siste årene med bruksvilkår som tillater deling, - muligens på grunn av fremveksten - av Creative - Commons-bevegelsen.

- -

IMDB har lagt ut en - maskinlesbare liste over alle registreringene i sin database, og - ved hjelp av denne har jeg oppsummert antall titler per år i - kategoriene «movies» og «short», som er det jeg fokuserer på i min - telling. Inn i oversikten er det tegnet hvor stor prosentandel - antallet filmer som hevdes å kunne deles lovlig på Internett utgjør - av IMDB-totalen. Ut fra oversikten får man en ide om hvor stor andel - av totalen som kan mangle i min telling, for eksempel ved å merke - seg at få prosenter av filmene utgitt tidlig på 1900-tallet er med i - min telling.

- -

histogram over filmer og frie filmer per år

- -

For maskinell analyse av katalogene laget jeg et lite program som - kobler seg til bittorrent-katalogene som brukes av ulike Popcorn - Time-varianter og laster ned komplett liste over filmer i - katalogene. Dette bekrefter at det er mulig å hente ut komplett - liste med alle filmtitler som er tilgjengelig i katalogene, i strid - med påstanden i dokumentene 09,13, 09,19 og 09,20. Jeg har sett på - fire bittorrent-kataloger. Den ene ble brukt av klienten - tilgjengelig fra www.popcorntime.sh 2017-12-18 og er navngitt «sh» i - dette dokumentet. Den andre brukes i følge dokument 09,12 av - klienten tilgjengelig fra popcorntime.ag og popcorntime.sh på ukjent - tidspunkt og er navngitt «yts» i dette dokumentet. Den tredje ble - brukt av websidene tilgjengelig fra popcorntime-online.tv 2017-12-18 - og er navngitt «apidomain» i dette dokumentet. Den fjerde ble brukt - av klienten tilgjengelig fra popcorn-time.to i følge dokument 09,12 - på ukjent tidspunkt, og er navngitt «ukrfnlge» i dette - dokumentet. Hvilke kataloger som brukes av ulike Popcorn - Time-klienter endrer seg over tid, da Popcorn Time-klientene i - praksis er nettlesere som viser frem ulike nettsider og disse - nettsidene bytter datakilder når nettsidens eier ønsker det.

- -

Metoden som Økokrim legger til grunn, skriver i sitt punkt fire at - skjønn er en egnet metode for å finne ut om en film kan lovlig deles - på Internett eller ikke, og sier at det ble «vurdert hvorvidt det - var rimelig å forvente om at verket var vernet av copyright». For - det første er det ikke nok å slå fast om en film er «vernet av - copyright» for å vite om det er lovlig å dele den på Internett eller - ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår - som tillater deling på Internett. Eksempler på dette er Creative - Commons-lisensierte filmer som Citizenfour fra 2014 og Sintel fra - 2010. I tillegg til slike finnes det flere filmer som nå er - allemannseie (public domain) på grunn av manglende registrering - eller fornying av registrering selv om både regisør, - produksjonsselskap og distributør ønsker seg vern. Eksempler på - dette er Plan 9 from Outer Space fra 1959 og Night of the Living - Dead fra 1968. Alle filmer fra USA som var allemannseie før - 1989-03-01 forble i det fri da Bern-konvensjonen, som tok effekt i - USA på det tidspunktet, ikke ble gitt tilbakevirkende - kraft. Historien - om sangen «Happy birthday», der betaling for bruk har vært krevd - inn i flere tiår selv om sangen ikke var vernet av åndsverksloven, - forteller oss at hvert enkelt verk må vurderes nøye og i detalj før - en kan slå fast om verket er allemannseie eller ikke, det holder - ikke å tro på selverklærte rettighetshavere. Flere eksempel på verk - i det fri som feilklassifiseres som vernet er fra dokument 09,18, - som lister opp søkeresultater for pklienten omtalt som - popcorntime.sh og i følge notatet kun inneholder en film (The Circus - fra 1928) som under tvil kan antas å være allemannseie.

- -

Ved rask gjennomlesning av dokument 09,18, som inneholder - skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt - både filmen «The Brain That Wouldn't Die» fra 1962 som - er tilgjengelig - fra Internett-arkivet og - som i - følge Wikipedia er allemannseie i USA da den ble gitt ut i 1962 - uten «copyright»-merking, og filmen «God’s Little Acre» fra - 1958 som - er lagt ut på Wikipedia, der det fortelles at sort/hvit-utgaven - er allemannseie. Det fremgår ikke fra dokument 09,18 om filmen - omtalt der er sort/hvit-utgaven. Av kapasitetsårsaker og på grunn av - at filmoversikten i dokument 09,18 ikke er maskinlesbart har jeg - ikke forsøkt å sjekke alle filmene som listes opp der om mot liste - med filmer som er antatt lovlig kan distribueres på Internet.

- -

Ved maskinell gjennomgang av listen med IMDB-referanser under - regnearkfanen «Unique titles» i dokument 09.14, fant jeg i tillegg - filmen «She Wore a Yellow Ribbon» fra 1949) som nok også er - feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig - fra Internett-arkivet og markert som allemannseie der. Det virker - dermed å være minst fire ganger så mange filmer som kan lovlig deles - på Internett enn det som er lagt til grunn når en påstår at minst - 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere - undersøkelser kan avdekke flere. Poenget er uansett ikke hvor mange - filmer i listen som er lovlig å dele på Internet, men at metodens - punkt med vurdering av «rimelig å forvente om at verket var vernet - av copyright» gjør metoden upålitelig.

- -

Den omtalte målemetoden velger ut tilfeldige søketermer fra - ordlisten Dale-Chall. Den ordlisten inneholder 3000 enkle engelske - ord som fjerdeklassinger i USA er forventet å forstå. Det fremgår - ikke hvorfor akkurat denne ordlisten er valgt, og det er uklart for - meg om den er egnet til å få et representativt utvalg av - filmer. Mange av ordene gir tomt søkeresultat. Ved å simulerte - tilsvarende søk ser jeg store avvik fra fordelingen i katalogen for - enkeltmålinger. Dette antyder at enkeltmålinger av 100 filmer slik - målemetoden beskriver er gjort, ikke er velegnet til å finne andel - ulovlig innhold i bittorrent-katalogene.

- -

En kan motvirke dette store avviket for enkeltmålinger ved å gjøre - mange søk og slå sammen resultatet. Jeg har testet ved å gjennomføre - 100 enkeltmålinger (dvs. måling av (100x100=) 10 000 tilfeldig - valgte filmer) som gir mindre, men fortsatt betydelig avvik, i - forhold til telling av filmer pr år i hele katalogen.

- -

Målemetoden henter ut de fem øverste i - søkeresultatet. Søkeresultatene er sortert på antall - bittorrent-klienter registrert som delere i katalogene, hvilket kan - gi en slagside mot hvilke filmer som er populære blant de som bruker - bittorrent-katalogene, uten at det forteller noe om hvilket innhold - som er tilgjengelig eller hvilket innhold som deles med Popcorn - Time-klienter. Jeg har forsøkt å måle hvor stor en slik slagside - eventuelt er ved å sammenligne fordelingen hvis en tar de 5 nederste - i søkeresultatet i stedet. Avviket for disse to metodene for flere - av katalogene er godt synlig på histogramet. Her er histogram over - filmer funnet i den komplette katalogen (grønn strek), og filmer - funnet ved søk etter ord i Dale-Chall. Grafer merket «top» henter - fra de 5 første i søkeresultatet, mens de merket «bottom» henter fra - de 5 siste. En kan her se at resultatene påvirkes betydelig av - hvorvidt en ser på de første eller de siste filmene i et - søketreff.

- -

- - -
- - -
- - -
- - -

- -

Det er viktig å merke seg at de omtalte bittorrent-katalogene ikke - er laget for bruk med Popcorn Time, men for ulike miljøer av - bittorrent-brukere. Eksempelvis tilhører katalogen YTS, som brukes - av klientet som ble lastes ned fra popcorntime.sh, et selvstendig - fildelings-relatert nettsted YTS.AG med et separat - brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke - (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til - innholdet i disse katalogene.

- -
- -

Metoden fra Økokrims dokument 09,13 i straffesaken - om DNS-beslag.

- -
- -

1. Evaluation of (il)legality

- -

1.1. Methodology - -

Due to its technical configuration, Popcorn Time applications don't -allow to make a full list of all titles made available. In order to -evaluate the level of illegal operation of PCT, the following -methodology was applied:

- -
    - -
  1. A random selection of 50 keywords, greater than 3 letters, was - made from the Dale-Chall list that contains 3000 simple English - words1. The selection was made by using a Random Number - Generator2.
    2. - -
  2. For each keyword, starting with the first randomly selected - keyword, a search query was conducted in the movie section of the - respective Popcorn Time application. For each keyword, the first - five results were added to the title list until the number of 100 - unique titles was reached (duplicates were removed).
    3. - -
  3. For one fork, .CH, insufficient titles were generated via this - approach to reach 100 titles. This was solved by adding any - additional query results above five for each of the 50 keywords. - Since this still was not enough, another 42 random keywords were - selected to finally reach 100 titles.
    4. - -
  4. It was verified whether or not there is a reasonable expectation - that the work is copyrighted by checking if they are available on - IMDb, also verifying the director, the year when the title was - released, the release date for a certain market, the production - company/ies of the title and the distribution company/ies.
    5. - -
- -

1.2. Results

- -

Between 6 and 9 June 2016, four forks of Popcorn Time were -investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and -popcorntime.ch. An excel sheet with the results is included in -Appendix 1. Screenshots were secured in separate Appendixes for each -respective fork, see Appendix 2-5.

- -

For each fork, out of 100, de-duplicated titles it was possible to -retrieve data according to the parameters set out above that indicate -that the title is commercially available. Per fork, there was 1 title -that presumably falls within the public domain, i.e. the 1928 movie -"The Circus" by and with Charles Chaplin.

- -

Based on the above it is reasonable to assume that 99% of the movie -content of each fork is copyright protected and is made available -illegally.

- -

This exercise was not repeated for TV series, but considering that -besides production companies and distribution companies also -broadcasters may have relevant rights, it is reasonable to assume that -at least a similar level of infringement will be established.

- -

Based on the above it is reasonable to assume that 99% of all the -content of each fork is copyright protected and are made available -illegally.

- -
- -

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til -det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner -til min adresse -15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. -Merk, betaling med bitcoin er ikke anonymt. :)

+
What would it cost to store all 2018 phone calls in Norway?
+
25th November 2019
+

Four years ago, I did a back of the envelope calculation on +how +much it would cost to store audio recordings of all the phone calls in +Norway, and came up with NOK 2.1 million / EUR 250 000 for the +year 2013. It is time to repeat the calculation using updated +numbers. The calculation is based on how much data storage is needed +for each minute of audio, how many minutes all the calls in Norway +sums up to, multiplied by the cost of data storage.

+ +

The number of phone call minutes for 2018 was fetched from +the NKOM statistics +site, and for 2018, land line calls are listed as 434 238 000 +minutes, while mobile phone calls are listed with 7 542 006 000 +minutes. The total number of minutes is thus 7 976 244 000. For +simplicity, I decided to ignore any advantages in audio compression the +last four years, and continue to assume 60 Kbytes/min as the last +time.

+ +

Storage prices still varies a lot, but as last time, I decide to +take a reasonable big and cheap hard drive, and double its price to +include the surrounding costs into account. A 10 TB disk cost less +than 4500 NOK / 450 EUR these days, and doubling it give 9000 NOK per +10 TB.

+ +

So, with the parameters in place, lets update the old table +estimating cost for calls in a given year:

+ + + + + + + + + + +
YearCall minutesSizePrice in NOK / EUR
200524 000 000 0001.3 PiB1 170 000 / 117 000
201218 000 000 0001.0 PiB900 000 / 90 000
201317 000 000 000950 TiB855 000 / 85 500
20187 976 244 000445 TiB401 100 / 40 110
+ +

Both the cost of storage and the number of phone call minutes have +dropped since the last time, bringing the cost down to a level where I +guess even small organizations can afford to store the audio recording +from every phone call taken in a year in Norway. Of course, this is +just the cost of buying the storage equipment. Maintenance, need to +be included as well, but the volume of a single year is about a single +rack of hard drives, so it is not much more than I could fit in my own +home. Wonder how much the electricity bill would raise if I had that +kind of storage? I doubt it would be more than a few tens of thousand +NOK per year.

- Tags: fildeling, freeculture, norsk, nuug, opphavsrett, verkidetfri, video. + Tags: english, personvern, surveillance.
@@ -1182,6 +545,17 @@ Merk, betaling med bitcoin er ikke anonymt. :)

Archive