1 <?xml version=
"1.0" encoding=
"utf-8"?>
2 <rss version='
2.0' xmlns:lj='http://www.livejournal.org/rss/lj/
1.0/' xmlns:
atom=
"http://www.w3.org/2005/Atom">
4 <title>Petter Reinholdtsen
</title>
5 <description></description>
6 <link>http://people.skolelinux.org/pere/blog/
</link>
7 <atom:link href=
"http://people.skolelinux.org/pere/blog/index.rss" rel=
"self" type=
"application/rss+xml" />
10 <title>MIME type
"text/vnd.sosi
" for SOSI map data
</title>
11 <link>http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html
</link>
12 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html
</guid>
13 <pubDate>Mon,
20 May
2019 08:
35:
00 +
0200</pubDate>
14 <description><p
>As part of my involvement in the work to
15 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard
">standardise
16 a REST based API for Noark
5</a
>, the Norwegian archiving standard, I
17 spent some time the last few months to try to register a
18 <a href=
"https://www.iana.org/assignments/media-types/
">MIME type
</a
>
19 and
<a href=
"https://www.nationalarchives.gov.uk/PRONOM/
">PRONOM
20 code
</a
> for the SOSI file format. The background is that there is a
21 set of formats approved for long term storage and archiving in Norway,
22 and among these formats, SOSI is the only format missing a MIME type
23 and PRONOM code.
</p
>
25 <p
>What is SOSI, you might ask? To quote Wikipedia: SOSI is short for
26 Samordnet Opplegg for Stedfestet Informasjon (literally
"Coordinated
27 Approach for Spatial Information
", but more commonly expanded in
28 English to Systematic Organization of Spatial Information). It is a
29 text based file format for geo-spatial vector information used in
30 Norway. Information about the SOSI format can be found in English
31 from
<a href=
"https://en.wikipedia.org/wiki/SOSI
">Wikipedia
</a
>. The
32 specification is available in Norwegian from
33 <a href=
"https://www.kartverket.no/geodataarbeid/Standarder/SOSI/
">the
34 Norwegian mapping authority
</a
>. The SOSI standard, which originated
35 in the beginning of nineteen eighties, was the inspiration and formed the
36 basis for the XML based
37 <a href=
"https://en.wikipedia.org/wiki/Geography_Markup_Language
">Geography
38 Markup Language
</a
>.
</p
>
40 <p
>I have so far written
41 <a href=
"https://github.com/file/file/pull/
67">a pattern matching
42 rule
</a
> for the file(
1) unix tool to recognize SOSI files, submitted
43 a request to the PRONOM project to have a PRONOM ID assigned to the
44 format (reference TNA1555078202S60), and today send a request to IANA
45 to register the
"text/vnd.sosi
" MIME type for this format (referanse
46 <a href=
"https://tools.iana.org/public-view/viewticket/
1143144">IANA
47 #
1143144</a
>). If all goes well, in a few months, anyone implementing
48 the Noark
5 Tjenestegrensesnitt API spesification should be able to
49 use an official MIME type and PRONOM code for SOSI files. In
50 addition, anyone using SOSI files on Linux should be able to
51 automatically recognise the format and web sites handing out SOSI
52 files can begin providing a more specific MIME type. So far, SOSI
53 files has been handed out from web sites using the
54 "application/octet-stream
" MIME type, which is just a nice way of
55 stating
"I do not know
". Soon, we will know. :)
</p
>
57 <p
>As usual, if you use Bitcoin and want to show your support of my
58 activities, please send Bitcoin donations to my address
59 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
64 <title>PlantUML for text based UML diagram modelling - nice free software
</title>
65 <link>http://people.skolelinux.org/pere/blog/PlantUML_for_text_based_UML_diagram_modelling___nice_free_software.html
</link>
66 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/PlantUML_for_text_based_UML_diagram_modelling___nice_free_software.html
</guid>
67 <pubDate>Mon,
25 Mar
2019 09:
35:
00 +
0100</pubDate>
68 <description><p
>As part of my involvement with the
69 <a href=
"https://gitlab.com/OsloMet-ABI/nikita-noark5-core/
">Nikita
70 Noark
5 core project
</a
>, I have been proposing improvements to the
71 API specification created by
<a href=
"https://www.arkivverket.no/
">The
72 National Archives of Norway
</a
> and helped migrating the text from a
73 version control system unfriendly binary format (docx) to Markdown in
74 git. Combined with the migration to a public git repository (on
75 github), this has made it possible for anyone to suggest improvement
76 to the text.
</p
>
78 <p
>The specification is filled with UML diagrams. I believe the
79 original diagrams were modelled using Sparx Systems Enterprise
80 Architect, and exported as EMF files for import into docx. This
81 approach make it very hard to track changes using a version control
82 system. To improve the situation I have been looking for a good text
83 based UML format with associated command line free software tools on
84 Linux and Windows, to allow anyone to send in corrections to the UML
85 diagrams in the specification. The tool must be text based to work
86 with git, and command line to be able to run it automatically to
87 generate the diagram images. Finally, it must be free software to
88 allow anyone, even those that can not accept a non-free software
89 license, to contribute.
</p
>
91 <p
>I did not know much about free software UML modelling tools when I
92 started. I have used dia and inkscape for simple modelling in the
93 past, but neither are available on Windows, as far as I could tell. I
95 <a href=
"https://modeling-languages.com/text-uml-tools-complete-list/
">list
96 of text mode uml tools
</a
>, and tested out a few of the tools listed
97 there.
<a href=
"http://plantuml.com/
">The PlantUML tool
</a
> seemed
98 most promising. After verifying that the packages
99 <a href=
"https://tracker.debian.org/pkg/plantuml
">is available in
100 Debian
</a
> and found
<a href=
"https://github.com/plantuml/plantuml
">its
101 Java source
</a
> under a GPL license on github, I set out to test if it
102 could represent the diagrams we needed, ie the ones currently in
103 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/
">the
104 Noark
5 Tjenestegrensesnitt specification
</a
>. I am happy to report
105 that it could represent them, even thought it have a few warts here
108 <p
>After a few days of modelling I completed the task this weekend. A
109 temporary link to the complete set of diagrams (original and from
110 PlantUML) is available in
111 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/
76">the
112 github issue discussing the need for a text based UML format
</a
>, but
113 please note I lack a sensible tool to convert EMF files to PNGs, so
114 the
"original
" rendering is not as good as the original was in the
115 publised PDF.
</p
>
117 <p
>Here is an example UML diagram, showing the core classes for
118 keeping metadata about archived documents:
</p
>
122 skinparam classAttributeIconSize
0
124 !include media/uml-class-arkivskaper.iuml
125 !include media/uml-class-arkiv.iuml
126 !include media/uml-class-klassifikasjonssystem.iuml
127 !include media/uml-class-klasse.iuml
128 !include media/uml-class-arkivdel.iuml
129 !include media/uml-class-mappe.iuml
130 !include media/uml-class-merknad.iuml
131 !include media/uml-class-registrering.iuml
132 !include media/uml-class-basisregistrering.iuml
133 !include media/uml-class-dokumentbeskrivelse.iuml
134 !include media/uml-class-dokumentobjekt.iuml
135 !include media/uml-class-konvertering.iuml
136 !include media/uml-datatype-elektronisksignatur.iuml
138 Arkivstruktur.Arkivskaper
"+arkivskaper
1..*
" <-o
"+arkiv
0..*
" Arkivstruktur.Arkiv
139 Arkivstruktur.Arkiv o--
> "+underarkiv
0..*
" Arkivstruktur.Arkiv
140 Arkivstruktur.Arkiv
"+arkiv
1" o--
> "+arkivdel
0..*
" Arkivstruktur.Arkivdel
141 Arkivstruktur.Klassifikasjonssystem
"+klassifikasjonssystem [
0.
.1]
" <--o
"+arkivdel
1..*
" Arkivstruktur.Arkivdel
142 Arkivstruktur.Klassifikasjonssystem
"+klassifikasjonssystem [
0.
.1]
" o--
> "+klasse
0..*
" Arkivstruktur.Klasse
143 Arkivstruktur.Arkivdel
"+arkivdel
0.
.1" o--
> "+mappe
0..*
" Arkivstruktur.Mappe
144 Arkivstruktur.Arkivdel
"+arkivdel
0.
.1" o--
> "+registrering
0..*
" Arkivstruktur.Registrering
145 Arkivstruktur.Klasse
"+klasse
0.
.1" o--
> "+mappe
0..*
" Arkivstruktur.Mappe
146 Arkivstruktur.Klasse
"+klasse
0.
.1" o--
> "+registrering
0..*
" Arkivstruktur.Registrering
147 Arkivstruktur.Mappe --
> "+undermappe
0..*
" Arkivstruktur.Mappe
148 Arkivstruktur.Mappe
"+mappe
0.
.1" o--
> "+registrering
0..*
" Arkivstruktur.Registrering
149 Arkivstruktur.Merknad
"+merknad
0..*
" <--* Arkivstruktur.Mappe
150 Arkivstruktur.Merknad
"+merknad
0..*
" <--* Arkivstruktur.Dokumentbeskrivelse
151 Arkivstruktur.Basisregistrering -|
> Arkivstruktur.Registrering
152 Arkivstruktur.Merknad
"+merknad
0..*
" <--* Arkivstruktur.Basisregistrering
153 Arkivstruktur.Registrering
"+registrering
1..*
" o--
> "+dokumentbeskrivelse
0..*
" Arkivstruktur.Dokumentbeskrivelse
154 Arkivstruktur.Dokumentbeskrivelse
"+dokumentbeskrivelse
1" o-
> "+dokumentobjekt
0..*
" Arkivstruktur.Dokumentobjekt
155 Arkivstruktur.Dokumentobjekt *-
> "+konvertering
0..*
" Arkivstruktur.Konvertering
156 Arkivstruktur.ElektroniskSignatur -[hidden]-
> Arkivstruktur.Dokumentobjekt
160 <p
><a href=
"http://plantuml.com/class-diagram
">The format
</a
> is quite
161 compact, with little redundant information. The text expresses
162 entities and relations, and there is little layout related fluff. One
163 can reuse content by using include files, allowing for consistent
164 naming across several diagrams. The include files can be standalone
165 PlantUML too. Here is the content of
166 <tt
>media/uml-class-arkivskaper.iuml
<tt
>:
</p
>
170 class Arkivstruktur.Arkivskaper
<Arkivenhet
> {
171 +arkivskaperID : string
172 +arkivskaperNavn : string
173 +beskrivelse : string [
0.
.1]
178 <p
>This is what the complete diagram for the PlantUML notation above
181 <p
><img width=
"80%
" src=
"http://people.skolelinux.org/pere/blog/images/
2019-
03-
25-noark5-plantuml-diagrameksempel.png
"></p
>
183 <p
>A cool feature of PlantUML is that the generated PNG files include
184 the entire original source diagram as text. The source (with include
185 statements expanded) can be extracted using for example
186 <tt
>exiftool
</tt
>. Another cool feature is that parts of the entities
187 can be hidden after inclusion. This allow to use include files with
188 all attributes listed, even for UML diagrams that should not list any
189 attributes.
</p
>
191 <p
>The diagram also show some of the warts. Some times the layout
192 engine place text labels on top of each other, and some times it place
193 the class boxes too close to each other, not leaving room for the
194 labels on the relationship arrows. The former can be worked around by
195 placing extra newlines in the labes (ie
"\n
"). I did not do it here
196 to be able to demonstrate the issue. I have not found a good way
197 around the latter, so I normally try to reduce the problem by changing
198 from vertical to horizontal links to improve the layout.
</p
>
200 <p
>All in all, I am quite happy with PlantUML, and very impressed with
201 how quickly its lead developer responds to questions. So far I got an
202 answer to my questions in a few hours when I send an email. I
203 definitely recommend looking at PlantUML if you need to make UML
204 diagrams. Note, PlantUML can draw a lot more than class relations.
205 Check out the documention for a complete list. :)
</p
>
207 <p
>As usual, if you use Bitcoin and want to show your support of my
208 activities, please send Bitcoin donations to my address
209 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
214 <title>Release
0.3 of free software archive API system Nikita announced
</title>
215 <link>http://people.skolelinux.org/pere/blog/Release_0_3_of_free_software_archive_API_system_Nikita_announced.html
</link>
216 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Release_0_3_of_free_software_archive_API_system_Nikita_announced.html
</guid>
217 <pubDate>Sun,
24 Mar
2019 14:
30:
00 +
0100</pubDate>
218 <description><p
>Yesterday, a new release of
219 <a href=
"https://gitlab.com/OsloMet-ABI/nikita-noark5-core/
">Nikita
220 Noark
5 core project
</a
> was
221 <a href=
"https://lists.nuug.no/pipermail/nikita-noark/
2019-March/
000451.html
">announced
222 on the project mailing list
</a
>. The free software solution is an
223 implementation of the Norwegian archive standard Noark
5 used by
224 government offices in Norway. These were the changes in version
0.3
225 since version
0.2.1 (from NEWS.md):
</p
>
228 <li
>Improved ClassificationSystem and Class behaviour.
</li
>
229 <li
>Tidied up known inconsistencies between domain model and hateaos links.
</li
>
230 <li
>Added experimental code for blockchain integration.
</li
>
231 <li
>Make token expiry time configurable at upstart from properties file.
</li
>
232 <li
>Continued work on OData search syntax.
</li
>
233 <li
>Started work on pagination for entities, partly implemented for Saksmappe.
</li
>
234 <li
>Finalise ClassifiedCode Metadata entity.
</li
>
235 <li
>Implement mechanism to check if authentication token is still
236 valid. This allow the GUI to return a more sensible message to the
237 user if the token is expired.
</li
>
238 <li
>Reintroduce browse.html page to allow user to browse JSON API using
239 hateoas links.
</li
>
240 <li
>Fix bug in handling file/mappe sequence number. Year change was
241 not properly handled.
</li
>
242 <li
>Update application yml files to be in sync with current development.
</li
>
243 <li
>Stop
'converting
' everything to PDF using libreoffice. Only
244 convert the file formats doc, ppt, xls, docx, pptx, xlsx, odt, odp
246 <li
>Continued code style fixing, making code more readable.
</li
>
247 <li
>Minor bug fixes.
</li
>
251 <p
>If free and open standardized archiving API sound interesting to
252 you, please contact us on IRC
253 (
<a href=
"irc://irc.freenode.net/%
23nikita
">#nikita on
254 irc.freenode.net
</a
>) or email
255 (
<a href=
"https://lists.nuug.no/mailman/listinfo/nikita-noark
">nikita-noark
256 mailing list
</a
>).
</p
>
258 <p
>As usual, if you use Bitcoin and want to show your support of my
259 activities, please send Bitcoin donations to my address
260 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
265 <title>Åpen og gjennomsiktig vedlikehold av spesifikasjonen for Noark
5 Tjenestegrensesnitt
</title>
266 <link>http://people.skolelinux.org/pere/blog/_pen_og_gjennomsiktig_vedlikehold_av_spesifikasjonen_for_Noark_5_Tjenestegrensesnitt.html
</link>
267 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/_pen_og_gjennomsiktig_vedlikehold_av_spesifikasjonen_for_Noark_5_Tjenestegrensesnitt.html
</guid>
268 <pubDate>Mon,
11 Mar
2019 16:
00:
00 +
0100</pubDate>
269 <description><p
>Et virksomhetsarkiv for meg, er et arbeidsverktøy der en enkelt kan
270 finne informasjonen en trenger når en trenger det, og der
271 virksomhetens samlede kunnskap er tilgjengelig. Det må være greit å
272 finne frem i, litt som en bibliotek. Men der et bibliotek gjerne tar
273 vare på offentliggjort informasjon som er tilgjengelig flere steder,
274 tar et arkiv vare på virksomhetsintern og til tider personlig
275 informasjon som ofte kun er tilgjengelig fra et sted.
</p
>
277 <p
>Jeg mistenker den eneste måten å sikre at arkivet inneholder den
278 samlede kunnskapen i en virksomhet, er å bruke det som virksomhetens
279 kunnskapslager. Det innebærer å automatisk kopiere (brev, epost,
280 SMS-er etc) inn i arkivet når de sendes og mottas, og der filtrere
281 vekk det en ikke vil ta vare på, og legge på metadata om det som er
282 samlet inn for enkel gjenfinning. En slik bruk av arkivet innebærer at
283 arkivet er en del av daglig virke, ikke at det er siste hvilested for
284 informasjon ingen lenger har daglig bruk for. For å kunne være en del
285 av det daglige virket må arkivet enkelt kunne integreres med andre
286 systemer. I disse dager betyr det å tilby arkivet som en
287 nett-tjeneste til hele virksomheten, tilgjengelig for både mennesker
288 og datamaskiner. Det betyr i tur å både tilby nettsider og et
289 maskinlesbart grensesnitt.
</p
>
291 <p
>For noen år siden erkjente visjonære arkivarer fordelene med et
292 standardisert maskinlesbart grensesnitt til organisasjonens arkiv. De
293 gikk igang med å lage noe de kalte
294 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/
">Noark
295 5 Tjenestegrensesnitt
</a
>. Gjort riktig, så åpner slike maskinlesbare
296 grensesnitt for samvirke på tvers av uavhengige programvaresystemer.
297 Gjort feil, vil det blokkere for samvirke og bidra til
298 leverandørinnlåsing. For å gjøre det riktig så må grensesnittet være
299 klart og entydig beskrevet i en spesifikasjon som gjør at
300 spesifikasjonen tolkes på samme måte uavhengig av hvem som leser den,
301 og uavhengig av hvem som tar den i bruk.
</p
>
303 <p
>For å oppnå klare og entydige beskrivelser i en spesifikasjon, som
304 trengs for å kunne få en fri og åpen standard (se
305 <a href=
"http://people.skolelinux.org/pere/blog/Fri_og__pen_standard__slik_Digistan_ser_det.html
">Digistan-definisjon
</a
>),
306 så trengs det en åpen og gjennomsiktig inngangsport med lav terskel,
307 der de som forsøker å ta den i bruk enkelt kan få inn korreksjoner,
308 etterlyse klargjøringer og rapportere uklarheter i spesifikasjonen.
309 En trenger også automatiserte datasystemer som måler og sjekker at et
310 gitt grensesnitt fungerer i tråd med spesifikasjonen.
</p
>
312 <p
>For Noark
5 Tjenestegrensesnittet er det nå etablert en slik åpen
313 og gjennomsiktig inngangsport på prosjekttjenesten github. Denne
314 inngangsporten består først og fremst av en åpen portal som lar enhver
315 se hva som er gjort av endringer i spesifikasjonsteksten over tid, men
316 det hører også med et åpent
&quot;diskusjonsforum
&quot; der en kan
317 komme med endringsforslag og forespørsler om klargjøringer. Alle
318 registrerte brukere på github kan bidra med innspill til disse
319 henvendelsene.
</p
>
321 <p
>I samarbeide med Arkivverket har jeg fått opprettet et git-depot
322 med spesifikasjonsteksten for tjenestegrensesnittet, der det er lagt
323 inn historikk for endringer i teksten de siste årene, samt lagt inn
324 endringsforslag og forespørsler om klargjøring av teksten. Bakgrunnen
325 for at jeg bidro med dette er at jeg er involvert i
326 <a href=
"https://gitlab.com/OsloMet-ABI/nikita-noark5-core
">Nikita-prosjektet
</a
>,
327 som lager en fri programvare-utgave av Noark
5 Tjenestegrensesnitt.
328 Det er først når en forsøker å lage noe i tråd med en spesifikasjon at
329 en oppdager hvor mange detaljer som må beskrives i spesifikasjonen for
330 å sikre samhandling.
</p
>
332 <p
>Spesifikasjonen vedlikeholdes i et rent tekstformat, for å ha et
333 format egnet for versjonskontroll via versjontrollsystemet git. Dette
334 gjør det både enkelt å se konkret hvilke endringer som er gjort når,
335 samt gjør det praktisk mulig for enhver med github-konto å sende inn
336 endringsforslag med formuleringer til spesifikasjonsteksten. Dette
337 tekstformatet vises frem som nettsider på github, slik at en ikke
338 trenger spesielle verktøy for å se på siste utgave av
339 spesifikasjonen.
</p
>
341 <p
>Fra dette rene tekstformatet kan det så avledes ulike formater, som
342 HTML for websider, PDF for utskrift på papir og ePub for lesing med
343 ebokleser. Avlednings-systemet (byggesystemet) bruker i dag
344 verktøyene pandoc, latex, docbook-xsl og GNU make til
345 transformasjonen. Tekstformatet som brukes dag er
346 <a href=
"https://www.markdownguide.org/
">Markdown
</a
>, men det vurderes
348 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/
9">endre
349 til formatet RST
</a
> i fremtiden for bedre styring av utseende på
350 PDF-utgaven.
</p
>
352 <p
>Versjonskontrollsystemet git ble valgt da det er både fleksibelt,
353 avansert og enkelt å ta i bruk. Github ble valgt (foran f.eks. Gitlab
354 som vi bruker i Nikita), da Arkivverket allerede hadde tatt i bruk
355 Github i andre sammenhenger.
</p
>
357 <p
>Enkle endringer i teksten kan gjøres av priviligerte brukere
358 direkte i nettsidene til Github, ved å finne aktuell fil som skal
359 endres (f.eks. kapitler/
03-konformitet.md), klikke på den lille
360 bokstaven i høyre hjørne over teksten. Det kommer opp en nettside der
361 en kan endre teksten slik en ønsker. Når en er fornøyd med endringen
362 så må endringen
&quot;sjekkes inn
&quot; i historikken. Det gjøres ved
363 å gi en kort beskrivelse av endringen (beskriv helst hvorfor endringen
364 trengs, ikke hva som er endret), under overskriften
&quot;Commit
365 changes
&quot;. En kan og bør legge inn en lengre forklaring i det
366 større skrivefeltet, før en velger om endringen skal sendes direkte
367 til
'master
'-grenen (dvs. autorativ utgave av spesifikasjonen) eller
368 om en skal lage en ny gren for denne endringen og opprette en
369 endringsforespørsel (aka
&quot;Pull Request
&quot;/PR). Når alt dette
370 er gjort kan en velge
&quot;Commit changes
&quot; for å sende inn
371 endringen. Hvis den er lagt inn i
&quot;master
&quot;-grenen så er den
372 en offisiell del av spesifikasjonen med en gang. Hvis den derimot er
373 en endringsforespørsel, så legges den inn i
374 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/pulls
">listen
375 over forslag til endringer
</a
> som venter på korrekturlesing og
376 godkjenning.
</p
>
378 <p
>Større endringer (for eksempel samtidig endringer i flere filer)
379 gjøres enklest ved å hente ned en kopi av git-depoet lokalt og gjøre
380 endringene der før endringsforslaget sendes inn. Denne prosessen er
381 godt beskrivet i dokumentasjon fra github. Git-prosjektet som skal
382 &quot;klones
&quot; er
383 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/
">https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/
</a
>.
</p
>
385 <p
>For å registrere nye utfordringer (issues) eller kommentere på
386 eksisterende utfordringer benyttes nettsiden
387 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues
">https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues
</a
>.
388 I skrivende stund er det
48 åpne og
11 avsluttede utfordringer. Et
389 forslag til hva som bør være med når en beskriver en utfordring er
390 tilgjengelig som utfordring
391 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/
14">#
14</a
>.
</p
>
393 <p
>For å bygge en PDF-utgave av spesifikasjonen så bruker jeg i dag en
394 Debian GNU/Linux-maskin med en rekke programpakker installert. Når
395 dette er på plass, så holder det å kjøre kommandoen
'make pdf html
' på
396 kommandolinjen, vente ca.
20 sekunder, før spesifikasjon.pdf og
397 spesifikasjon.html ligger klar på disken. Verktøyene for bygging av
398 PDF, HTML og ePub-utgave er også tilgjengelig på Windows og
401 <p
>Github bidrar med rammeverket. Men for at åpent vedlikehold av
402 spesifikasjonen skal fungere, så trengs det folk som bidrar med sin
403 tid og kunnskap. Arkivverket har sagt de skal bidra med innspill og
404 godkjenne forslag til endringer, men det blir størst suksess hvis alle
405 som bruker og lager systemer basert på Noark
5 Tjenestegrensesnitt
406 bidrar med sin kunnskap og kommer med forslag til forebedringer. Jeg
407 stiller. Blir du med?
</p
>
409 <p
>Det er viktig å legge til rette for åpen diskusjon blant alle
410 interesserte, som ikke krever at en må godta lange kontrakter med
411 vilkår for deltagelse. Inntil Arkivverket dukker opp på IRC har vi
412 laget en IRC-kanal der interesserte enkelt kan orientere seg og
413 diskutere tjenestegrensesnittet. Alle er velkommen til å ta turen
415 <a href=
"https://webchat.freenode.net/?channels=nikita
">#nikita
</a
>
416 (f.eks. via irc.freenode.net) for å møte likesinnede.
</p
>
418 <p
>Det holder dog ikke å ha en god spesifikasjon, hvis ikke de som tar
419 den i bruk gjør en like god jobb. For å automatisk teste om et konkret
420 tjenestegrensesnitt følger (min) forståelse av
421 spesifikasjonsdokumentet, har jeg skrevet et program som kobler seg
422 opp til et Noark
5v4 REST-tjeneste og tester alt den finner for å se
423 om det er i henhold til min tolkning av spesifikasjonen. Dette
424 verktøyet er tilgjengelig fra
425 <a href=
"https://github.com/petterreinholdtsen/noark5-tester
">https://github.com/petterreinholdtsen/noark5-tester
</a
>,
426 og brukes daglig mens vi utvikler Nikita for å sikre at vi ikke
427 introduserer nye feil. Hvis en skal sikre samvirke på tvers av ulike
428 systemer er det helt essensielt å kunne raskt og automatisk sjekke at
429 tjenestegrensesnittet oppfører seg som forventet. Jeg håper andre som
430 lager sin utgave av tjenestegrensesnittet vi bruke dette verktøyet,
431 slik at vi tidlig og raskt kan oppdage hvor vi har tolket
432 spesifikasjonen ulikt, og dermed få et godt grunnlag for å gjøre
433 spesifikasjonsteksten enda klarere og bedre.
</p
>
435 <p
>Dagens beskrivelse av Noark
5 Tjenestegrensesnitt er et svært godt
436 utgangspunkt for å gjøre virksomhetens arkiv til et dynamisk og
437 sentralt arbeidsverktøy i organisasjonen. Blir du med å gjøre den
438 enda bedre?
</p
>
443 <title>Dårlig med sikkerhetsoppdateringer for Ruters billettautomater i Oslo?
</title>
444 <link>http://people.skolelinux.org/pere/blog/D_rlig_med_sikkerhetsoppdateringer_for_Ruters_billettautomater_i_Oslo_.html
</link>
445 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/D_rlig_med_sikkerhetsoppdateringer_for_Ruters_billettautomater_i_Oslo_.html
</guid>
446 <pubDate>Wed,
13 Feb
2019 10:
45:
00 +
0100</pubDate>
447 <description><p
><a href=
"http://people.skolelinux.org/pere/blog/Er_billettautomatene_til_kollektivtrafikken_i_Oslo_uten_sikkerhetsoppdateringer_.html
">For
448 syv år siden
</a
> oppdaget jeg at billettautomater for
449 kollektivtrafikken i Oslo kjørte
450 <a href=
"http://en.wikipedia.org/wiki/Windows_2000
">Windows
2000
451 Professional
</a
>. Operativsystemet har ikke fått sikkerhetsfikser fra
452 Microsoft siden
2010-
07-
13 i følge dem selv. Den samme versjonen av
453 operativsystemet var i bruk
454 <a href=
"http://people.skolelinux.org/pere/blog/Fortsatt_ingen_sikkerhetsoppdateringer_for_billettautomatene_til_kollektivtrafikken_i_Oslo_.html
">for
455 to og et halvt år siden
</a
>, og jammen er det ikke også i bruk den dag
458 <p align=
"center
"><a href=
"http://people.skolelinux.org/pere/blog/images/
2019-
02-
13-ruter-win2000pro.jpeg
"><img width=
"40%
" src=
"http://people.skolelinux.org/pere/blog/images/
2019-
02-
13-ruter-win2000pro.jpeg
" alt=
"[Bilde av Ruters billettautomat med Windows
2000-feilmelding]
"></a
></p
>
460 <p
>Bildet er tatt i dag av Kirill Miazine og tilgjengelig for bruk med
462 <a href=
"http://creativecommons.org/licenses/by/
4.0/
">Creative
463 Commons Attribution
4.0 International (CC BY
4.0)
</a
>.
</p
>
465 <p
>Kanskje det hadde vært
466 <a href=
"https://www.aftenposten.no/osloby/i/awqgO/Her-kjorer-du-gratis-trikk-og-buss
">bedre
467 med gratis kollektivtrafikk
</A
>, slik at vi slapp å stole på
468 datakompetansen til Ruter for å verne våre privatliv samt holde
469 personopplysninger og betalingsinformasjon unna uvedkommende. Eneste
470 måten å sikre at hvor en befinner seg ikke kan hentes ut fra Ruters
471 systemer er å betale enkeltbilletter med kontanter. Jeg vet at Ruter
472 har en god historie om hvor personvernvennlige mobil-app og
473 RFID-kortene er, men den historien er ikke mulig å uavhengig
474 kontrollere uten priviligert tilgang til interne system og blir dermed
475 bare nok en god historie basert på tillit til de som forteller
476 historien. Det er ikke slik en sikrer privatsfæren. Det gjør en ved
477 å sikre at det ikke (kan) registreres informasjon om ens person.
</p
>
479 <p
>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til
480 det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner
482 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
483 Merk, betaling med bitcoin er ikke anonymt. :)
</p
>
488 <title>Stortinget vedtar maskinlesbart register over
20% av selskapseierne i Norge
</title>
489 <link>http://people.skolelinux.org/pere/blog/Stortinget_vedtar_maskinlesbart_register_over_20__av_selskapseierne_i_Norge.html
</link>
490 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Stortinget_vedtar_maskinlesbart_register_over_20__av_selskapseierne_i_Norge.html
</guid>
491 <pubDate>Thu,
7 Feb
2019 23:
55:
00 +
0100</pubDate>
492 <description><p
>Jeg registrerer med glede at Stortinget i dag har
493 <a href=
"https://www.stortinget.no/no/Saker-og-publikasjoner/Saker/Sak/?p=
72826">vedtatt
494 at det skal vedlikeholdes et åpent og maskinlesbart register over
495 reelle rettighetshavere i Norge
</a
>. Her kan en kanskje få et
496 register som kan brukes til å analysere eierskap og kontroll i Norge
497 maskinelt og knytte det til internasjonale databaser som
498 <a href=
"https://opencorporates.com/
">OpenCorporates
</a
>. Det liker
501 <p
>Den vedtatte grense på
25 prosents eierandel fikk stor
502 oppmerksomhet i debatten. Jeg ser fra enkel analyse av skatteetatens
503 eierskapsregister at
80.4% av alle selskapseiere i registeret har
504 mindre enn
25% eierandel, mot
73.8% som har mindre enn
5% eierandel.
505 En grense på
25% vil altså utelukke
80.4% av selskapseierne fra det
506 vedtatte registeret, og en grense på
5% vil skjule
73.8%. En må helt
507 ned i registrering av eierandeler over circa
0.002% for å få mer enn
508 halvparten av selskapseierne i Norge. Mon tro hvor langt ned en må i
509 eierprosent for å få med alle eierskapene til politisk valgte
510 representanter?
</p
>
512 <p
>Jeg biter meg også merke i at Sivert Bjørnstad fra FrP
513 tilsynelatende tror at aksjonærregisteret er et eksisterende åpent
514 register, på tross av at det så vidt jeg vet kun deles ved personlig
515 oppmøte hos skatteetaten og ikke er tilgjengelig i maskinlesbart
516 format for enhver, og dermed så langt ikke er importert inn i
517 OpenCorporates. Det anser jeg ikke for et spesielt åpent register.
518 Debatten ga ellers lite håp om at situasjonen bedrer seg, da
519 finansministeren bare henviste til en fraværende næringsministeren og
520 ikke ville uttale seg om et skikkelig aksjonærregister snart dukker
523 <p
>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til
524 det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner
526 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
527 Merk, betaling med bitcoin er ikke anonymt. :)
</p
>
532 <title>Websocket from Kraken in Valutakrambod
</title>
533 <link>http://people.skolelinux.org/pere/blog/Websocket_from_Kraken_in_Valutakrambod.html
</link>
534 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Websocket_from_Kraken_in_Valutakrambod.html
</guid>
535 <pubDate>Fri,
1 Feb
2019 22:
25:
00 +
0100</pubDate>
536 <description><p
>Yesterday, the Kraken virtual currency exchange announced
537 <a href=
"https://blog.kraken.com/post/
2019/websockets-public-api-launching-soon/
">their
538 Websocket service
</a
>, providing a stream of exchange updates to its
539 clients. Getting updated rates quickly is a good idea, so I used
540 their
<a href=
"https://www.kraken.com/en-us/help/websocket-api
">API
541 documentation
</a
> and added Websocket support to the Kraken service in
542 Valutakrambod today. The python library can now get updates
543 from Kraken several times per second, instead of every time the
544 information is polled from the REST API.
</p
>
546 <p
>If this sound interesting to you, the code for valutakrambod is
548 <a href=
"http://github.com/petterreinholdtsen/valutakrambod
">github
</a
>.
549 Here is example output from the example client displaying rates in a
550 curses view:
</p
>
552 <p
><blockquote
><pre
>
553 Name Pair Bid Ask Spr Ftcd Age
554 BitcoinsNorway BTCEUR
2959.2800 3021.0500 2.0%
36 nan nan
555 Bitfinex BTCEUR
3087.9000 3088.0000 0.0%
36 37 nan
556 Bitmynt BTCEUR
3001.8700 3135.4600 4.3%
36 52 nan
557 Bitpay BTCEUR
3003.8659 nan nan%
35 nan nan
558 Bitstamp BTCEUR
3008.0000 3010.2300 0.1%
0 1 1
559 Bl3p BTCEUR
3000.6700 3010.9300 0.3%
1 nan nan
560 Coinbase BTCEUR
2992.1800 3023.2500 1.0%
34 nan nan
561 Kraken+BTCEUR
3005.7000 3006.6000 0.0%
0 1 0
562 Paymium BTCEUR
2940.0100 2993.4400 1.8%
0 2688 nan
563 BitcoinsNorway BTCNOK
29000.0000 29360.7400 1.2%
36 nan nan
564 Bitmynt BTCNOK
29115.6400 29720.7500 2.0%
36 52 nan
565 Bitpay BTCNOK
29029.2512 nan nan%
36 nan nan
566 Coinbase BTCNOK
28927.6000 29218.5900 1.0%
35 nan nan
567 MiraiEx BTCNOK
29097.7000 29741.4200 2.2%
36 nan nan
568 BitcoinsNorway BTCUSD
3385.4200 3456.0900 2.0%
36 nan nan
569 Bitfinex BTCUSD
3538.5000 3538.6000 0.0%
36 45 nan
570 Bitpay BTCUSD
3443.4600 nan nan%
34 nan nan
571 Bitstamp BTCUSD
3443.0100 3445.0500 0.1%
0 2 1
572 Coinbase BTCUSD
3428.1600 3462.6300 1.0%
33 nan nan
573 Gemini BTCUSD
3445.8800 3445.8900 0.0%
36 326 nan
574 Hitbtc BTCUSD
3473.4700 3473.0700 -
0.0%
0 0 0
575 Kraken+BTCUSD
3444.4000 3445.6000 0.0%
0 1 0
576 Exchangerates EURNOK
9.6685 9.6685 0.0%
36 22226 nan
577 Norgesbank EURNOK
9.6685 9.6685 0.0%
36 22226 nan
578 Bitstamp EURUSD
1.1440 1.1462 0.2%
0 1 2
579 Exchangerates EURUSD
1.1471 1.1471 0.0%
36 22226 nan
580 BitcoinsNorway LTCEUR
1.0009 22.6538 95.6%
35 nan nan
581 BitcoinsNorway LTCNOK
259.0900 264.9300 2.2%
35 nan nan
582 BitcoinsNorway LTCUSD
0.0000 29.0000 100.0%
35 nan nan
583 Norgesbank USDNOK
8.4286 8.4286 0.0%
36 22226 nan
584 </pre
></blockquote
></p
>
586 <p
>Yes, I notice the strange negative spread on Hitbtc. I
've seen the
587 same on Kraken. Another strange observation is that Kraken some times
588 announce trade orders a fraction of a second in the future. I really
589 wonder what is going on there.
</p
>
591 <p
>As usual, if you use Bitcoin and want to show your support of my
592 activities, please send Bitcoin donations to my address
593 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
598 <title>Strategispillet Unknown Horizons nå tilgjengelig på bokmål
</title>
599 <link>http://people.skolelinux.org/pere/blog/Strategispillet_Unknown_Horizons_n__tilgjengelig_p__bokm_l.html
</link>
600 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Strategispillet_Unknown_Horizons_n__tilgjengelig_p__bokm_l.html
</guid>
601 <pubDate>Wed,
23 Jan
2019 07:
50:
00 +
0100</pubDate>
602 <description><p
>I høst ble jeg inspirert til å bidra til oversettelsen av
603 <a href=
"http://unknown-horizons.org/
">strategispillet Unknown
604 Horizons
</a
>, og oversatte de nesten
200 strengene i prosjektet til
605 bokmål. Deretter har jeg gått å ventet på at det kom en ny utgave som
606 inneholdt disse oversettelsene. Nå er endelig ventetiden over. Den
607 nye versjonen kom på nyåret, og ble
608 <a href=
"https://tracker.debian.org/pkg/unknown-horizons
">lastet opp i
609 Debian
</a
> for noen få dager siden. I går kveld fikk jeg testet det ut, og
610 må innrømme at oversettelsene fungerer fint. Fant noen få tekster som
611 måtte justeres, men ikke noe alvorlig. Har oppdatert
612 <a href=
"https://hosted.weblate.org/projects/uh/
">oversettelsen på
613 Weblate
</a
>, slik at neste utgave vil være enda bedre. :)
</p
>
615 <p
>Spillet er et ressursstyringsspill ala Civilization, og er morsomt
616 å spille for oss som liker slikt. :)
</p
>
618 <p
>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til
619 det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner
621 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
622 Merk, betaling med bitcoin er ikke anonymt. :)
</p
>
627 <title>Debian now got everything you need to program Micro:bit
</title>
628 <link>http://people.skolelinux.org/pere/blog/Debian_now_got_everything_you_need_to_program_Micro_bit.html
</link>
629 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Debian_now_got_everything_you_need_to_program_Micro_bit.html
</guid>
630 <pubDate>Tue,
22 Jan
2019 17:
20:
00 +
0100</pubDate>
631 <description><p
>I am amazed and very pleased to discover that since a few days ago,
632 everything you need to program the
<a href=
"https://microbit.org/
">BBC
633 micro:bit
</a
> is available from the Debian archive. All this is
634 thanks to the hard work of Nick Morrott and the Debian python
635 packaging team. The micro:bit project recommend the mu-editor to
636 program the microcomputer, as this editor will take care of all the
637 machinery required to injekt/flash micropython alongside the program
638 into the micro:bit, as long as the pieces are available.
</p
>
640 <p
>There are three main pieces involved. The first to enter Debian
642 <a href=
"https://tracker.debian.org/pkg/python-uflash
">python-uflash
</a
>,
643 which was accepted into the archive
2019-
01-
12. The next one was
644 <a href=
"https://tracker.debian.org/pkg/mu-editor
">mu-editor
</a
>, which
645 showed up
2019-
01-
13. The final and hardest part to to into the
647 <a href=
"https://tracker.debian.org/pkg/firmware-microbit-micropython
">firmware-microbit-micropython
</a
>,
648 which needed to get its build system and dependencies into Debian
649 before it was accepted
2019-
01-
20. The last one is already in Debian
650 Unstable and should enter Debian Testing / Buster in three days. This
651 all allow any user of the micro:bit to get going by simply running
652 'apt install mu-editor
' when using Testing or Unstable, and once
653 Buster is released as stable, all the users of Debian stable will be
654 catered for.
</p
>
656 <p
>As a minor final touch, I added rules to
657 <a href=
"https://tracker.debian.org/pkg/isenkram
">the isenkram
658 package
</a
> for recognizing micro:bit and recommend the mu-editor
659 package. This make sure any user of the isenkram desktop daemon will
660 get a popup suggesting to install mu-editor then the USB cable from
661 the micro:bit is inserted for the first time.
</p
>
663 <p
>This should make it easier to have fun.
</p
>
665 <p
>As usual, if you use Bitcoin and want to show your support of my
666 activities, please send Bitcoin donations to my address
667 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
672 <title>Oppdaterte kommentarer til «Evaluation of (il)legality» for Popcorn Time
</title>
673 <link>http://people.skolelinux.org/pere/blog/Oppdaterte_kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html
</link>
674 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Oppdaterte_kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html
</guid>
675 <pubDate>Wed,
16 Jan
2019 11:
40:
00 +
0100</pubDate>
676 <description><p
>I forrige uke var jeg i Borgarting lagmannsrett som partshjelper og
677 sakkyndig vitne og presenterte mine oppdaterte undersøkelser rundt
678 <a href=
"https://github.com/petterreinholdtsen/public-domain-free-imdb
">telling
679 av filmverk i det fri
</a
>, relatert til
680 <a href=
"https://www.nuug.no/
">foreningen NUUG
</a
>s involvering i
<a
681 href=
"https://www.nuug.no/news/tags/dns-domenebeslag/
">saken om
682 Økokrims beslag og senere inndragning av DNS-domenet
683 popcorn-time.no
</a
>. I forkant hadde jeg oppdatert mitt notat med
684 kommentarer til et av aktors bevis, som forsøkte å måle hvor stor
685 andel ulovligheter som var tilgjengelig via Popcorn Time-avspillere.
686 Jeg mistenker flere kan ha glede av å lese dette notatet, som jeg
687 publiserte en tidligere versjon av i fjor, så her er det. Legger
688 også ved avskrift av dokument
09,
13, som er det sentrale dokumentet
689 jeg kommenterer.
</p
>
691 <p
><strong
>Oppdaterte kommentarer til «Evaluation of (il)legality» for
692 Popcorn Time
</strong
></p
>
694 <p
><strong
>Oppsummering
</strong
></p
>
696 <p
>Målemetoden som Økokrim har lagt til grunn når de påstår at
99% av
697 filmene tilgjengelig fra Popcorn Time deles ulovlig har svakheter
698 som gjør resultatet upålitelig.
</p
>
700 <p
>De eller den som har vurdert hvorvidt filmer kan lovlig deles er
701 ikke i stand til å identifisere filmer som kan deles lovlig eller er
702 falt i det fri og har tilsynelatende antatt at kun veldig gamle
703 filmer kan deles lovlig. Økokrim legger til grunn at det bare finnes
704 èn film, Charlie Chaplin-filmen «The Circus» fra
1928, som kan deles
705 fritt blant de som ble observert tilgjengelig via ulike Popcorn
706 Time-varianter. Med min begrensede og ufullstendige oversikt finner
707 jeg tre flere blant de observerte filmene: «The Brain That Wouldn
't
708 Die» fra
1962, «God’s Little Acre» fra
1958 og «She Wore a Yellow
709 Ribbon» fra
1949. Det er godt mulig det finnes flere. Det finnes
710 dermed minst fire ganger så mange filmer som lovlig kan deles på
711 Internett i datasettet Økokrim har lagt til grunn når det påstås at
712 mindre enn
1 % kan deles lovlig.
</p
>
714 <p
>Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra
715 ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte
716 filmkatalogene som helhet, hvilket påvirker fordelingen mellom
717 filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I
718 tillegg gir valg av øvre del (de fem første) av søkeresultatene et
719 avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk
720 i det fri i søkeresultatet.
</p
>
722 <p
>Til sist er det viktig å merke seg at det som måles er ikke
723 (u)lovligheten knyttet til
<strong
>bruken
</strong
> av Popcorn Time,
724 men (u)lovligheten til innholdet i ulike bittorrent-filmkataloger
725 som vedlikeholdes av ulike miljøer uavhengig av Popcorn Time, og som
726 ulike Popcorn Time-varianter har benyttet seg av.
</p
>
728 <p
>Omtalte dokumenter:
09,
12,
<a href=
"#dok-
09-
13">09,
13</a
>,
09,
14,
729 09,
18,
09,
19,
09,
20.
</p
>
731 <p
><strong
>Utfyllende kommentarer
</strong
></p
>
733 <p
>Økokrim har forklart domstolene at minst
99% av alt som er
734 tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på
735 Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette
736 tallet, og dette notatet er en samling kommentarer rundt målingen
737 Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på
738 saken er at jeg er interessert i å identifisere og telle hvor mange
739 kunstneriske verk som er falt i det fri eller av andre grunner kan
740 lovlig deles på Internett, og dermed var interessert i hvordan en
741 hadde funnet den ene prosenten som kanskje deles lovlig.
</p
>
743 <p
>Andelen på
99% kommer fra et ukreditert og udatert notatet som tar
744 mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike
745 Popcorn Time-varianter er.
</p
>
747 <p
>Raskt oppsummert, så forteller metodedokumentet at fordi det ikke
748 er mulig å få tak i komplett liste over alle filmtitler tilgjengelig
749 via Popcorn Time, så lages noe som skal være et representativt
750 utvalg ved å velge
50 tilfeldige søkeord større enn tre tegn fra en
751 ordliste kjent som Dale-Chall. For hvert søkeord gjøres et søk og de
752 første fem filmene i søkeresultatet samles inn inntil
100 unike
753 filmtitler er funnet. Hvis
50 søkeord ikke var tilstrekkelig for å
754 nå
100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt
755 til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut
756 og søkt på flere tilfeldig valgte søkeord inntil
100 unike
757 filmtitler var identifisert.
</p
>
759 <p
>Deretter ble for hver av filmtitlene «vurdert hvorvidt det var
760 rimelig å forvente om at verket var vernet av copyright, ved å se på
761 om filmen var tilgjengelig i IMDB, samt se på regissør,
762 utgivelsesår, når det var utgitt for bestemte markedsområder samt
763 hvilke produksjons- og distribusjonsselskap som var registrert» (min
764 oversettelse).
</p
>
766 <p
>Metoden er gjengitt både i de ukrediterte dokumentene
09,
13 og
767 09,
19, samt beskrevet fra side
47 i dokument
09,
20, lysark datert
768 2017-
02-
01. Sistnevnte er kreditert Geerart Bourlon fra Motion
769 Picture Association EMEA.
</p
>
771 <p
>Metoden virker å ha flere svakheter som gir resultatene en
772 slagside. Den starter med å slå fast at det ikke er mulig å hente ut
773 en komplett liste over alle filmtitler som er tilgjengelig, og at
774 dette er bakgrunnen for metodevalget. Denne forutsetningen er ikke i
775 tråd med det som står i dokument
09,
12, som ikke heller har oppgitt
776 forfatter og dato. Dokument
09,
12 forteller hvordan hele
777 kataloginnholdet i en bittorrent-katalog ble lasted ned og talt
778 opp. Dokument
09,
12 er muligens samme rapport som det ble referert
779 til i dom fra Oslo Tingrett
2017-
11-
03
780 (
<a href=
"https://www.domstol.no/no/Enkelt-domstol/Oslo--tingrett/Nyheter/ma-sperre-for-popcorn-time/
">sak
781 17-
093347TVI-OTIR/
05</a
>) under navnet rapport av
1. juni
2017 av
782 Alexander Kind Petersen. De ligner, men jeg har ikke sammenlignet
783 dokumentene ord for ord for å kontrollere om de er identiske.
</p
>
785 <p
>Det finnes flere kilder som kan brukes til å finne filmer som er
786 allemannseie (public domain) eller har bruksvilkår som gjør det
787 lovlig for alle å dele dem på Internett. Jeg har det siste året
788 forsøkt å samle og krysskoble disse listene ved hjelp av tittel-ID i
789 IMDB for å forsøke å telle antall filmer i det fri. Ved å ta
790 utgangspunkt i slike lister (og publiserte filmer for
791 Internett-arkivets del), har jeg så langt klart å identifisere over
792 14 000 filmer, hovedsaklig spillefilmer. Noen filmer er gått tapt
793 ved at de eneste kjente eksemplarene er blitt ødelagt. Jeg har ikke
794 forsøkt å finne ut hvilke filmer som er gått tapt, ut over å se
795 hvilke filmer som er tilgjengelig på filmdelings-nettsteder.
</p
>
797 <p
>IMDB er en forkortelse for The Internet Movie Database, en
798 anerkjent kommersiell nettjeneste som brukes aktivt av både
799 filmbransjen og andre til å holde rede på hvilke spillefilmer (og
800 endel andre filmer) som finnes eller er under produksjon, samt
801 informasjon om disse filmene. Datakvaliteten er høy, med få feil og
802 få filmer som mangler. IMDB viser ikke informasjon om
803 opphavsrettslig status for filmene på infosiden for hver film, men
804 frivillige har lagt ut på IMDB-tjenesten lister med filmer som antas
805 å være verk i det fri. Disse listene er en liten del av kildene for
806 min telling av verk som kan lovlig deles på Internett.
</p
>
808 <p
>De aller fleste oppføringene over verk i det fri er hentet fra IMDB
809 selv, basert på det faktum at alle filmer laget i USA før
1923 er
810 falt i det fri. Tilsvarende tidsgrense for Storbritannia er
811 1912-
07-
01, men dette utgjør bare veldig liten del av spillefilmene
812 i IMDB (
19 totalt). En annen stor andel kommer fra
813 Internett-arkivet, der jeg har identifisert filmer som har referanse
814 til IMDB. Internett-arkivet, som holder til i USA, har
815 som
<a href=
"https://archive.org/about/terms.php
">policy å kun
816 publisere filmer som det er lovlig å distribuere
</a
>. Jeg har under
817 arbeidet kommet over flere filmer som har blitt fjernet fra
818 Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene
819 som kontrollerer Internett-arkivet har et aktivt forhold til kun å
820 ha lovlig innhold der, selv om det i stor grad er drevet av
821 frivillige. Internett-arkivet har publisert
4.6 millioner
822 videofilmer som samtlige er tilgjengelig også med
823 Bittorrent-protokollen. En annen stor liste med filmer kommer fra
824 det kommersielle selskapet Retro Film Vault, som selger
825 allemannseide filmer til TV- og filmbransjen, Jeg har også benyttet
826 meg av lister over filmer som hevdes å være allemannseie, det være
827 seg Public Domain Review, Public Domain Torrents og Public Domain
828 Movies (to ulike tjenester med samme navn, på .net og .info), samt
829 lister over filmer med Creative Commons-lisensiering fra Wikipedia,
830 VODO og The Hill Productions. Jeg har gjort endel stikkontroll ved å
831 vurdere filmer som kun omtales på en liste. Der jeg har funnet feil
832 som har gjort meg i tvil om vurderingen til de som har laget listen
833 har jeg forkastet listen fullstendig (gjelder for eksemel en av
834 listene fra IMDB).
</p
>
836 <p
>Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på
837 Internett (fra blant annet Internett-arkivet, Public Domain
838 Torrents, Public Domain Reivew og Public Domain Movies), og knytte
839 dem til oppføringer i IMDB, så har jeg så langt klart å identifisere
840 over
14 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro
841 kan lovlig distribueres av alle på Internett. Som ekstra kilder er
842 det brukt lister over filmer som antas/påstås å være
843 allemannseie. Disse kildene kommer fra miljøer som jobber for å
844 gjøre tilgjengelig for almennheten alle verk som er falt i det fri
845 eller har bruksvilkår som tillater deling.
</p
>
847 <p
>I tillegg til de over
14 000 filmene der tittel-ID i IMDB er
848 identifisert, har jeg funnet mer enn
26 000 oppføringer der jeg ennå
849 ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Jeg har
850 sett at noen av disse er duplikater av de IMDB-oppføringene som er
851 identifisert så langt, men de fleste jeg har hatt tid til å
852 undersøke så langt har vist seg å ikke være duplikater. Retro Film
853 Vault hevder å ha
44 000 filmverk i det fri i sin katalog, så det er
854 mulig at det reelle tallet er betydelig høyere enn de jeg har klart
855 å identifisere så langt. Konklusjonen en kan trekke fra dette er at
856 tallet
14 000 er nedre grense for hvor mange filmer i IMDB som kan
857 lovlig deles på Internett. I
858 følge
<a href=
"https://www.imdb.com/stats
">statistikk fra IMDB
</a
>
859 er det
4.6 millioner titler registrert, hvorav
3 millioner er
860 TV-serieepisoder.
</p
>
862 <p
>Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å deles
863 lovlig på Internett, får en følgende histogram:
</p
>
865 <p align=
"center
"><img src=
"http://people.skolelinux.org/pere/blog/images/
2019-
01-
16-dns-beslag-verkidetfri-
2018-
11-
26-histogram-year.png
"
866 alt=
"histogram over frie filmer per år
" width=
"80%
"/
></p
>
868 <p
>En kan i histogrammet se at effekten av manglende registrering
869 eller fornying av registrering er at mange filmer gitt ut i USA før
870 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere
871 filmer gitt ut de siste årene med bruksvilkår som tillater deling,
872 muligens på grunn av fremveksten
873 av
<a href=
"https://creativecommons.org/
">Creative
874 Commons
</a
>-bevegelsen.
</p
>
876 <p
>IMDB har lagt ut
<a href=
"https://www.imdb.com/interfaces/
">en
877 maskinlesbare liste
</a
> over alle registreringene i sin database, og
878 ved hjelp av denne har jeg oppsummert antall titler per år i
879 kategoriene «movies» og «short», som er det jeg fokuserer på i min
880 telling. Inn i oversikten er det tegnet hvor stor prosentandel
881 antallet filmer som hevdes å kunne deles lovlig på Internett utgjør
882 av IMDB-totalen. Ut fra oversikten får man en ide om hvor stor andel
883 av totalen som kan mangle i min telling, for eksempel ved å merke
884 seg at få prosenter av filmene utgitt tidlig på
1900-tallet er med i
885 min telling.
</p
>
887 <p align=
"center
"><img src=
"http://people.skolelinux.org/pere/blog/images/
2019-
01-
16-dns-beslag-verkidetfri-
2018-
11-
26-histogram-year-imdb.png
"
888 alt=
"histogram over filmer og frie filmer per år
" width=
"80%
" /
></p
>
890 <p
>For maskinell analyse av katalogene laget jeg et lite program som
891 kobler seg til bittorrent-katalogene som brukes av ulike Popcorn
892 Time-varianter og laster ned komplett liste over filmer i
893 katalogene. Dette bekrefter at det er mulig å hente ut komplett
894 liste med alle filmtitler som er tilgjengelig i katalogene, i strid
895 med påstanden i dokumentene
09,
13,
09,
19 og
09,
20. Jeg har sett på
896 fire bittorrent-kataloger. Den ene ble brukt av klienten
897 tilgjengelig fra www.popcorntime.sh
2017-
12-
18 og er navngitt «sh» i
898 dette dokumentet. Den andre brukes i følge dokument
09,
12 av
899 klienten tilgjengelig fra popcorntime.ag og popcorntime.sh på ukjent
900 tidspunkt og er navngitt «yts» i dette dokumentet. Den tredje ble
901 brukt av websidene tilgjengelig fra popcorntime-online.tv
2017-
12-
18
902 og er navngitt «apidomain» i dette dokumentet. Den fjerde ble brukt
903 av klienten tilgjengelig fra popcorn-time.to i følge dokument
09,
12
904 på ukjent tidspunkt, og er navngitt «ukrfnlge» i dette
905 dokumentet. Hvilke kataloger som brukes av ulike Popcorn
906 Time-klienter endrer seg over tid, da Popcorn Time-klientene i
907 praksis er nettlesere som viser frem ulike nettsider og disse
908 nettsidene bytter datakilder når nettsidens eier ønsker det.
</p
>
910 <p
>Metoden som Økokrim legger til grunn, skriver i sitt punkt fire at
911 skjønn er en egnet metode for å finne ut om en film kan lovlig deles
912 på Internett eller ikke, og sier at det ble «vurdert hvorvidt det
913 var rimelig å forvente om at verket var vernet av copyright». For
914 det første er det ikke nok å slå fast om en film er «vernet av
915 copyright» for å vite om det er lovlig å dele den på Internett eller
916 ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår
917 som tillater deling på Internett. Eksempler på dette er Creative
918 Commons-lisensierte filmer som Citizenfour fra
2014 og Sintel fra
919 2010. I tillegg til slike finnes det flere filmer som nå er
920 allemannseie (public domain) på grunn av manglende registrering
921 eller fornying av registrering selv om både regisør,
922 produksjonsselskap og distributør ønsker seg vern. Eksempler på
923 dette er Plan
9 from Outer Space fra
1959 og Night of the Living
924 Dead fra
1968. Alle filmer fra USA som var allemannseie før
925 1989-
03-
01 forble i det fri da Bern-konvensjonen, som tok effekt i
926 USA på det tidspunktet, ikke ble gitt tilbakevirkende
927 kraft.
<a href=
"https://www.latimes.com/local/lanow/la-me-ln-happy-birthday-song-lawsuit-decision-
20150922-story.html
">Historien
928 om sangen «Happy birthday»
</a
>, der betaling for bruk har vært krevd
929 inn i flere tiår selv om sangen ikke var vernet av åndsverksloven,
930 forteller oss at hvert enkelt verk må vurderes nøye og i detalj før
931 en kan slå fast om verket er allemannseie eller ikke, det holder
932 ikke å tro på selverklærte rettighetshavere. Flere eksempel på verk
933 i det fri som feilklassifiseres som vernet er fra dokument
09,
18,
934 som lister opp søkeresultater for pklienten omtalt som
935 popcorntime.sh og i følge notatet kun inneholder en film (The Circus
936 fra
1928) som under tvil kan antas å være allemannseie.
</p
>
938 <p
>Ved rask gjennomlesning av dokument
09,
18, som inneholder
939 skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt
940 både filmen «The Brain That Wouldn
't Die» fra
1962 som
941 er
<a href=
"https://archive.org/details/brain_that_wouldnt_die
">tilgjengelig
942 fra Internett-arkivet
</a
> og
943 som
<a href=
"https://en.wikipedia.org/wiki/List_of_films_in_the_public_domain_in_the_United_States
">i
944 følge Wikipedia er allemannseie i USA
</a
> da den ble gitt ut i
1962
945 uten «copyright»-merking, og filmen «God’s Little Acre» fra
946 1958 <a href=
"https://en.wikipedia.org/wiki/God%
27s_Little_Acre_%
28film%
29">som
947 er lagt ut på Wikipedia
</a
>, der det fortelles at sort/hvit-utgaven
948 er allemannseie. Det fremgår ikke fra dokument
09,
18 om filmen
949 omtalt der er sort/hvit-utgaven. Av kapasitetsårsaker og på grunn av
950 at filmoversikten i dokument
09,
18 ikke er maskinlesbart har jeg
951 ikke forsøkt å sjekke alle filmene som listes opp der om mot liste
952 med filmer som er antatt lovlig kan distribueres på Internet.
</p
>
954 <p
>Ved maskinell gjennomgang av listen med IMDB-referanser under
955 regnearkfanen «Unique titles» i dokument
09.14, fant jeg i tillegg
956 filmen «She Wore a Yellow Ribbon» fra
1949) som nok også er
957 feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig
958 fra Internett-arkivet og markert som allemannseie der. Det virker
959 dermed å være minst fire ganger så mange filmer som kan lovlig deles
960 på Internett enn det som er lagt til grunn når en påstår at minst
961 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere
962 undersøkelser kan avdekke flere. Poenget er uansett ikke hvor mange
963 filmer i listen som er lovlig å dele på Internet, men at metodens
964 punkt med vurdering av «rimelig å forvente om at verket var vernet
965 av copyright» gjør metoden upålitelig.
</p
>
967 <p
>Den omtalte målemetoden velger ut tilfeldige søketermer fra
968 ordlisten Dale-Chall. Den ordlisten inneholder
3000 enkle engelske
969 ord som fjerdeklassinger i USA er forventet å forstå. Det fremgår
970 ikke hvorfor akkurat denne ordlisten er valgt, og det er uklart for
971 meg om den er egnet til å få et representativt utvalg av
972 filmer. Mange av ordene gir tomt søkeresultat. Ved å simulerte
973 tilsvarende søk ser jeg store avvik fra fordelingen i katalogen for
974 enkeltmålinger. Dette antyder at enkeltmålinger av
100 filmer slik
975 målemetoden beskriver er gjort, ikke er velegnet til å finne andel
976 ulovlig innhold i bittorrent-katalogene.
</p
>
978 <p
>En kan motvirke dette store avviket for enkeltmålinger ved å gjøre
979 mange søk og slå sammen resultatet. Jeg har testet ved å gjennomføre
980 100 enkeltmålinger (dvs. måling av (
100x100=)
10 000 tilfeldig
981 valgte filmer) som gir mindre, men fortsatt betydelig avvik, i
982 forhold til telling av filmer pr år i hele katalogen.
</p
>
984 <p
>Målemetoden henter ut de fem øverste i
985 søkeresultatet. Søkeresultatene er sortert på antall
986 bittorrent-klienter registrert som delere i katalogene, hvilket kan
987 gi en slagside mot hvilke filmer som er populære blant de som bruker
988 bittorrent-katalogene, uten at det forteller noe om hvilket innhold
989 som er tilgjengelig eller hvilket innhold som deles med Popcorn
990 Time-klienter. Jeg har forsøkt å måle hvor stor en slik slagside
991 eventuelt er ved å sammenligne fordelingen hvis en tar de
5 nederste
992 i søkeresultatet i stedet. Avviket for disse to metodene for flere
993 av katalogene er godt synlig på histogramet. Her er histogram over
994 filmer funnet i den komplette katalogen (grønn strek), og filmer
995 funnet ved søk etter ord i Dale-Chall. Grafer merket «top» henter
996 fra de
5 første i søkeresultatet, mens de merket «bottom» henter fra
997 de
5 siste. En kan her se at resultatene påvirkes betydelig av
998 hvorvidt en ser på de første eller de siste filmene i et
1001 <p align=
"center
">
1002 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-sh-top.png
" width=
"40%
" /
>
1003 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-sh-bottom.png
" width=
"40%
" /
>
1005 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-yts-top.png
" width=
"40%
" /
>
1006 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-yts-bottom.png
" width=
"40%
" /
>
1008 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-ukrfnlge-top.png
" width=
"40%
" /
>
1009 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-ukrfnlge-bottom.png
" width=
"40%
" /
>
1011 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-apidomain-top.png
" width=
"40%
" /
>
1012 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-apidomain-bottom.png
" width=
"40%
" /
>
1015 <p
>Det er viktig å merke seg at de omtalte bittorrent-katalogene ikke
1016 er laget for bruk med Popcorn Time, men for ulike miljøer av
1017 bittorrent-brukere. Eksempelvis tilhører katalogen YTS, som brukes
1018 av klientet som ble lastes ned fra popcorntime.sh, et selvstendig
1019 fildelings-relatert nettsted YTS.AG med et separat
1020 brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke
1021 (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til
1022 innholdet i disse katalogene.
</p
>
1026 <p id=
"dok-
09-
13">Metoden fra Økokrims dokument
09,
13 i straffesaken
1027 om DNS-beslag.
</p
>
1031 <p
><strong
>1. Evaluation of (il)legality
</strong
></p
>
1033 <p
><strong
>1.1. Methodology
</strong
>
1035 <p
>Due to its technical configuration, Popcorn Time applications don
't
1036 allow to make a full list of all titles made available. In order to
1037 evaluate the level of illegal operation of PCT, the following
1038 methodology was applied:
</p
>
1042 <li
>A random selection of
50 keywords, greater than
3 letters, was
1043 made from the Dale-Chall list that contains
3000 simple English
1044 words1. The selection was made by using a Random Number
1045 Generator2.
</li
>
1047 <li
>For each keyword, starting with the first randomly selected
1048 keyword, a search query was conducted in the movie section of the
1049 respective Popcorn Time application. For each keyword, the first
1050 five results were added to the title list until the number of
100
1051 unique titles was reached (duplicates were removed).
</li
>
1053 <li
>For one fork, .CH, insufficient titles were generated via this
1054 approach to reach
100 titles. This was solved by adding any
1055 additional query results above five for each of the
50 keywords.
1056 Since this still was not enough, another
42 random keywords were
1057 selected to finally reach
100 titles.
</li
>
1059 <li
>It was verified whether or not there is a reasonable expectation
1060 that the work is copyrighted by checking if they are available on
1061 IMDb, also verifying the director, the year when the title was
1062 released, the release date for a certain market, the production
1063 company/ies of the title and the distribution company/ies.
</li
>
1067 <p
><strong
>1.2. Results
</strong
></p
>
1069 <p
>Between
6 and
9 June
2016, four forks of Popcorn Time were
1070 investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and
1071 popcorntime.ch. An excel sheet with the results is included in
1072 Appendix
1. Screenshots were secured in separate Appendixes for each
1073 respective fork, see Appendix
2-
5.
</p
>
1075 <p
>For each fork, out of
100, de-duplicated titles it was possible to
1076 retrieve data according to the parameters set out above that indicate
1077 that the title is commercially available. Per fork, there was
1 title
1078 that presumably falls within the public domain, i.e. the
1928 movie
1079 "The Circus
" by and with Charles Chaplin.
</p
>
1081 <p
>Based on the above it is reasonable to assume that
99% of the movie
1082 content of each fork is copyright protected and is made available
1083 illegally.
</p
>
1085 <p
>This exercise was not repeated for TV series, but considering that
1086 besides production companies and distribution companies also
1087 broadcasters may have relevant rights, it is reasonable to assume that
1088 at least a similar level of infringement will be established.
</p
>
1090 <p
>Based on the above it is reasonable to assume that
99% of all the
1091 content of each fork is copyright protected and are made available
1092 illegally.
</p
>
1096 <p
>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til
1097 det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner
1099 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
1100 Merk, betaling med bitcoin er ikke anonymt. :)
</p
>