1 <?xml version=
"1.0" encoding=
"utf-8"?>
2 <rss version='
2.0' xmlns:lj='http://www.livejournal.org/rss/lj/
1.0/' xmlns:
atom=
"http://www.w3.org/2005/Atom">
4 <title>Petter Reinholdtsen
</title>
5 <description></description>
6 <link>http://people.skolelinux.org/pere/blog/
</link>
7 <atom:link href=
"http://people.skolelinux.org/pere/blog/index.rss" rel=
"self" type=
"application/rss+xml" />
10 <title>MIME type
"text/vnd.sosi
" for SOSI map data
</title>
11 <link>http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html
</link>
12 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html
</guid>
13 <pubDate>Mon,
20 May
2019 08:
35:
00 +
0200</pubDate>
14 <description><p
>As part of my involvement in the work to
15 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard
">standardise
16 a REST based API for Noark
5</a
>, the Norwegian archiving standard, I
17 spent some time the last few months to try to register a
18 <a href=
"https://www.iana.org/assignments/media-types/
">MIME type
</a
>
19 and
<a href=
"https://www.nationalarchives.gov.uk/PRONOM/
">PRONOM
20 code
</a
> for the SOSI. The background is that there is a set of
21 formats approved for long term storage and archiving in Norway, and
22 among these formats, SOSI is the only format missing a MIME type and
23 PRONOM code.
</p
>
25 <p
>What is SOSI, you might ask? To quote Wikipedia: SOSI is short for
26 Samordnet Opplegg for Stedfestet Informasjon (literally
"Coordinated
27 Approach for Spatial Information
", but more commonly expanded in
28 English to Systematic Organization of Spatial Information). It is a
29 text based file format for geo-spatial vector information used in
30 Norway. Information about the SOSI format can be found in English
31 from
<a href=
"https://en.wikipedia.org/wiki/SOSI
">Wikipedia
</a
>. The
32 specification is available in Norwegian from
33 <a href=
"https://www.kartverket.no/geodataarbeid/Standarder/SOSI/
">the
34 Norwegian mapping authority
</a
>. The SOSI standard, which originated
35 in the beginning of ninety eighties, was the inspiration and formed the
36 basis for the XML based
37 <a href=
"https://en.wikipedia.org/wiki/Geography_Markup_Language
">Geography
38 Markup Language
</a
>.
</p
>
40 <p
>I have so far written
41 <a href=
"https://github.com/file/file/pull/
67">a pattern matching
42 rule
</a
> for the file(
1) unix tool to recognize SOSI files, submitted
43 a request to the PRONOM project to have a PRONOM ID assigned to the
44 format (reference TNA1555078202S60), and today send a request to IANA
45 to register the
"text/vnd.sosi
" MIME type for this format
46 <a href=
"https://tools.iana.org/public-view/viewticket/
1143144">[IANA
47 #
1143144]
</a
>. If all go well, in a few months, anyone implementing
48 the Noark
5 Tjenestegrensesnitt API spesification should be able to
49 use an official MIME type and PRONOM code for SOSI files.
</p
>
51 <p
>So far, SOSI files has been handed out from web sites using the
52 "application/octet-stream
" MIME type, which is just a nice way of
53 stating
"I do not know
". Soon, we will know. :)
</p
>
55 <p
>As usual, if you use Bitcoin and want to show your support of my
56 activities, please send Bitcoin donations to my address
57 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
62 <title>PlantUML for text based UML diagram modelling - nice free software
</title>
63 <link>http://people.skolelinux.org/pere/blog/PlantUML_for_text_based_UML_diagram_modelling___nice_free_software.html
</link>
64 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/PlantUML_for_text_based_UML_diagram_modelling___nice_free_software.html
</guid>
65 <pubDate>Mon,
25 Mar
2019 09:
35:
00 +
0100</pubDate>
66 <description><p
>As part of my involvement with the
67 <a href=
"https://gitlab.com/OsloMet-ABI/nikita-noark5-core/
">Nikita
68 Noark
5 core project
</a
>, I have been proposing improvements to the
69 API specification created by
<a href=
"https://www.arkivverket.no/
">The
70 National Archives of Norway
</a
> and helped migrating the text from a
71 version control system unfriendly binary format (docx) to Markdown in
72 git. Combined with the migration to a public git repository (on
73 github), this has made it possible for anyone to suggest improvement
74 to the text.
</p
>
76 <p
>The specification is filled with UML diagrams. I believe the
77 original diagrams were modelled using Sparx Systems Enterprise
78 Architect, and exported as EMF files for import into docx. This
79 approach make it very hard to track changes using a version control
80 system. To improve the situation I have been looking for a good text
81 based UML format with associated command line free software tools on
82 Linux and Windows, to allow anyone to send in corrections to the UML
83 diagrams in the specification. The tool must be text based to work
84 with git, and command line to be able to run it automatically to
85 generate the diagram images. Finally, it must be free software to
86 allow anyone, even those that can not accept a non-free software
87 license, to contribute.
</p
>
89 <p
>I did not know much about free software UML modelling tools when I
90 started. I have used dia and inkscape for simple modelling in the
91 past, but neither are available on Windows, as far as I could tell. I
93 <a href=
"https://modeling-languages.com/text-uml-tools-complete-list/
">list
94 of text mode uml tools
</a
>, and tested out a few of the tools listed
95 there.
<a href=
"http://plantuml.com/
">The PlantUML tool
</a
> seemed
96 most promising. After verifying that the packages
97 <a href=
"https://tracker.debian.org/pkg/plantuml
">is available in
98 Debian
</a
> and found
<a href=
"https://github.com/plantuml/plantuml
">its
99 Java source
</a
> under a GPL license on github, I set out to test if it
100 could represent the diagrams we needed, ie the ones currently in
101 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/
">the
102 Noark
5 Tjenestegrensesnitt specification
</a
>. I am happy to report
103 that it could represent them, even thought it have a few warts here
106 <p
>After a few days of modelling I completed the task this weekend. A
107 temporary link to the complete set of diagrams (original and from
108 PlantUML) is available in
109 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/
76">the
110 github issue discussing the need for a text based UML format
</a
>, but
111 please note I lack a sensible tool to convert EMF files to PNGs, so
112 the
"original
" rendering is not as good as the original was in the
113 publised PDF.
</p
>
115 <p
>Here is an example UML diagram, showing the core classes for
116 keeping metadata about archived documents:
</p
>
120 skinparam classAttributeIconSize
0
122 !include media/uml-class-arkivskaper.iuml
123 !include media/uml-class-arkiv.iuml
124 !include media/uml-class-klassifikasjonssystem.iuml
125 !include media/uml-class-klasse.iuml
126 !include media/uml-class-arkivdel.iuml
127 !include media/uml-class-mappe.iuml
128 !include media/uml-class-merknad.iuml
129 !include media/uml-class-registrering.iuml
130 !include media/uml-class-basisregistrering.iuml
131 !include media/uml-class-dokumentbeskrivelse.iuml
132 !include media/uml-class-dokumentobjekt.iuml
133 !include media/uml-class-konvertering.iuml
134 !include media/uml-datatype-elektronisksignatur.iuml
136 Arkivstruktur.Arkivskaper
"+arkivskaper
1..*
" <-o
"+arkiv
0..*
" Arkivstruktur.Arkiv
137 Arkivstruktur.Arkiv o--
> "+underarkiv
0..*
" Arkivstruktur.Arkiv
138 Arkivstruktur.Arkiv
"+arkiv
1" o--
> "+arkivdel
0..*
" Arkivstruktur.Arkivdel
139 Arkivstruktur.Klassifikasjonssystem
"+klassifikasjonssystem [
0.
.1]
" <--o
"+arkivdel
1..*
" Arkivstruktur.Arkivdel
140 Arkivstruktur.Klassifikasjonssystem
"+klassifikasjonssystem [
0.
.1]
" o--
> "+klasse
0..*
" Arkivstruktur.Klasse
141 Arkivstruktur.Arkivdel
"+arkivdel
0.
.1" o--
> "+mappe
0..*
" Arkivstruktur.Mappe
142 Arkivstruktur.Arkivdel
"+arkivdel
0.
.1" o--
> "+registrering
0..*
" Arkivstruktur.Registrering
143 Arkivstruktur.Klasse
"+klasse
0.
.1" o--
> "+mappe
0..*
" Arkivstruktur.Mappe
144 Arkivstruktur.Klasse
"+klasse
0.
.1" o--
> "+registrering
0..*
" Arkivstruktur.Registrering
145 Arkivstruktur.Mappe --
> "+undermappe
0..*
" Arkivstruktur.Mappe
146 Arkivstruktur.Mappe
"+mappe
0.
.1" o--
> "+registrering
0..*
" Arkivstruktur.Registrering
147 Arkivstruktur.Merknad
"+merknad
0..*
" <--* Arkivstruktur.Mappe
148 Arkivstruktur.Merknad
"+merknad
0..*
" <--* Arkivstruktur.Dokumentbeskrivelse
149 Arkivstruktur.Basisregistrering -|
> Arkivstruktur.Registrering
150 Arkivstruktur.Merknad
"+merknad
0..*
" <--* Arkivstruktur.Basisregistrering
151 Arkivstruktur.Registrering
"+registrering
1..*
" o--
> "+dokumentbeskrivelse
0..*
" Arkivstruktur.Dokumentbeskrivelse
152 Arkivstruktur.Dokumentbeskrivelse
"+dokumentbeskrivelse
1" o-
> "+dokumentobjekt
0..*
" Arkivstruktur.Dokumentobjekt
153 Arkivstruktur.Dokumentobjekt *-
> "+konvertering
0..*
" Arkivstruktur.Konvertering
154 Arkivstruktur.ElektroniskSignatur -[hidden]-
> Arkivstruktur.Dokumentobjekt
158 <p
><a href=
"http://plantuml.com/class-diagram
">The format
</a
> is quite
159 compact, with little redundant information. The text expresses
160 entities and relations, and there is little layout related fluff. One
161 can reuse content by using include files, allowing for consistent
162 naming across several diagrams. The include files can be standalone
163 PlantUML too. Here is the content of
164 <tt
>media/uml-class-arkivskaper.iuml
<tt
>:
</p
>
168 class Arkivstruktur.Arkivskaper
<Arkivenhet
> {
169 +arkivskaperID : string
170 +arkivskaperNavn : string
171 +beskrivelse : string [
0.
.1]
176 <p
>This is what the complete diagram for the PlantUML notation above
179 <p
><img width=
"80%
" src=
"http://people.skolelinux.org/pere/blog/images/
2019-
03-
25-noark5-plantuml-diagrameksempel.png
"></p
>
181 <p
>A cool feature of PlantUML is that the generated PNG files include
182 the entire original source diagram as text. The source (with include
183 statements expanded) can be extracted using for example
184 <tt
>exiftool
</tt
>. Another cool feature is that parts of the entities
185 can be hidden after inclusion. This allow to use include files with
186 all attributes listed, even for UML diagrams that should not list any
187 attributes.
</p
>
189 <p
>The diagram also show some of the warts. Some times the layout
190 engine place text labels on top of each other, and some times it place
191 the class boxes too close to each other, not leaving room for the
192 labels on the relationship arrows. The former can be worked around by
193 placing extra newlines in the labes (ie
"\n
"). I did not do it here
194 to be able to demonstrate the issue. I have not found a good way
195 around the latter, so I normally try to reduce the problem by changing
196 from vertical to horizontal links to improve the layout.
</p
>
198 <p
>All in all, I am quite happy with PlantUML, and very impressed with
199 how quickly its lead developer responds to questions. So far I got an
200 answer to my questions in a few hours when I send an email. I
201 definitely recommend looking at PlantUML if you need to make UML
202 diagrams. Note, PlantUML can draw a lot more than class relations.
203 Check out the documention for a complete list. :)
</p
>
205 <p
>As usual, if you use Bitcoin and want to show your support of my
206 activities, please send Bitcoin donations to my address
207 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
212 <title>Release
0.3 of free software archive API system Nikita announced
</title>
213 <link>http://people.skolelinux.org/pere/blog/Release_0_3_of_free_software_archive_API_system_Nikita_announced.html
</link>
214 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Release_0_3_of_free_software_archive_API_system_Nikita_announced.html
</guid>
215 <pubDate>Sun,
24 Mar
2019 14:
30:
00 +
0100</pubDate>
216 <description><p
>Yesterday, a new release of
217 <a href=
"https://gitlab.com/OsloMet-ABI/nikita-noark5-core/
">Nikita
218 Noark
5 core project
</a
> was
219 <a href=
"https://lists.nuug.no/pipermail/nikita-noark/
2019-March/
000451.html
">announced
220 on the project mailing list
</a
>. The free software solution is an
221 implementation of the Norwegian archive standard Noark
5 used by
222 government offices in Norway. These were the changes in version
0.3
223 since version
0.2.1 (from NEWS.md):
</p
>
226 <li
>Improved ClassificationSystem and Class behaviour.
</li
>
227 <li
>Tidied up known inconsistencies between domain model and hateaos links.
</li
>
228 <li
>Added experimental code for blockchain integration.
</li
>
229 <li
>Make token expiry time configurable at upstart from properties file.
</li
>
230 <li
>Continued work on OData search syntax.
</li
>
231 <li
>Started work on pagination for entities, partly implemented for Saksmappe.
</li
>
232 <li
>Finalise ClassifiedCode Metadata entity.
</li
>
233 <li
>Implement mechanism to check if authentication token is still
234 valid. This allow the GUI to return a more sensible message to the
235 user if the token is expired.
</li
>
236 <li
>Reintroduce browse.html page to allow user to browse JSON API using
237 hateoas links.
</li
>
238 <li
>Fix bug in handling file/mappe sequence number. Year change was
239 not properly handled.
</li
>
240 <li
>Update application yml files to be in sync with current development.
</li
>
241 <li
>Stop
'converting
' everything to PDF using libreoffice. Only
242 convert the file formats doc, ppt, xls, docx, pptx, xlsx, odt, odp
244 <li
>Continued code style fixing, making code more readable.
</li
>
245 <li
>Minor bug fixes.
</li
>
249 <p
>If free and open standardized archiving API sound interesting to
250 you, please contact us on IRC
251 (
<a href=
"irc://irc.freenode.net/%
23nikita
">#nikita on
252 irc.freenode.net
</a
>) or email
253 (
<a href=
"https://lists.nuug.no/mailman/listinfo/nikita-noark
">nikita-noark
254 mailing list
</a
>).
</p
>
256 <p
>As usual, if you use Bitcoin and want to show your support of my
257 activities, please send Bitcoin donations to my address
258 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
263 <title>Åpen og gjennomsiktig vedlikehold av spesifikasjonen for Noark
5 Tjenestegrensesnitt
</title>
264 <link>http://people.skolelinux.org/pere/blog/_pen_og_gjennomsiktig_vedlikehold_av_spesifikasjonen_for_Noark_5_Tjenestegrensesnitt.html
</link>
265 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/_pen_og_gjennomsiktig_vedlikehold_av_spesifikasjonen_for_Noark_5_Tjenestegrensesnitt.html
</guid>
266 <pubDate>Mon,
11 Mar
2019 16:
00:
00 +
0100</pubDate>
267 <description><p
>Et virksomhetsarkiv for meg, er et arbeidsverktøy der en enkelt kan
268 finne informasjonen en trenger når en trenger det, og der
269 virksomhetens samlede kunnskap er tilgjengelig. Det må være greit å
270 finne frem i, litt som en bibliotek. Men der et bibliotek gjerne tar
271 vare på offentliggjort informasjon som er tilgjengelig flere steder,
272 tar et arkiv vare på virksomhetsintern og til tider personlig
273 informasjon som ofte kun er tilgjengelig fra et sted.
</p
>
275 <p
>Jeg mistenker den eneste måten å sikre at arkivet inneholder den
276 samlede kunnskapen i en virksomhet, er å bruke det som virksomhetens
277 kunnskapslager. Det innebærer å automatisk kopiere (brev, epost,
278 SMS-er etc) inn i arkivet når de sendes og mottas, og der filtrere
279 vekk det en ikke vil ta vare på, og legge på metadata om det som er
280 samlet inn for enkel gjenfinning. En slik bruk av arkivet innebærer at
281 arkivet er en del av daglig virke, ikke at det er siste hvilested for
282 informasjon ingen lenger har daglig bruk for. For å kunne være en del
283 av det daglige virket må arkivet enkelt kunne integreres med andre
284 systemer. I disse dager betyr det å tilby arkivet som en
285 nett-tjeneste til hele virksomheten, tilgjengelig for både mennesker
286 og datamaskiner. Det betyr i tur å både tilby nettsider og et
287 maskinlesbart grensesnitt.
</p
>
289 <p
>For noen år siden erkjente visjonære arkivarer fordelene med et
290 standardisert maskinlesbart grensesnitt til organisasjonens arkiv. De
291 gikk igang med å lage noe de kalte
292 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/
">Noark
293 5 Tjenestegrensesnitt
</a
>. Gjort riktig, så åpner slike maskinlesbare
294 grensesnitt for samvirke på tvers av uavhengige programvaresystemer.
295 Gjort feil, vil det blokkere for samvirke og bidra til
296 leverandørinnlåsing. For å gjøre det riktig så må grensesnittet være
297 klart og entydig beskrevet i en spesifikasjon som gjør at
298 spesifikasjonen tolkes på samme måte uavhengig av hvem som leser den,
299 og uavhengig av hvem som tar den i bruk.
</p
>
301 <p
>For å oppnå klare og entydige beskrivelser i en spesifikasjon, som
302 trengs for å kunne få en fri og åpen standard (se
303 <a href=
"http://people.skolelinux.org/pere/blog/Fri_og__pen_standard__slik_Digistan_ser_det.html
">Digistan-definisjon
</a
>),
304 så trengs det en åpen og gjennomsiktig inngangsport med lav terskel,
305 der de som forsøker å ta den i bruk enkelt kan få inn korreksjoner,
306 etterlyse klargjøringer og rapportere uklarheter i spesifikasjonen.
307 En trenger også automatiserte datasystemer som måler og sjekker at et
308 gitt grensesnitt fungerer i tråd med spesifikasjonen.
</p
>
310 <p
>For Noark
5 Tjenestegrensesnittet er det nå etablert en slik åpen
311 og gjennomsiktig inngangsport på prosjekttjenesten github. Denne
312 inngangsporten består først og fremst av en åpen portal som lar enhver
313 se hva som er gjort av endringer i spesifikasjonsteksten over tid, men
314 det hører også med et åpent
&quot;diskusjonsforum
&quot; der en kan
315 komme med endringsforslag og forespørsler om klargjøringer. Alle
316 registrerte brukere på github kan bidra med innspill til disse
317 henvendelsene.
</p
>
319 <p
>I samarbeide med Arkivverket har jeg fått opprettet et git-depot
320 med spesifikasjonsteksten for tjenestegrensesnittet, der det er lagt
321 inn historikk for endringer i teksten de siste årene, samt lagt inn
322 endringsforslag og forespørsler om klargjøring av teksten. Bakgrunnen
323 for at jeg bidro med dette er at jeg er involvert i
324 <a href=
"https://gitlab.com/OsloMet-ABI/nikita-noark5-core
">Nikita-prosjektet
</a
>,
325 som lager en fri programvare-utgave av Noark
5 Tjenestegrensesnitt.
326 Det er først når en forsøker å lage noe i tråd med en spesifikasjon at
327 en oppdager hvor mange detaljer som må beskrives i spesifikasjonen for
328 å sikre samhandling.
</p
>
330 <p
>Spesifikasjonen vedlikeholdes i et rent tekstformat, for å ha et
331 format egnet for versjonskontroll via versjontrollsystemet git. Dette
332 gjør det både enkelt å se konkret hvilke endringer som er gjort når,
333 samt gjør det praktisk mulig for enhver med github-konto å sende inn
334 endringsforslag med formuleringer til spesifikasjonsteksten. Dette
335 tekstformatet vises frem som nettsider på github, slik at en ikke
336 trenger spesielle verktøy for å se på siste utgave av
337 spesifikasjonen.
</p
>
339 <p
>Fra dette rene tekstformatet kan det så avledes ulike formater, som
340 HTML for websider, PDF for utskrift på papir og ePub for lesing med
341 ebokleser. Avlednings-systemet (byggesystemet) bruker i dag
342 verktøyene pandoc, latex, docbook-xsl og GNU make til
343 transformasjonen. Tekstformatet som brukes dag er
344 <a href=
"https://www.markdownguide.org/
">Markdown
</a
>, men det vurderes
346 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/
9">endre
347 til formatet RST
</a
> i fremtiden for bedre styring av utseende på
348 PDF-utgaven.
</p
>
350 <p
>Versjonskontrollsystemet git ble valgt da det er både fleksibelt,
351 avansert og enkelt å ta i bruk. Github ble valgt (foran f.eks. Gitlab
352 som vi bruker i Nikita), da Arkivverket allerede hadde tatt i bruk
353 Github i andre sammenhenger.
</p
>
355 <p
>Enkle endringer i teksten kan gjøres av priviligerte brukere
356 direkte i nettsidene til Github, ved å finne aktuell fil som skal
357 endres (f.eks. kapitler/
03-konformitet.md), klikke på den lille
358 bokstaven i høyre hjørne over teksten. Det kommer opp en nettside der
359 en kan endre teksten slik en ønsker. Når en er fornøyd med endringen
360 så må endringen
&quot;sjekkes inn
&quot; i historikken. Det gjøres ved
361 å gi en kort beskrivelse av endringen (beskriv helst hvorfor endringen
362 trengs, ikke hva som er endret), under overskriften
&quot;Commit
363 changes
&quot;. En kan og bør legge inn en lengre forklaring i det
364 større skrivefeltet, før en velger om endringen skal sendes direkte
365 til
'master
'-grenen (dvs. autorativ utgave av spesifikasjonen) eller
366 om en skal lage en ny gren for denne endringen og opprette en
367 endringsforespørsel (aka
&quot;Pull Request
&quot;/PR). Når alt dette
368 er gjort kan en velge
&quot;Commit changes
&quot; for å sende inn
369 endringen. Hvis den er lagt inn i
&quot;master
&quot;-grenen så er den
370 en offisiell del av spesifikasjonen med en gang. Hvis den derimot er
371 en endringsforespørsel, så legges den inn i
372 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/pulls
">listen
373 over forslag til endringer
</a
> som venter på korrekturlesing og
374 godkjenning.
</p
>
376 <p
>Større endringer (for eksempel samtidig endringer i flere filer)
377 gjøres enklest ved å hente ned en kopi av git-depoet lokalt og gjøre
378 endringene der før endringsforslaget sendes inn. Denne prosessen er
379 godt beskrivet i dokumentasjon fra github. Git-prosjektet som skal
380 &quot;klones
&quot; er
381 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/
">https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/
</a
>.
</p
>
383 <p
>For å registrere nye utfordringer (issues) eller kommentere på
384 eksisterende utfordringer benyttes nettsiden
385 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues
">https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues
</a
>.
386 I skrivende stund er det
48 åpne og
11 avsluttede utfordringer. Et
387 forslag til hva som bør være med når en beskriver en utfordring er
388 tilgjengelig som utfordring
389 <a href=
"https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/
14">#
14</a
>.
</p
>
391 <p
>For å bygge en PDF-utgave av spesifikasjonen så bruker jeg i dag en
392 Debian GNU/Linux-maskin med en rekke programpakker installert. Når
393 dette er på plass, så holder det å kjøre kommandoen
'make pdf html
' på
394 kommandolinjen, vente ca.
20 sekunder, før spesifikasjon.pdf og
395 spesifikasjon.html ligger klar på disken. Verktøyene for bygging av
396 PDF, HTML og ePub-utgave er også tilgjengelig på Windows og
399 <p
>Github bidrar med rammeverket. Men for at åpent vedlikehold av
400 spesifikasjonen skal fungere, så trengs det folk som bidrar med sin
401 tid og kunnskap. Arkivverket har sagt de skal bidra med innspill og
402 godkjenne forslag til endringer, men det blir størst suksess hvis alle
403 som bruker og lager systemer basert på Noark
5 Tjenestegrensesnitt
404 bidrar med sin kunnskap og kommer med forslag til forebedringer. Jeg
405 stiller. Blir du med?
</p
>
407 <p
>Det er viktig å legge til rette for åpen diskusjon blant alle
408 interesserte, som ikke krever at en må godta lange kontrakter med
409 vilkår for deltagelse. Inntil Arkivverket dukker opp på IRC har vi
410 laget en IRC-kanal der interesserte enkelt kan orientere seg og
411 diskutere tjenestegrensesnittet. Alle er velkommen til å ta turen
413 <a href=
"https://webchat.freenode.net/?channels=nikita
">#nikita
</a
>
414 (f.eks. via irc.freenode.net) for å møte likesinnede.
</p
>
416 <p
>Det holder dog ikke å ha en god spesifikasjon, hvis ikke de som tar
417 den i bruk gjør en like god jobb. For å automatisk teste om et konkret
418 tjenestegrensesnitt følger (min) forståelse av
419 spesifikasjonsdokumentet, har jeg skrevet et program som kobler seg
420 opp til et Noark
5v4 REST-tjeneste og tester alt den finner for å se
421 om det er i henhold til min tolkning av spesifikasjonen. Dette
422 verktøyet er tilgjengelig fra
423 <a href=
"https://github.com/petterreinholdtsen/noark5-tester
">https://github.com/petterreinholdtsen/noark5-tester
</a
>,
424 og brukes daglig mens vi utvikler Nikita for å sikre at vi ikke
425 introduserer nye feil. Hvis en skal sikre samvirke på tvers av ulike
426 systemer er det helt essensielt å kunne raskt og automatisk sjekke at
427 tjenestegrensesnittet oppfører seg som forventet. Jeg håper andre som
428 lager sin utgave av tjenestegrensesnittet vi bruke dette verktøyet,
429 slik at vi tidlig og raskt kan oppdage hvor vi har tolket
430 spesifikasjonen ulikt, og dermed få et godt grunnlag for å gjøre
431 spesifikasjonsteksten enda klarere og bedre.
</p
>
433 <p
>Dagens beskrivelse av Noark
5 Tjenestegrensesnitt er et svært godt
434 utgangspunkt for å gjøre virksomhetens arkiv til et dynamisk og
435 sentralt arbeidsverktøy i organisasjonen. Blir du med å gjøre den
436 enda bedre?
</p
>
441 <title>Dårlig med sikkerhetsoppdateringer for Ruters billettautomater i Oslo?
</title>
442 <link>http://people.skolelinux.org/pere/blog/D_rlig_med_sikkerhetsoppdateringer_for_Ruters_billettautomater_i_Oslo_.html
</link>
443 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/D_rlig_med_sikkerhetsoppdateringer_for_Ruters_billettautomater_i_Oslo_.html
</guid>
444 <pubDate>Wed,
13 Feb
2019 10:
45:
00 +
0100</pubDate>
445 <description><p
><a href=
"http://people.skolelinux.org/pere/blog/Er_billettautomatene_til_kollektivtrafikken_i_Oslo_uten_sikkerhetsoppdateringer_.html
">For
446 syv år siden
</a
> oppdaget jeg at billettautomater for
447 kollektivtrafikken i Oslo kjørte
448 <a href=
"http://en.wikipedia.org/wiki/Windows_2000
">Windows
2000
449 Professional
</a
>. Operativsystemet har ikke fått sikkerhetsfikser fra
450 Microsoft siden
2010-
07-
13 i følge dem selv. Den samme versjonen av
451 operativsystemet var i bruk
452 <a href=
"http://people.skolelinux.org/pere/blog/Fortsatt_ingen_sikkerhetsoppdateringer_for_billettautomatene_til_kollektivtrafikken_i_Oslo_.html
">for
453 to og et halvt år siden
</a
>, og jammen er det ikke også i bruk den dag
456 <p align=
"center
"><a href=
"http://people.skolelinux.org/pere/blog/images/
2019-
02-
13-ruter-win2000pro.jpeg
"><img width=
"40%
" src=
"http://people.skolelinux.org/pere/blog/images/
2019-
02-
13-ruter-win2000pro.jpeg
" alt=
"[Bilde av Ruters billettautomat med Windows
2000-feilmelding]
"></a
></p
>
458 <p
>Bildet er tatt i dag av Kirill Miazine og tilgjengelig for bruk med
460 <a href=
"http://creativecommons.org/licenses/by/
4.0/
">Creative
461 Commons Attribution
4.0 International (CC BY
4.0)
</a
>.
</p
>
463 <p
>Kanskje det hadde vært
464 <a href=
"https://www.aftenposten.no/osloby/i/awqgO/Her-kjorer-du-gratis-trikk-og-buss
">bedre
465 med gratis kollektivtrafikk
</A
>, slik at vi slapp å stole på
466 datakompetansen til Ruter for å verne våre privatliv samt holde
467 personopplysninger og betalingsinformasjon unna uvedkommende. Eneste
468 måten å sikre at hvor en befinner seg ikke kan hentes ut fra Ruters
469 systemer er å betale enkeltbilletter med kontanter. Jeg vet at Ruter
470 har en god historie om hvor personvernvennlige mobil-app og
471 RFID-kortene er, men den historien er ikke mulig å uavhengig
472 kontrollere uten priviligert tilgang til interne system og blir dermed
473 bare nok en god historie basert på tillit til de som forteller
474 historien. Det er ikke slik en sikrer privatsfæren. Det gjør en ved
475 å sikre at det ikke (kan) registreres informasjon om ens person.
</p
>
477 <p
>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til
478 det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner
480 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
481 Merk, betaling med bitcoin er ikke anonymt. :)
</p
>
486 <title>Stortinget vedtar maskinlesbart register over
20% av selskapseierne i Norge
</title>
487 <link>http://people.skolelinux.org/pere/blog/Stortinget_vedtar_maskinlesbart_register_over_20__av_selskapseierne_i_Norge.html
</link>
488 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Stortinget_vedtar_maskinlesbart_register_over_20__av_selskapseierne_i_Norge.html
</guid>
489 <pubDate>Thu,
7 Feb
2019 23:
55:
00 +
0100</pubDate>
490 <description><p
>Jeg registrerer med glede at Stortinget i dag har
491 <a href=
"https://www.stortinget.no/no/Saker-og-publikasjoner/Saker/Sak/?p=
72826">vedtatt
492 at det skal vedlikeholdes et åpent og maskinlesbart register over
493 reelle rettighetshavere i Norge
</a
>. Her kan en kanskje få et
494 register som kan brukes til å analysere eierskap og kontroll i Norge
495 maskinelt og knytte det til internasjonale databaser som
496 <a href=
"https://opencorporates.com/
">OpenCorporates
</a
>. Det liker
499 <p
>Den vedtatte grense på
25 prosents eierandel fikk stor
500 oppmerksomhet i debatten. Jeg ser fra enkel analyse av skatteetatens
501 eierskapsregister at
80.4% av alle selskapseiere i registeret har
502 mindre enn
25% eierandel, mot
73.8% som har mindre enn
5% eierandel.
503 En grense på
25% vil altså utelukke
80.4% av selskapseierne fra det
504 vedtatte registeret, og en grense på
5% vil skjule
73.8%. En må helt
505 ned i registrering av eierandeler over circa
0.002% for å få mer enn
506 halvparten av selskapseierne i Norge. Mon tro hvor langt ned en må i
507 eierprosent for å få med alle eierskapene til politisk valgte
508 representanter?
</p
>
510 <p
>Jeg biter meg også merke i at Sivert Bjørnstad fra FrP
511 tilsynelatende tror at aksjonærregisteret er et eksisterende åpent
512 register, på tross av at det så vidt jeg vet kun deles ved personlig
513 oppmøte hos skatteetaten og ikke er tilgjengelig i maskinlesbart
514 format for enhver, og dermed så langt ikke er importert inn i
515 OpenCorporates. Det anser jeg ikke for et spesielt åpent register.
516 Debatten ga ellers lite håp om at situasjonen bedrer seg, da
517 finansministeren bare henviste til en fraværende næringsministeren og
518 ikke ville uttale seg om et skikkelig aksjonærregister snart dukker
521 <p
>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til
522 det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner
524 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
525 Merk, betaling med bitcoin er ikke anonymt. :)
</p
>
530 <title>Websocket from Kraken in Valutakrambod
</title>
531 <link>http://people.skolelinux.org/pere/blog/Websocket_from_Kraken_in_Valutakrambod.html
</link>
532 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Websocket_from_Kraken_in_Valutakrambod.html
</guid>
533 <pubDate>Fri,
1 Feb
2019 22:
25:
00 +
0100</pubDate>
534 <description><p
>Yesterday, the Kraken virtual currency exchange announced
535 <a href=
"https://blog.kraken.com/post/
2019/websockets-public-api-launching-soon/
">their
536 Websocket service
</a
>, providing a stream of exchange updates to its
537 clients. Getting updated rates quickly is a good idea, so I used
538 their
<a href=
"https://www.kraken.com/en-us/help/websocket-api
">API
539 documentation
</a
> and added Websocket support to the Kraken service in
540 Valutakrambod today. The python library can now get updates
541 from Kraken several times per second, instead of every time the
542 information is polled from the REST API.
</p
>
544 <p
>If this sound interesting to you, the code for valutakrambod is
546 <a href=
"http://github.com/petterreinholdtsen/valutakrambod
">github
</a
>.
547 Here is example output from the example client displaying rates in a
548 curses view:
</p
>
550 <p
><blockquote
><pre
>
551 Name Pair Bid Ask Spr Ftcd Age
552 BitcoinsNorway BTCEUR
2959.2800 3021.0500 2.0%
36 nan nan
553 Bitfinex BTCEUR
3087.9000 3088.0000 0.0%
36 37 nan
554 Bitmynt BTCEUR
3001.8700 3135.4600 4.3%
36 52 nan
555 Bitpay BTCEUR
3003.8659 nan nan%
35 nan nan
556 Bitstamp BTCEUR
3008.0000 3010.2300 0.1%
0 1 1
557 Bl3p BTCEUR
3000.6700 3010.9300 0.3%
1 nan nan
558 Coinbase BTCEUR
2992.1800 3023.2500 1.0%
34 nan nan
559 Kraken+BTCEUR
3005.7000 3006.6000 0.0%
0 1 0
560 Paymium BTCEUR
2940.0100 2993.4400 1.8%
0 2688 nan
561 BitcoinsNorway BTCNOK
29000.0000 29360.7400 1.2%
36 nan nan
562 Bitmynt BTCNOK
29115.6400 29720.7500 2.0%
36 52 nan
563 Bitpay BTCNOK
29029.2512 nan nan%
36 nan nan
564 Coinbase BTCNOK
28927.6000 29218.5900 1.0%
35 nan nan
565 MiraiEx BTCNOK
29097.7000 29741.4200 2.2%
36 nan nan
566 BitcoinsNorway BTCUSD
3385.4200 3456.0900 2.0%
36 nan nan
567 Bitfinex BTCUSD
3538.5000 3538.6000 0.0%
36 45 nan
568 Bitpay BTCUSD
3443.4600 nan nan%
34 nan nan
569 Bitstamp BTCUSD
3443.0100 3445.0500 0.1%
0 2 1
570 Coinbase BTCUSD
3428.1600 3462.6300 1.0%
33 nan nan
571 Gemini BTCUSD
3445.8800 3445.8900 0.0%
36 326 nan
572 Hitbtc BTCUSD
3473.4700 3473.0700 -
0.0%
0 0 0
573 Kraken+BTCUSD
3444.4000 3445.6000 0.0%
0 1 0
574 Exchangerates EURNOK
9.6685 9.6685 0.0%
36 22226 nan
575 Norgesbank EURNOK
9.6685 9.6685 0.0%
36 22226 nan
576 Bitstamp EURUSD
1.1440 1.1462 0.2%
0 1 2
577 Exchangerates EURUSD
1.1471 1.1471 0.0%
36 22226 nan
578 BitcoinsNorway LTCEUR
1.0009 22.6538 95.6%
35 nan nan
579 BitcoinsNorway LTCNOK
259.0900 264.9300 2.2%
35 nan nan
580 BitcoinsNorway LTCUSD
0.0000 29.0000 100.0%
35 nan nan
581 Norgesbank USDNOK
8.4286 8.4286 0.0%
36 22226 nan
582 </pre
></blockquote
></p
>
584 <p
>Yes, I notice the strange negative spread on Hitbtc. I
've seen the
585 same on Kraken. Another strange observation is that Kraken some times
586 announce trade orders a fraction of a second in the future. I really
587 wonder what is going on there.
</p
>
589 <p
>As usual, if you use Bitcoin and want to show your support of my
590 activities, please send Bitcoin donations to my address
591 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
596 <title>Strategispillet Unknown Horizons nå tilgjengelig på bokmål
</title>
597 <link>http://people.skolelinux.org/pere/blog/Strategispillet_Unknown_Horizons_n__tilgjengelig_p__bokm_l.html
</link>
598 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Strategispillet_Unknown_Horizons_n__tilgjengelig_p__bokm_l.html
</guid>
599 <pubDate>Wed,
23 Jan
2019 07:
50:
00 +
0100</pubDate>
600 <description><p
>I høst ble jeg inspirert til å bidra til oversettelsen av
601 <a href=
"http://unknown-horizons.org/
">strategispillet Unknown
602 Horizons
</a
>, og oversatte de nesten
200 strengene i prosjektet til
603 bokmål. Deretter har jeg gått å ventet på at det kom en ny utgave som
604 inneholdt disse oversettelsene. Nå er endelig ventetiden over. Den
605 nye versjonen kom på nyåret, og ble
606 <a href=
"https://tracker.debian.org/pkg/unknown-horizons
">lastet opp i
607 Debian
</a
> for noen få dager siden. I går kveld fikk jeg testet det ut, og
608 må innrømme at oversettelsene fungerer fint. Fant noen få tekster som
609 måtte justeres, men ikke noe alvorlig. Har oppdatert
610 <a href=
"https://hosted.weblate.org/projects/uh/
">oversettelsen på
611 Weblate
</a
>, slik at neste utgave vil være enda bedre. :)
</p
>
613 <p
>Spillet er et ressursstyringsspill ala Civilization, og er morsomt
614 å spille for oss som liker slikt. :)
</p
>
616 <p
>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til
617 det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner
619 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
620 Merk, betaling med bitcoin er ikke anonymt. :)
</p
>
625 <title>Debian now got everything you need to program Micro:bit
</title>
626 <link>http://people.skolelinux.org/pere/blog/Debian_now_got_everything_you_need_to_program_Micro_bit.html
</link>
627 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Debian_now_got_everything_you_need_to_program_Micro_bit.html
</guid>
628 <pubDate>Tue,
22 Jan
2019 17:
20:
00 +
0100</pubDate>
629 <description><p
>I am amazed and very pleased to discover that since a few days ago,
630 everything you need to program the
<a href=
"https://microbit.org/
">BBC
631 micro:bit
</a
> is available from the Debian archive. All this is
632 thanks to the hard work of Nick Morrott and the Debian python
633 packaging team. The micro:bit project recommend the mu-editor to
634 program the microcomputer, as this editor will take care of all the
635 machinery required to injekt/flash micropython alongside the program
636 into the micro:bit, as long as the pieces are available.
</p
>
638 <p
>There are three main pieces involved. The first to enter Debian
640 <a href=
"https://tracker.debian.org/pkg/python-uflash
">python-uflash
</a
>,
641 which was accepted into the archive
2019-
01-
12. The next one was
642 <a href=
"https://tracker.debian.org/pkg/mu-editor
">mu-editor
</a
>, which
643 showed up
2019-
01-
13. The final and hardest part to to into the
645 <a href=
"https://tracker.debian.org/pkg/firmware-microbit-micropython
">firmware-microbit-micropython
</a
>,
646 which needed to get its build system and dependencies into Debian
647 before it was accepted
2019-
01-
20. The last one is already in Debian
648 Unstable and should enter Debian Testing / Buster in three days. This
649 all allow any user of the micro:bit to get going by simply running
650 'apt install mu-editor
' when using Testing or Unstable, and once
651 Buster is released as stable, all the users of Debian stable will be
652 catered for.
</p
>
654 <p
>As a minor final touch, I added rules to
655 <a href=
"https://tracker.debian.org/pkg/isenkram
">the isenkram
656 package
</a
> for recognizing micro:bit and recommend the mu-editor
657 package. This make sure any user of the isenkram desktop daemon will
658 get a popup suggesting to install mu-editor then the USB cable from
659 the micro:bit is inserted for the first time.
</p
>
661 <p
>This should make it easier to have fun.
</p
>
663 <p
>As usual, if you use Bitcoin and want to show your support of my
664 activities, please send Bitcoin donations to my address
665 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
</p
>
670 <title>Oppdaterte kommentarer til «Evaluation of (il)legality» for Popcorn Time
</title>
671 <link>http://people.skolelinux.org/pere/blog/Oppdaterte_kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html
</link>
672 <guid isPermaLink=
"true">http://people.skolelinux.org/pere/blog/Oppdaterte_kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html
</guid>
673 <pubDate>Wed,
16 Jan
2019 11:
40:
00 +
0100</pubDate>
674 <description><p
>I forrige uke var jeg i Borgarting lagmannsrett som partshjelper og
675 sakkyndig vitne og presenterte mine oppdaterte undersøkelser rundt
676 <a href=
"https://github.com/petterreinholdtsen/public-domain-free-imdb
">telling
677 av filmverk i det fri
</a
>, relatert til
678 <a href=
"https://www.nuug.no/
">foreningen NUUG
</a
>s involvering i
<a
679 href=
"https://www.nuug.no/news/tags/dns-domenebeslag/
">saken om
680 Økokrims beslag og senere inndragning av DNS-domenet
681 popcorn-time.no
</a
>. I forkant hadde jeg oppdatert mitt notat med
682 kommentarer til et av aktors bevis, som forsøkte å måle hvor stor
683 andel ulovligheter som var tilgjengelig via Popcorn Time-avspillere.
684 Jeg mistenker flere kan ha glede av å lese dette notatet, som jeg
685 publiserte en tidligere versjon av i fjor, så her er det. Legger
686 også ved avskrift av dokument
09,
13, som er det sentrale dokumentet
687 jeg kommenterer.
</p
>
689 <p
><strong
>Oppdaterte kommentarer til «Evaluation of (il)legality» for
690 Popcorn Time
</strong
></p
>
692 <p
><strong
>Oppsummering
</strong
></p
>
694 <p
>Målemetoden som Økokrim har lagt til grunn når de påstår at
99% av
695 filmene tilgjengelig fra Popcorn Time deles ulovlig har svakheter
696 som gjør resultatet upålitelig.
</p
>
698 <p
>De eller den som har vurdert hvorvidt filmer kan lovlig deles er
699 ikke i stand til å identifisere filmer som kan deles lovlig eller er
700 falt i det fri og har tilsynelatende antatt at kun veldig gamle
701 filmer kan deles lovlig. Økokrim legger til grunn at det bare finnes
702 èn film, Charlie Chaplin-filmen «The Circus» fra
1928, som kan deles
703 fritt blant de som ble observert tilgjengelig via ulike Popcorn
704 Time-varianter. Med min begrensede og ufullstendige oversikt finner
705 jeg tre flere blant de observerte filmene: «The Brain That Wouldn
't
706 Die» fra
1962, «God’s Little Acre» fra
1958 og «She Wore a Yellow
707 Ribbon» fra
1949. Det er godt mulig det finnes flere. Det finnes
708 dermed minst fire ganger så mange filmer som lovlig kan deles på
709 Internett i datasettet Økokrim har lagt til grunn når det påstås at
710 mindre enn
1 % kan deles lovlig.
</p
>
712 <p
>Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra
713 ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte
714 filmkatalogene som helhet, hvilket påvirker fordelingen mellom
715 filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I
716 tillegg gir valg av øvre del (de fem første) av søkeresultatene et
717 avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk
718 i det fri i søkeresultatet.
</p
>
720 <p
>Til sist er det viktig å merke seg at det som måles er ikke
721 (u)lovligheten knyttet til
<strong
>bruken
</strong
> av Popcorn Time,
722 men (u)lovligheten til innholdet i ulike bittorrent-filmkataloger
723 som vedlikeholdes av ulike miljøer uavhengig av Popcorn Time, og som
724 ulike Popcorn Time-varianter har benyttet seg av.
</p
>
726 <p
>Omtalte dokumenter:
09,
12,
<a href=
"#dok-
09-
13">09,
13</a
>,
09,
14,
727 09,
18,
09,
19,
09,
20.
</p
>
729 <p
><strong
>Utfyllende kommentarer
</strong
></p
>
731 <p
>Økokrim har forklart domstolene at minst
99% av alt som er
732 tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på
733 Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette
734 tallet, og dette notatet er en samling kommentarer rundt målingen
735 Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på
736 saken er at jeg er interessert i å identifisere og telle hvor mange
737 kunstneriske verk som er falt i det fri eller av andre grunner kan
738 lovlig deles på Internett, og dermed var interessert i hvordan en
739 hadde funnet den ene prosenten som kanskje deles lovlig.
</p
>
741 <p
>Andelen på
99% kommer fra et ukreditert og udatert notatet som tar
742 mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike
743 Popcorn Time-varianter er.
</p
>
745 <p
>Raskt oppsummert, så forteller metodedokumentet at fordi det ikke
746 er mulig å få tak i komplett liste over alle filmtitler tilgjengelig
747 via Popcorn Time, så lages noe som skal være et representativt
748 utvalg ved å velge
50 tilfeldige søkeord større enn tre tegn fra en
749 ordliste kjent som Dale-Chall. For hvert søkeord gjøres et søk og de
750 første fem filmene i søkeresultatet samles inn inntil
100 unike
751 filmtitler er funnet. Hvis
50 søkeord ikke var tilstrekkelig for å
752 nå
100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt
753 til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut
754 og søkt på flere tilfeldig valgte søkeord inntil
100 unike
755 filmtitler var identifisert.
</p
>
757 <p
>Deretter ble for hver av filmtitlene «vurdert hvorvidt det var
758 rimelig å forvente om at verket var vernet av copyright, ved å se på
759 om filmen var tilgjengelig i IMDB, samt se på regissør,
760 utgivelsesår, når det var utgitt for bestemte markedsområder samt
761 hvilke produksjons- og distribusjonsselskap som var registrert» (min
762 oversettelse).
</p
>
764 <p
>Metoden er gjengitt både i de ukrediterte dokumentene
09,
13 og
765 09,
19, samt beskrevet fra side
47 i dokument
09,
20, lysark datert
766 2017-
02-
01. Sistnevnte er kreditert Geerart Bourlon fra Motion
767 Picture Association EMEA.
</p
>
769 <p
>Metoden virker å ha flere svakheter som gir resultatene en
770 slagside. Den starter med å slå fast at det ikke er mulig å hente ut
771 en komplett liste over alle filmtitler som er tilgjengelig, og at
772 dette er bakgrunnen for metodevalget. Denne forutsetningen er ikke i
773 tråd med det som står i dokument
09,
12, som ikke heller har oppgitt
774 forfatter og dato. Dokument
09,
12 forteller hvordan hele
775 kataloginnholdet i en bittorrent-katalog ble lasted ned og talt
776 opp. Dokument
09,
12 er muligens samme rapport som det ble referert
777 til i dom fra Oslo Tingrett
2017-
11-
03
778 (
<a href=
"https://www.domstol.no/no/Enkelt-domstol/Oslo--tingrett/Nyheter/ma-sperre-for-popcorn-time/
">sak
779 17-
093347TVI-OTIR/
05</a
>) under navnet rapport av
1. juni
2017 av
780 Alexander Kind Petersen. De ligner, men jeg har ikke sammenlignet
781 dokumentene ord for ord for å kontrollere om de er identiske.
</p
>
783 <p
>Det finnes flere kilder som kan brukes til å finne filmer som er
784 allemannseie (public domain) eller har bruksvilkår som gjør det
785 lovlig for alle å dele dem på Internett. Jeg har det siste året
786 forsøkt å samle og krysskoble disse listene ved hjelp av tittel-ID i
787 IMDB for å forsøke å telle antall filmer i det fri. Ved å ta
788 utgangspunkt i slike lister (og publiserte filmer for
789 Internett-arkivets del), har jeg så langt klart å identifisere over
790 14 000 filmer, hovedsaklig spillefilmer. Noen filmer er gått tapt
791 ved at de eneste kjente eksemplarene er blitt ødelagt. Jeg har ikke
792 forsøkt å finne ut hvilke filmer som er gått tapt, ut over å se
793 hvilke filmer som er tilgjengelig på filmdelings-nettsteder.
</p
>
795 <p
>IMDB er en forkortelse for The Internet Movie Database, en
796 anerkjent kommersiell nettjeneste som brukes aktivt av både
797 filmbransjen og andre til å holde rede på hvilke spillefilmer (og
798 endel andre filmer) som finnes eller er under produksjon, samt
799 informasjon om disse filmene. Datakvaliteten er høy, med få feil og
800 få filmer som mangler. IMDB viser ikke informasjon om
801 opphavsrettslig status for filmene på infosiden for hver film, men
802 frivillige har lagt ut på IMDB-tjenesten lister med filmer som antas
803 å være verk i det fri. Disse listene er en liten del av kildene for
804 min telling av verk som kan lovlig deles på Internett.
</p
>
806 <p
>De aller fleste oppføringene over verk i det fri er hentet fra IMDB
807 selv, basert på det faktum at alle filmer laget i USA før
1923 er
808 falt i det fri. Tilsvarende tidsgrense for Storbritannia er
809 1912-
07-
01, men dette utgjør bare veldig liten del av spillefilmene
810 i IMDB (
19 totalt). En annen stor andel kommer fra
811 Internett-arkivet, der jeg har identifisert filmer som har referanse
812 til IMDB. Internett-arkivet, som holder til i USA, har
813 som
<a href=
"https://archive.org/about/terms.php
">policy å kun
814 publisere filmer som det er lovlig å distribuere
</a
>. Jeg har under
815 arbeidet kommet over flere filmer som har blitt fjernet fra
816 Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene
817 som kontrollerer Internett-arkivet har et aktivt forhold til kun å
818 ha lovlig innhold der, selv om det i stor grad er drevet av
819 frivillige. Internett-arkivet har publisert
4.6 millioner
820 videofilmer som samtlige er tilgjengelig også med
821 Bittorrent-protokollen. En annen stor liste med filmer kommer fra
822 det kommersielle selskapet Retro Film Vault, som selger
823 allemannseide filmer til TV- og filmbransjen, Jeg har også benyttet
824 meg av lister over filmer som hevdes å være allemannseie, det være
825 seg Public Domain Review, Public Domain Torrents og Public Domain
826 Movies (to ulike tjenester med samme navn, på .net og .info), samt
827 lister over filmer med Creative Commons-lisensiering fra Wikipedia,
828 VODO og The Hill Productions. Jeg har gjort endel stikkontroll ved å
829 vurdere filmer som kun omtales på en liste. Der jeg har funnet feil
830 som har gjort meg i tvil om vurderingen til de som har laget listen
831 har jeg forkastet listen fullstendig (gjelder for eksemel en av
832 listene fra IMDB).
</p
>
834 <p
>Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på
835 Internett (fra blant annet Internett-arkivet, Public Domain
836 Torrents, Public Domain Reivew og Public Domain Movies), og knytte
837 dem til oppføringer i IMDB, så har jeg så langt klart å identifisere
838 over
14 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro
839 kan lovlig distribueres av alle på Internett. Som ekstra kilder er
840 det brukt lister over filmer som antas/påstås å være
841 allemannseie. Disse kildene kommer fra miljøer som jobber for å
842 gjøre tilgjengelig for almennheten alle verk som er falt i det fri
843 eller har bruksvilkår som tillater deling.
</p
>
845 <p
>I tillegg til de over
14 000 filmene der tittel-ID i IMDB er
846 identifisert, har jeg funnet mer enn
26 000 oppføringer der jeg ennå
847 ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Jeg har
848 sett at noen av disse er duplikater av de IMDB-oppføringene som er
849 identifisert så langt, men de fleste jeg har hatt tid til å
850 undersøke så langt har vist seg å ikke være duplikater. Retro Film
851 Vault hevder å ha
44 000 filmverk i det fri i sin katalog, så det er
852 mulig at det reelle tallet er betydelig høyere enn de jeg har klart
853 å identifisere så langt. Konklusjonen en kan trekke fra dette er at
854 tallet
14 000 er nedre grense for hvor mange filmer i IMDB som kan
855 lovlig deles på Internett. I
856 følge
<a href=
"https://www.imdb.com/stats
">statistikk fra IMDB
</a
>
857 er det
4.6 millioner titler registrert, hvorav
3 millioner er
858 TV-serieepisoder.
</p
>
860 <p
>Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å deles
861 lovlig på Internett, får en følgende histogram:
</p
>
863 <p align=
"center
"><img src=
"http://people.skolelinux.org/pere/blog/images/
2019-
01-
16-dns-beslag-verkidetfri-
2018-
11-
26-histogram-year.png
"
864 alt=
"histogram over frie filmer per år
" width=
"80%
"/
></p
>
866 <p
>En kan i histogrammet se at effekten av manglende registrering
867 eller fornying av registrering er at mange filmer gitt ut i USA før
868 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere
869 filmer gitt ut de siste årene med bruksvilkår som tillater deling,
870 muligens på grunn av fremveksten
871 av
<a href=
"https://creativecommons.org/
">Creative
872 Commons
</a
>-bevegelsen.
</p
>
874 <p
>IMDB har lagt ut
<a href=
"https://www.imdb.com/interfaces/
">en
875 maskinlesbare liste
</a
> over alle registreringene i sin database, og
876 ved hjelp av denne har jeg oppsummert antall titler per år i
877 kategoriene «movies» og «short», som er det jeg fokuserer på i min
878 telling. Inn i oversikten er det tegnet hvor stor prosentandel
879 antallet filmer som hevdes å kunne deles lovlig på Internett utgjør
880 av IMDB-totalen. Ut fra oversikten får man en ide om hvor stor andel
881 av totalen som kan mangle i min telling, for eksempel ved å merke
882 seg at få prosenter av filmene utgitt tidlig på
1900-tallet er med i
883 min telling.
</p
>
885 <p align=
"center
"><img src=
"http://people.skolelinux.org/pere/blog/images/
2019-
01-
16-dns-beslag-verkidetfri-
2018-
11-
26-histogram-year-imdb.png
"
886 alt=
"histogram over filmer og frie filmer per år
" width=
"80%
" /
></p
>
888 <p
>For maskinell analyse av katalogene laget jeg et lite program som
889 kobler seg til bittorrent-katalogene som brukes av ulike Popcorn
890 Time-varianter og laster ned komplett liste over filmer i
891 katalogene. Dette bekrefter at det er mulig å hente ut komplett
892 liste med alle filmtitler som er tilgjengelig i katalogene, i strid
893 med påstanden i dokumentene
09,
13,
09,
19 og
09,
20. Jeg har sett på
894 fire bittorrent-kataloger. Den ene ble brukt av klienten
895 tilgjengelig fra www.popcorntime.sh
2017-
12-
18 og er navngitt «sh» i
896 dette dokumentet. Den andre brukes i følge dokument
09,
12 av
897 klienten tilgjengelig fra popcorntime.ag og popcorntime.sh på ukjent
898 tidspunkt og er navngitt «yts» i dette dokumentet. Den tredje ble
899 brukt av websidene tilgjengelig fra popcorntime-online.tv
2017-
12-
18
900 og er navngitt «apidomain» i dette dokumentet. Den fjerde ble brukt
901 av klienten tilgjengelig fra popcorn-time.to i følge dokument
09,
12
902 på ukjent tidspunkt, og er navngitt «ukrfnlge» i dette
903 dokumentet. Hvilke kataloger som brukes av ulike Popcorn
904 Time-klienter endrer seg over tid, da Popcorn Time-klientene i
905 praksis er nettlesere som viser frem ulike nettsider og disse
906 nettsidene bytter datakilder når nettsidens eier ønsker det.
</p
>
908 <p
>Metoden som Økokrim legger til grunn, skriver i sitt punkt fire at
909 skjønn er en egnet metode for å finne ut om en film kan lovlig deles
910 på Internett eller ikke, og sier at det ble «vurdert hvorvidt det
911 var rimelig å forvente om at verket var vernet av copyright». For
912 det første er det ikke nok å slå fast om en film er «vernet av
913 copyright» for å vite om det er lovlig å dele den på Internett eller
914 ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår
915 som tillater deling på Internett. Eksempler på dette er Creative
916 Commons-lisensierte filmer som Citizenfour fra
2014 og Sintel fra
917 2010. I tillegg til slike finnes det flere filmer som nå er
918 allemannseie (public domain) på grunn av manglende registrering
919 eller fornying av registrering selv om både regisør,
920 produksjonsselskap og distributør ønsker seg vern. Eksempler på
921 dette er Plan
9 from Outer Space fra
1959 og Night of the Living
922 Dead fra
1968. Alle filmer fra USA som var allemannseie før
923 1989-
03-
01 forble i det fri da Bern-konvensjonen, som tok effekt i
924 USA på det tidspunktet, ikke ble gitt tilbakevirkende
925 kraft.
<a href=
"https://www.latimes.com/local/lanow/la-me-ln-happy-birthday-song-lawsuit-decision-
20150922-story.html
">Historien
926 om sangen «Happy birthday»
</a
>, der betaling for bruk har vært krevd
927 inn i flere tiår selv om sangen ikke var vernet av åndsverksloven,
928 forteller oss at hvert enkelt verk må vurderes nøye og i detalj før
929 en kan slå fast om verket er allemannseie eller ikke, det holder
930 ikke å tro på selverklærte rettighetshavere. Flere eksempel på verk
931 i det fri som feilklassifiseres som vernet er fra dokument
09,
18,
932 som lister opp søkeresultater for pklienten omtalt som
933 popcorntime.sh og i følge notatet kun inneholder en film (The Circus
934 fra
1928) som under tvil kan antas å være allemannseie.
</p
>
936 <p
>Ved rask gjennomlesning av dokument
09,
18, som inneholder
937 skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt
938 både filmen «The Brain That Wouldn
't Die» fra
1962 som
939 er
<a href=
"https://archive.org/details/brain_that_wouldnt_die
">tilgjengelig
940 fra Internett-arkivet
</a
> og
941 som
<a href=
"https://en.wikipedia.org/wiki/List_of_films_in_the_public_domain_in_the_United_States
">i
942 følge Wikipedia er allemannseie i USA
</a
> da den ble gitt ut i
1962
943 uten «copyright»-merking, og filmen «God’s Little Acre» fra
944 1958 <a href=
"https://en.wikipedia.org/wiki/God%
27s_Little_Acre_%
28film%
29">som
945 er lagt ut på Wikipedia
</a
>, der det fortelles at sort/hvit-utgaven
946 er allemannseie. Det fremgår ikke fra dokument
09,
18 om filmen
947 omtalt der er sort/hvit-utgaven. Av kapasitetsårsaker og på grunn av
948 at filmoversikten i dokument
09,
18 ikke er maskinlesbart har jeg
949 ikke forsøkt å sjekke alle filmene som listes opp der om mot liste
950 med filmer som er antatt lovlig kan distribueres på Internet.
</p
>
952 <p
>Ved maskinell gjennomgang av listen med IMDB-referanser under
953 regnearkfanen «Unique titles» i dokument
09.14, fant jeg i tillegg
954 filmen «She Wore a Yellow Ribbon» fra
1949) som nok også er
955 feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig
956 fra Internett-arkivet og markert som allemannseie der. Det virker
957 dermed å være minst fire ganger så mange filmer som kan lovlig deles
958 på Internett enn det som er lagt til grunn når en påstår at minst
959 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere
960 undersøkelser kan avdekke flere. Poenget er uansett ikke hvor mange
961 filmer i listen som er lovlig å dele på Internet, men at metodens
962 punkt med vurdering av «rimelig å forvente om at verket var vernet
963 av copyright» gjør metoden upålitelig.
</p
>
965 <p
>Den omtalte målemetoden velger ut tilfeldige søketermer fra
966 ordlisten Dale-Chall. Den ordlisten inneholder
3000 enkle engelske
967 ord som fjerdeklassinger i USA er forventet å forstå. Det fremgår
968 ikke hvorfor akkurat denne ordlisten er valgt, og det er uklart for
969 meg om den er egnet til å få et representativt utvalg av
970 filmer. Mange av ordene gir tomt søkeresultat. Ved å simulerte
971 tilsvarende søk ser jeg store avvik fra fordelingen i katalogen for
972 enkeltmålinger. Dette antyder at enkeltmålinger av
100 filmer slik
973 målemetoden beskriver er gjort, ikke er velegnet til å finne andel
974 ulovlig innhold i bittorrent-katalogene.
</p
>
976 <p
>En kan motvirke dette store avviket for enkeltmålinger ved å gjøre
977 mange søk og slå sammen resultatet. Jeg har testet ved å gjennomføre
978 100 enkeltmålinger (dvs. måling av (
100x100=)
10 000 tilfeldig
979 valgte filmer) som gir mindre, men fortsatt betydelig avvik, i
980 forhold til telling av filmer pr år i hele katalogen.
</p
>
982 <p
>Målemetoden henter ut de fem øverste i
983 søkeresultatet. Søkeresultatene er sortert på antall
984 bittorrent-klienter registrert som delere i katalogene, hvilket kan
985 gi en slagside mot hvilke filmer som er populære blant de som bruker
986 bittorrent-katalogene, uten at det forteller noe om hvilket innhold
987 som er tilgjengelig eller hvilket innhold som deles med Popcorn
988 Time-klienter. Jeg har forsøkt å måle hvor stor en slik slagside
989 eventuelt er ved å sammenligne fordelingen hvis en tar de
5 nederste
990 i søkeresultatet i stedet. Avviket for disse to metodene for flere
991 av katalogene er godt synlig på histogramet. Her er histogram over
992 filmer funnet i den komplette katalogen (grønn strek), og filmer
993 funnet ved søk etter ord i Dale-Chall. Grafer merket «top» henter
994 fra de
5 første i søkeresultatet, mens de merket «bottom» henter fra
995 de
5 siste. En kan her se at resultatene påvirkes betydelig av
996 hvorvidt en ser på de første eller de siste filmene i et
999 <p align=
"center
">
1000 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-sh-top.png
" width=
"40%
" /
>
1001 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-sh-bottom.png
" width=
"40%
" /
>
1003 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-yts-top.png
" width=
"40%
" /
>
1004 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-yts-bottom.png
" width=
"40%
" /
>
1006 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-ukrfnlge-top.png
" width=
"40%
" /
>
1007 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-ukrfnlge-bottom.png
" width=
"40%
" /
>
1009 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-apidomain-top.png
" width=
"40%
" /
>
1010 <img src=
"http://people.skolelinux.org/pere/blog/images/
2017-
12-
20-histogram-year-apidomain-bottom.png
" width=
"40%
" /
>
1013 <p
>Det er viktig å merke seg at de omtalte bittorrent-katalogene ikke
1014 er laget for bruk med Popcorn Time, men for ulike miljøer av
1015 bittorrent-brukere. Eksempelvis tilhører katalogen YTS, som brukes
1016 av klientet som ble lastes ned fra popcorntime.sh, et selvstendig
1017 fildelings-relatert nettsted YTS.AG med et separat
1018 brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke
1019 (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til
1020 innholdet i disse katalogene.
</p
>
1024 <p id=
"dok-
09-
13">Metoden fra Økokrims dokument
09,
13 i straffesaken
1025 om DNS-beslag.
</p
>
1029 <p
><strong
>1. Evaluation of (il)legality
</strong
></p
>
1031 <p
><strong
>1.1. Methodology
</strong
>
1033 <p
>Due to its technical configuration, Popcorn Time applications don
't
1034 allow to make a full list of all titles made available. In order to
1035 evaluate the level of illegal operation of PCT, the following
1036 methodology was applied:
</p
>
1040 <li
>A random selection of
50 keywords, greater than
3 letters, was
1041 made from the Dale-Chall list that contains
3000 simple English
1042 words1. The selection was made by using a Random Number
1043 Generator2.
</li
>
1045 <li
>For each keyword, starting with the first randomly selected
1046 keyword, a search query was conducted in the movie section of the
1047 respective Popcorn Time application. For each keyword, the first
1048 five results were added to the title list until the number of
100
1049 unique titles was reached (duplicates were removed).
</li
>
1051 <li
>For one fork, .CH, insufficient titles were generated via this
1052 approach to reach
100 titles. This was solved by adding any
1053 additional query results above five for each of the
50 keywords.
1054 Since this still was not enough, another
42 random keywords were
1055 selected to finally reach
100 titles.
</li
>
1057 <li
>It was verified whether or not there is a reasonable expectation
1058 that the work is copyrighted by checking if they are available on
1059 IMDb, also verifying the director, the year when the title was
1060 released, the release date for a certain market, the production
1061 company/ies of the title and the distribution company/ies.
</li
>
1065 <p
><strong
>1.2. Results
</strong
></p
>
1067 <p
>Between
6 and
9 June
2016, four forks of Popcorn Time were
1068 investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and
1069 popcorntime.ch. An excel sheet with the results is included in
1070 Appendix
1. Screenshots were secured in separate Appendixes for each
1071 respective fork, see Appendix
2-
5.
</p
>
1073 <p
>For each fork, out of
100, de-duplicated titles it was possible to
1074 retrieve data according to the parameters set out above that indicate
1075 that the title is commercially available. Per fork, there was
1 title
1076 that presumably falls within the public domain, i.e. the
1928 movie
1077 "The Circus
" by and with Charles Chaplin.
</p
>
1079 <p
>Based on the above it is reasonable to assume that
99% of the movie
1080 content of each fork is copyright protected and is made available
1081 illegally.
</p
>
1083 <p
>This exercise was not repeated for TV series, but considering that
1084 besides production companies and distribution companies also
1085 broadcasters may have relevant rights, it is reasonable to assume that
1086 at least a similar level of infringement will be established.
</p
>
1088 <p
>Based on the above it is reasonable to assume that
99% of all the
1089 content of each fork is copyright protected and are made available
1090 illegally.
</p
>
1094 <p
>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til
1095 det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner
1097 <b
><a href=
"bitcoin:
15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b
</a
></b
>.
1098 Merk, betaling med bitcoin er ikke anonymt. :)
</p
>