X-Git-Url: http://pere.pagekite.me/gitweb/homepage.git/blobdiff_plain/cfea7df730ccf5594d3309be2f74a9216adf6fb1..02a04331c0b23eed4f6f12197879b58434851e13:/blog/index.rss diff --git a/blog/index.rss b/blog/index.rss index 21a2617195..786e9490d9 100644 --- a/blog/index.rss +++ b/blog/index.rss @@ -7,47 +7,29 @@ - Debian used in the subway info screens in Oslo, Norway - http://people.skolelinux.org/pere/blog/Debian_used_in_the_subway_info_screens_in_Oslo__Norway.html - http://people.skolelinux.org/pere/blog/Debian_used_in_the_subway_info_screens_in_Oslo__Norway.html - Fri, 2 Mar 2018 13:10:00 +0100 - <p>Today I was pleasantly surprised to discover by operating system of -choice, Debian, was used in the info screens on the subway. While -passing Nydalen subway station in Oslo, Norway, I discovered the info -screen booting with some text scrolling. I was not quick enough with -my camera to be able to record a video of the scrolling boot screen, -but I did get a photo from when the boot got stuck with a corrupt file -system: - -<p><a href="http://people.skolelinux.org/pere/blog/images/2018-03-02-ruter-debian-lenny.jpeg"><img width="40%" src="http://people.skolelinux.org/pere/blog/images/2018-03-02-ruter-debian-lenny.jpeg" alt="[photo of subway info screen]"></a></p> - -<p>While I am happy to see Debian used more places, the details of the -content on the screen worries me. - -The image show the version booting is 'Debian GNU/Linux lenny/sid', -indicating that this is based on code taken from Debian Unstable/Sid -between Debian Etch (version 4) was released 2007-04-08 and after -Debian Lenny (version 5) was released 2009-02-14. Since Lenny Debian -has released version 6 (Squeeze) 2011-02-06, 7 (Wheezy) 2013-05-04, 8 -(Jessie) 2015-04-25 and 9 (Stretch) 2017-06-15, according to -<a href="https://en.wikipedia.org/wiki/Debian_version_history">a Debian -version history on Wikpedia</a>. This mean the system is running -around 10 year old code, with no security fixes from the vendor for -many years.</p> - -<p>This is not the first time I discover the Oslo subway company, -Ruter, running outdated software. In 2012, -<a href="http://people.skolelinux.org/pere/blog/Er_billettautomatene_til_kollektivtrafikken_i_Oslo_uten_sikkerhetsoppdateringer_.html">I -discovered the ticket vending machines were running Windows 2000</a>, -and this was -<a href="http://people.skolelinux.org/pere/blog/Fortsatt_ingen_sikkerhetsoppdateringer_for_billettautomatene_til_kollektivtrafikken_i_Oslo_.html">still -the case in 2016</a>. Given the response from the responsible people -in 2016, I would assume the machines are still running unpatched -Windows 2000. Thus, an unpatched Debian setup come as no surprise.</p> - -<p>The photo is made available under the license terms -<a href="http://creativecommons.org/licenses/by/4.0/">Creative Commons -4.0 Attribution International (CC BY 4.0)</a>.</p> + Official MIME type "text/vnd.sosi" for SOSI map data + http://people.skolelinux.org/pere/blog/Official_MIME_type__text_vnd_sosi__for_SOSI_map_data.html + http://people.skolelinux.org/pere/blog/Official_MIME_type__text_vnd_sosi__for_SOSI_map_data.html + Tue, 4 Jun 2019 09:20:00 +0200 + <p>Just 15 days ago, +<ahref="http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html">I +mentioned</a> my submission to IANA to register an official MIME type +for the SOSI vector map format. This morning, just an hour ago, I was +notified that +<a href="https://www.iana.org/assignments/media-types/text/vnd.sosi">the +MIME type "text/vnd.sosi"</a> is registered for this format. In +addition to this registration, my +<a href="https://github.com/file/file/blob/master/magic/Magdir/sosi">file(1) +patch for a pattern matching rule for SOSI files</a> has been accepted +into the official source of that program (pending a new release), and +I've been told by the team behind +<a href="https://www.nationalarchives.gov.uk/PRONOM/">PRONOM</a> that +the SOSI format will be included in the next release of PRONOM, which +they plan to release this summer around July.</p> + +<p>I am very happy to see all of this fall into place, for use by +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/">the +Noark 5 Tjenestegrensesnitt</a> implementations.</p> <p>As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address @@ -56,32 +38,69 @@ activities, please send Bitcoin donations to my address - The SysVinit upstream project just migrated to git - http://people.skolelinux.org/pere/blog/The_SysVinit_upstream_project_just_migrated_to_git.html - http://people.skolelinux.org/pere/blog/The_SysVinit_upstream_project_just_migrated_to_git.html - Sun, 18 Feb 2018 09:20:00 +0100 - <p>Surprising as it might sound, there are still computers using the -traditional Sys V init system, and there probably will be until -systemd start working on Hurd and FreeBSD. -<a href="https://savannah.nongnu.org/projects/sysvinit">The upstream -project still exist</a>, though, and up until today, the upstream -source was available from Savannah via subversion. I am happy to -report that this just changed.</p> - -<p>The upstream source is now in Git, and consist of three -repositories:</p> - -<ul> - -<li><a href="http://git.savannah.nongnu.org/cgit/sysvinit.git">sysvinit</a></li> -<li><a href="http://git.savannah.nongnu.org/cgit/sysvinit/insserv.git">insserv</a></li> -<li><a href="http://git.savannah.nongnu.org/cgit/sysvinit/startpar.git">startpar</a></li> - -</ul> - -<p>I do not really spend much time on the project these days, and I -has mostly retired, but found it best to migrate the source to a good -version control system to help those willing to move it forward.</p> + The space rover coquine, or how I ended up on the dark side of the moon + http://people.skolelinux.org/pere/blog/The_space_rover_coquine__or_how_I_ended_up_on_the_dark_side_of_the_moon.html + http://people.skolelinux.org/pere/blog/The_space_rover_coquine__or_how_I_ended_up_on_the_dark_side_of_the_moon.html + Sun, 2 Jun 2019 23:55:00 +0200 + <p>A while back a college and friend from Debian and the Skolelinux / +Debian Edu project approached me, asking if I knew someone that might +be interested in helping out with a technology project he was running +as a teacher at <a href="https://www.ecolefrancodanoise.dk/">L'école +franco-danoise</a> - the Danish-French school and kindergarden. The +kids were building robots, rovers. The story behind it is to build a +rover for use +<a href="http://blog.ecolefrancodanoise.dk/first-week-on-the-dark-side">on +the dark side of the moon</a>, and remote control it. As travel cost +was a bit high for the final destination, and they wanted to test the +concept first, he was looking for volunteers to host a rover for the +kids to control in a foreign country. I ended up volunteering as a +host, and last week the rover arrived. It took a while to arrive +after <a href="http://blog.ecolefrancodanoise.dk/model-moms">it was +built and shipped</a>, because of customs confusion. Luckily we were +able fix it quickly with help from my colleges at work.</p> + +<p>This is what it looked like when the rover arrived. Note the cute +eyes looking up on me from the wrapping</p> + +<img src="http://people.skolelinux.org/pere/blog/images/2019-06-02-robot-dark-side-of-moon-esken-med-det-rare-i.jpeg" width="32%" style="clear:left"/> +<img src="http://people.skolelinux.org/pere/blog/images/2019-06-02-robot-dark-side-of-moon-den-ser-meg.jpeg" width="32%" style="clear:left"/> +<img src="http://people.skolelinux.org/pere/blog/images/2019-06-02-robot-dark-side-of-moon-en-skrue-loes.jpeg" width="32%" style="clear:left"/> + +<p style="text-align:left">Once the robot arrived, we needed to track +down batteries and figure out how to build custom firmware for it with +the appropriate wifi settings. I asked a friend if I could get two +18650 batteries from his pile of Tesla batteries (he had them from the +wrack of a crashed Tesla), so now the rover is running on Tesla +batteries.</p> + +<p>Building +<a href="https://gitlab.com/ecolefrancodanoise/arduino-efd/">the rover +firmware</a> proved a bit harder, as the code did not work out of the +box with the Arduino IDE package in Debian Buster. I suspect this is +due to a unsolved +<a href="https://github.com/arduino/Arduino/pull/2703"> license problem +with arduino</a> blocking Debian from upgrading to the latest version. +In the end we gave up debugging why the IDE failed to find the +required libraries, and ended up using the Arduino Makefile from the +<a href="https://tracker.debian.org/pkg/arduino-mk">arduino-mk Debian +package</a> instead. Unfortunately the camera library is missing from +the Arduino environment in Debian, so we disabled the camera support +for the first firmware build, to get something up and running. With +this reduced firmware, the robot could be controlled via the +controller server, driving around and measuring distance using its +internal acoustic sensor.</p> + +<p>Next, With some help from my friend in Denmark, which checked in the +camera library into the gitlab repository for me to use, we were able +to build a new and more complete version of the firmware, and the +robot is now up and running. This is what the "commander" web page +look like after taking a measurement and a snapshot:</p> + +<img src="http://people.skolelinux.org/pere/blog/images/2019-06-02-robot-dark-side-of-moon-commander.png" width="40%" border="1" align="center"/> + +<p>If you want to learn more about this project, you can check out the +<a href="https://hackaday.io/project/164082-the-dark-side-challenge">The +Dark Side Challenge</a> Hackaday web pages.</p> <p>As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address @@ -90,72 +109,66 @@ activities, please send Bitcoin donations to my address - Using VLC to stream bittorrent sources - http://people.skolelinux.org/pere/blog/Using_VLC_to_stream_bittorrent_sources.html - http://people.skolelinux.org/pere/blog/Using_VLC_to_stream_bittorrent_sources.html - Wed, 14 Feb 2018 08:00:00 +0100 - <p>A few days ago, a new major version of -<a href="https://www.videolan.org/">VLC</a> was announced, and I -decided to check out if it now supported streaming over -<a href="http://bittorrent.org/">bittorrent</a> and -<a href="https://webtorrent.io">webtorrent</a>. Bittorrent is one of -the most efficient ways to distribute large files on the Internet, and -Webtorrent is a variant of Bittorrent using -<a href="https://webrtc.org">WebRTC</a> as its transport channel, -allowing web pages to stream and share files using the same technique. -The network protocols are similar but not identical, so a client -supporting one of them can not talk to a client supporting the other. -I was a bit surprised with what I discovered when I started to look. -Looking at -<a href="https://www.videolan.org/vlc/releases/3.0.0.html">the release -notes</a> did not help answering this question, so I started searching -the web. I found several news articles from 2013, most of them -tracing the news from Torrentfreak -("<a href=https://torrentfreak.com/open-source-giant-vlc-mulls-bittorrent-support-130211/">Open -Source Giant VLC Mulls BitTorrent Streaming Support</a>"), about a -initiative to pay someone to create a VLC patch for bittorrent -support. To figure out what happend with this initiative, I headed -over to the #videolan IRC channel and asked if there were some bug or -feature request tickets tracking such feature. I got an answer from -lead developer Jean-Babtiste Kempf, telling me that there was a patch -but neither he nor anyone else knew where it was. So I searched a bit -more, and came across an independent -<a href="https://github.com/johang/vlc-bittorrent">VLC plugin to add -bittorrent support</a>, created by Johan Gunnarsson in 2016/2017. -Again according to Jean-Babtiste, this is not the patch he was talking -about.</p> - -<p>Anyway, to test the plugin, I made a working Debian package from -the git repository, with some modifications. After installing this -package, I could stream videos from -<a href="https://www.archive.org/">The Internet Archive</a> using VLC -commands like this:</p> + Nikita version 0.4 released - free software archive API server + http://people.skolelinux.org/pere/blog/Nikita_version_0_4_released___free_software_archive_API_server.html + http://people.skolelinux.org/pere/blog/Nikita_version_0_4_released___free_software_archive_API_server.html + Wed, 22 May 2019 11:30:00 +0200 + <p>This morning, a new release of +<a href="https://gitlab.com/OsloMet-ABI/nikita-noark5-core/">Nikita +Noark 5 core project</a> was +<a href="https://lists.nuug.no/pipermail/nikita-noark/2019-May/000468.html">announced +on the project mailing list</a>. The Nikita free software solution is +an implementation of the Norwegian archive standard Noark 5 used by +government offices in Norway. These were the changes in version 0.4 +since version 0.3, see the email link above for links to a demo site:</p> -<p><blockquote><pre> -vlc https://archive.org/download/LoveNest/LoveNest_archive.torrent -</pre></blockquote></p> +<ul> -<p>The plugin is supposed to handle magnet links too, but since The -Internet Archive do not have magnet links and I did not want to spend -time tracking down another source, I have not tested it. It can take -quite a while before the video start playing without any indication of -what is going on from VLC. It took 10-20 seconds when I measured it. -Some times the plugin seem unable to find the correct video file to -play, and show the metadata XML file name in the VLC status line. I -have no idea why.</p> - -<p>I have created a <a href="https://bugs.debian.org/890360">request for -a new package in Debian (RFP)</a> and -<a href="https://github.com/johang/vlc-bittorrent/issues/1">asked if -the upstream author is willing to help make this happen</a>. Now we -wait to see what come out of this. I do not want to maintain a -package that is not maintained upstream, nor do I really have time to -maintain more packages myself, so I might leave it at this. But I -really hope someone step up to do the packaging, and hope upstream is -still maintaining the source. If you want to help, please update the -RFP request or the upstream issue.</p> - -<p>I have not found any traces of webtorrent support for VLC.</p> + <li>Roll out OData handling to all endpoints where applicable</li> + <li>Changed the relation key for "ny-journalpost" to the official one.</li> + <li>Better link generation on outgoing links.</li> + <li>Tidy up code and make code and approaches more consistent throughout + the codebase</li> + <li>Update rels to be in compliance with updated version in the + interface standard</li> + <li>Avoid printing links on empty objects as they can't have links</li> + <li>Small bug fixes and improvements</li> + <li>Start moving generation of outgoing links to @Service layer so access + control can be used when generating links</li> + <li>Log exception that was being swallowed so it's traceable</li> + <li>Fix name mapping problem</li> + <li>Update templated printing so templated should only be printed if it + is set true. Requires more work to roll out across entire + application.</li> + <li>Remove Record->DocumentObject as per domain model of n5v4</li> + <li>Add ability to delete lists filtered with OData</li> + <li>Return NO_CONTENT (204) on delete as per interface standard</li> + <li>Introduce support for ConstraintViolationException exception</li> + <li>Make Service classes extend NoarkService</li> + <li>Make code base respect X-Forwarded-Host, X-Forwarded-Proto and + X-Forwarded-Port</li> + <li>Update CorrespondencePart* code to be more in line with Single + Responsibility Principle</li> + <li>Make package name follow directory structure</li> + <li>Make sure Document number starts at 1, not 0</li> + <li>Fix isues discovered by FindBugs</li> + <li>Update from Date to ZonedDateTime</li> + <li>Fix wrong tablename</li> + <li>Introduce Service layer tests</li> + <li>Improvements to CorrespondencePart</li> + <li>Continued work on Class / Classificationsystem</li> + <li>Fix feature where authors were stored as storageLocations</li> + <li>Update HQL builder for OData</li> + <li>Update OData search capability from webpage</li> + +</ul> + +<p>If free and open standardized archiving API sound interesting to +you, please contact us on IRC +(<a href="irc://irc.freenode.net/%23nikita">#nikita on +irc.freenode.net</a>) or email +(<a href="https://lists.nuug.no/mailman/listinfo/nikita-noark">nikita-noark +mailing list</a>).</p> <p>As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address @@ -164,25 +177,52 @@ activities, please send Bitcoin donations to my address - Version 3.1 of Cura, the 3D print slicer, is now in Debian - http://people.skolelinux.org/pere/blog/Version_3_1_of_Cura__the_3D_print_slicer__is_now_in_Debian.html - http://people.skolelinux.org/pere/blog/Version_3_1_of_Cura__the_3D_print_slicer__is_now_in_Debian.html - Tue, 13 Feb 2018 06:20:00 +0100 - <p>A new version of the -<a href="https://tracker.debian.org/pkg/cura">3D printer slicer -software Cura</a>, version 3.1.0, is now available in Debian Testing -(aka Buster) and Debian Unstable (aka Sid). I hope you find it -useful. It was uploaded the last few days, and the last update will -enter testing tomorrow. See the -<a href="https://ultimaker.com/en/products/cura-software/release-notes">release -notes</a> for the list of bug fixes and new features. Version 3.2 -was announced 6 days ago. We will try to get it into Debian as -well.</p> - -<p>More information related to 3D printing is available on the -<a href="https://wiki.debian.org/3DPrinting">3D printing</a> and -<a href="https://wiki.debian.org/3D-printer">3D printer</a> wiki pages -in Debian.</p> + MIME type "text/vnd.sosi" for SOSI map data + http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html + http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html + Mon, 20 May 2019 08:35:00 +0200 + <p>As part of my involvement in the work to +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard">standardise +a REST based API for Noark 5</a>, the Norwegian archiving standard, I +spent some time the last few months to try to register a +<a href="https://www.iana.org/assignments/media-types/">MIME type</a> +and <a href="https://www.nationalarchives.gov.uk/PRONOM/">PRONOM +code</a> for the SOSI file format. The background is that there is a +set of formats approved for long term storage and archiving in Norway, +and among these formats, SOSI is the only format missing a MIME type +and PRONOM code.</p> + +<p>What is SOSI, you might ask? To quote Wikipedia: SOSI is short for +Samordnet Opplegg for Stedfestet Informasjon (literally "Coordinated +Approach for Spatial Information", but more commonly expanded in +English to Systematic Organization of Spatial Information). It is a +text based file format for geo-spatial vector information used in +Norway. Information about the SOSI format can be found in English +from <a href="https://en.wikipedia.org/wiki/SOSI">Wikipedia</a>. The +specification is available in Norwegian from +<a href="https://www.kartverket.no/geodataarbeid/Standarder/SOSI/">the +Norwegian mapping authority</a>. The SOSI standard, which originated +in the beginning of nineteen eighties, was the inspiration and formed the +basis for the XML based +<a href="https://en.wikipedia.org/wiki/Geography_Markup_Language">Geography +Markup Language</a>.</p> + +<p>I have so far written +<a href="https://github.com/file/file/pull/67">a pattern matching +rule</a> for the file(1) unix tool to recognize SOSI files, submitted +a request to the PRONOM project to have a PRONOM ID assigned to the +format (reference TNA1555078202S60), and today send a request to IANA +to register the "text/vnd.sosi" MIME type for this format (referanse +<a href="https://tools.iana.org/public-view/viewticket/1143144">IANA +#1143144</a>). If all goes well, in a few months, anyone implementing +the Noark 5 Tjenestegrensesnitt API spesification should be able to +use an official MIME type and PRONOM code for SOSI files. In +addition, anyone using SOSI files on Linux should be able to +automatically recognise the format and web sites handing out SOSI +files can begin providing a more specific MIME type. So far, SOSI +files has been handed out from web sites using the +"application/octet-stream" MIME type, which is just a nice way of +stating "I do not know". Soon, we will know. :)</p> <p>As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address @@ -191,135 +231,199 @@ activities, please send Bitcoin donations to my address - Overvåkning i Kina vs. Norge - http://people.skolelinux.org/pere/blog/Overv_kning_i_Kina_vs__Norge.html - http://people.skolelinux.org/pere/blog/Overv_kning_i_Kina_vs__Norge.html - Mon, 12 Feb 2018 09:40:00 +0100 - <p>Jeg lar meg fascinere av en artikkel -<a href="https://www.dagbladet.no/kultur/terroristene-star-pa-dora/69436116">i -Dagbladet om Kinas håndtering av Xinjiang</a>, spesielt følgende -utsnitt:</p> - -<p><blockquote> - -<p>«I den sørvestlige byen Kashgar nærmere grensa til -Sentral-Asia meldes det nå at 120.000 uigurer er internert i såkalte -omskoleringsleirer. Samtidig er det innført et omfattende -helsesjekk-program med innsamling og lagring av DNA-prøver fra -absolutt alle innbyggerne. De mest avanserte overvåkingsmetodene -testes ut her. Programmer for å gjenkjenne ansikter og stemmer er på -plass i regionen. Der har de lokale myndighetene begynt å installere -GPS-systemer i alle kjøretøy og egne sporingsapper i -mobiltelefoner.</p> - -<p>Politimetodene griper så dypt inn i folks dagligliv at motstanden -mot Beijing-regimet øker.»</p> - -</blockquote></p> - -<p>Beskrivelsen avviker jo desverre ikke så veldig mye fra tilstanden -her i Norge.</p> - -<table> -<tr> -<th>Dataregistrering</th> -<th>Kina</th> -<th>Norge</th> - -<tr> -<td>Innsamling og lagring av DNA-prøver fra befolkningen</td> -<td>Ja</td> -<td>Delvis, planlagt for alle nyfødte.</td> -</tr> - -<tr> -<td>Ansiktsgjenkjenning</td> -<td>Ja</td> -<td>Ja</td> -</tr> - -<tr> -<td>Stemmegjenkjenning</td> -<td>Ja</td> -<td>Nei</td> -</tr> - -<tr> -<td>Posisjons-sporing av mobiltelefoner</td> -<td>Ja</td> -<td>Ja</td> -</tr> - -<tr> -<td>Posisjons-sporing av biler</td> -<td>Ja</td> -<td>Ja</td> -</tr> - -</table> - -<p>I Norge har jo situasjonen rundt Folkehelseinstituttets lagring av -DNA-informasjon på vegne av politiet, der de nektet å slette -informasjon politiet ikke hadde lov til å ta vare på, gjort det klart -at DNA tar vare på ganske lenge. I tillegg finnes det utallige -biobanker som lagres til evig tid, og det er planer om å innføre -<a href="https://www.aftenposten.no/norge/i/75E9/4-av-10-mener-staten-bor-lagre-DNA-profiler-pa-alle-nyfodte">evig -lagring av DNA-materiale fra alle spebarn som fødes</a> (med mulighet -for å be om sletting).</p> - -<p>I Norge er det system på plass for ansiktsgjenkjenning, som -<a href="https://www.nrk.no/norge/kun-gardermoen-har-teknologi-for-ansiktsgjenkjenning-i-norge-1.12719461">en -NRK-artikkel fra 2015</a> forteller er aktiv på Gardermoen, samt -<a href="https://www.dagbladet.no/nyheter/inntil-27-000-bor-i-norge-under-falsk-id/60500781">brukes -til å analysere bilder innsamlet av myndighetene</a>. Brukes det også -flere plasser? Det er tett med overvåkningskamera kontrollert av -politi og andre myndigheter i for eksempel Oslo sentrum.</p> - -<p>Jeg er ikke kjent med at Norge har noe system for identifisering av -personer ved hjelp av stemmegjenkjenning.</p> - -<p>Posisjons-sporing av mobiltelefoner er ruinemessig tilgjengelig for -blant annet politi, NAV og Finanstilsynet, i tråd med krav i -telefonselskapenes konsesjon. I tillegg rapporterer smarttelefoner -sin posisjon til utviklerne av utallige mobil-apper, der myndigheter -og andre kan hente ut informasjon ved behov. Det er intet behov for -noen egen app for dette.</p> - -<p>Posisjons-sporing av biler er rutinemessig tilgjengelig via et tett -nett av målepunkter på veiene (automatiske bomstasjoner, -køfribrikke-registrering, automatiske fartsmålere og andre veikamera). -Det er i tillegg vedtatt at alle nye biler skal selges med utstyr for -GPS-sporing (eCall).</p> - -<p>Det er jammen godt vi lever i et liberalt demokrati, og ikke en -overvåkningsstat, eller?</p> + PlantUML for text based UML diagram modelling - nice free software + http://people.skolelinux.org/pere/blog/PlantUML_for_text_based_UML_diagram_modelling___nice_free_software.html + http://people.skolelinux.org/pere/blog/PlantUML_for_text_based_UML_diagram_modelling___nice_free_software.html + Mon, 25 Mar 2019 09:35:00 +0100 + <p>As part of my involvement with the +<a href="https://gitlab.com/OsloMet-ABI/nikita-noark5-core/">Nikita +Noark 5 core project</a>, I have been proposing improvements to the +API specification created by <a href="https://www.arkivverket.no/">The +National Archives of Norway</a> and helped migrating the text from a +version control system unfriendly binary format (docx) to Markdown in +git. Combined with the migration to a public git repository (on +github), this has made it possible for anyone to suggest improvement +to the text.</p> + +<p>The specification is filled with UML diagrams. I believe the +original diagrams were modelled using Sparx Systems Enterprise +Architect, and exported as EMF files for import into docx. This +approach make it very hard to track changes using a version control +system. To improve the situation I have been looking for a good text +based UML format with associated command line free software tools on +Linux and Windows, to allow anyone to send in corrections to the UML +diagrams in the specification. The tool must be text based to work +with git, and command line to be able to run it automatically to +generate the diagram images. Finally, it must be free software to +allow anyone, even those that can not accept a non-free software +license, to contribute.</p> + +<p>I did not know much about free software UML modelling tools when I +started. I have used dia and inkscape for simple modelling in the +past, but neither are available on Windows, as far as I could tell. I +came across a nice +<a href="https://modeling-languages.com/text-uml-tools-complete-list/">list +of text mode uml tools</a>, and tested out a few of the tools listed +there. <a href="http://plantuml.com/">The PlantUML tool</a> seemed +most promising. After verifying that the packages +<a href="https://tracker.debian.org/pkg/plantuml">is available in +Debian</a> and found <a href="https://github.com/plantuml/plantuml">its +Java source</a> under a GPL license on github, I set out to test if it +could represent the diagrams we needed, ie the ones currently in +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/">the +Noark 5 Tjenestegrensesnitt specification</a>. I am happy to report +that it could represent them, even thought it have a few warts here +and there.</p> + +<p>After a few days of modelling I completed the task this weekend. A +temporary link to the complete set of diagrams (original and from +PlantUML) is available in +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/76">the +github issue discussing the need for a text based UML format</a>, but +please note I lack a sensible tool to convert EMF files to PNGs, so +the "original" rendering is not as good as the original was in the +publised PDF.</p> + +<p>Here is an example UML diagram, showing the core classes for +keeping metadata about archived documents:</p> + +<pre> +@startuml +skinparam classAttributeIconSize 0 + +!include media/uml-class-arkivskaper.iuml +!include media/uml-class-arkiv.iuml +!include media/uml-class-klassifikasjonssystem.iuml +!include media/uml-class-klasse.iuml +!include media/uml-class-arkivdel.iuml +!include media/uml-class-mappe.iuml +!include media/uml-class-merknad.iuml +!include media/uml-class-registrering.iuml +!include media/uml-class-basisregistrering.iuml +!include media/uml-class-dokumentbeskrivelse.iuml +!include media/uml-class-dokumentobjekt.iuml +!include media/uml-class-konvertering.iuml +!include media/uml-datatype-elektronisksignatur.iuml + +Arkivstruktur.Arkivskaper "+arkivskaper 1..*" <-o "+arkiv 0..*" Arkivstruktur.Arkiv +Arkivstruktur.Arkiv o--> "+underarkiv 0..*" Arkivstruktur.Arkiv +Arkivstruktur.Arkiv "+arkiv 1" o--> "+arkivdel 0..*" Arkivstruktur.Arkivdel +Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" <--o "+arkivdel 1..*" Arkivstruktur.Arkivdel +Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" o--> "+klasse 0..*" Arkivstruktur.Klasse +Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe +Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering +Arkivstruktur.Klasse "+klasse 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe +Arkivstruktur.Klasse "+klasse 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering +Arkivstruktur.Mappe --> "+undermappe 0..*" Arkivstruktur.Mappe +Arkivstruktur.Mappe "+mappe 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering +Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Mappe +Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Dokumentbeskrivelse +Arkivstruktur.Basisregistrering -|> Arkivstruktur.Registrering +Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Basisregistrering +Arkivstruktur.Registrering "+registrering 1..*" o--> "+dokumentbeskrivelse 0..*" Arkivstruktur.Dokumentbeskrivelse +Arkivstruktur.Dokumentbeskrivelse "+dokumentbeskrivelse 1" o-> "+dokumentobjekt 0..*" Arkivstruktur.Dokumentobjekt +Arkivstruktur.Dokumentobjekt *-> "+konvertering 0..*" Arkivstruktur.Konvertering +Arkivstruktur.ElektroniskSignatur -[hidden]-> Arkivstruktur.Dokumentobjekt +@enduml +</pre> + +<p><a href="http://plantuml.com/class-diagram">The format</a> is quite +compact, with little redundant information. The text expresses +entities and relations, and there is little layout related fluff. One +can reuse content by using include files, allowing for consistent +naming across several diagrams. The include files can be standalone +PlantUML too. Here is the content of +<tt>media/uml-class-arkivskaper.iuml<tt>:</p> + +<pre> +@startuml +class Arkivstruktur.Arkivskaper <Arkivenhet> { + +arkivskaperID : string + +arkivskaperNavn : string + +beskrivelse : string [0..1] +} +@enduml +</pre> + +<p>This is what the complete diagram for the PlantUML notation above +look like:</p> + +<p><img width="80%" src="http://people.skolelinux.org/pere/blog/images/2019-03-25-noark5-plantuml-diagrameksempel.png"></p> + +<p>A cool feature of PlantUML is that the generated PNG files include +the entire original source diagram as text. The source (with include +statements expanded) can be extracted using for example +<tt>exiftool</tt>. Another cool feature is that parts of the entities +can be hidden after inclusion. This allow to use include files with +all attributes listed, even for UML diagrams that should not list any +attributes.</p> + +<p>The diagram also show some of the warts. Some times the layout +engine place text labels on top of each other, and some times it place +the class boxes too close to each other, not leaving room for the +labels on the relationship arrows. The former can be worked around by +placing extra newlines in the labes (ie "\n"). I did not do it here +to be able to demonstrate the issue. I have not found a good way +around the latter, so I normally try to reduce the problem by changing +from vertical to horizontal links to improve the layout.</p> + +<p>All in all, I am quite happy with PlantUML, and very impressed with +how quickly its lead developer responds to questions. So far I got an +answer to my questions in a few hours when I send an email. I +definitely recommend looking at PlantUML if you need to make UML +diagrams. Note, PlantUML can draw a lot more than class relations. +Check out the documention for a complete list. :)</p> -<p>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til -det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner -til min adresse +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address <b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> - How hard can æ, ø and å be? - http://people.skolelinux.org/pere/blog/How_hard_can______and___be_.html - http://people.skolelinux.org/pere/blog/How_hard_can______and___be_.html - Sun, 11 Feb 2018 17:10:00 +0100 - <img src="http://people.skolelinux.org/pere/blog/images/2018-02-11-peppes-unicode.jpeg" align="right"/> - -<p>We write 2018, and it is 30 years since Unicode was introduced. -Most of us in Norway have come to expect the use of our alphabet to -just work with any computer system. But it is apparently beyond reach -of the computers printing recites at a restaurant. Recently I visited -a Peppes pizza resturant, and noticed a few details on the recite. -Notice how 'ø' and 'å' are replaced with strange symbols in -'Servitør', 'Å BETALE', 'Beløp pr. gjest', 'Takk for besøket.' and 'Vi -gleder oss til å se deg igjen'.</p> + Release 0.3 of free software archive API system Nikita announced + http://people.skolelinux.org/pere/blog/Release_0_3_of_free_software_archive_API_system_Nikita_announced.html + http://people.skolelinux.org/pere/blog/Release_0_3_of_free_software_archive_API_system_Nikita_announced.html + Sun, 24 Mar 2019 14:30:00 +0100 + <p>Yesterday, a new release of +<a href="https://gitlab.com/OsloMet-ABI/nikita-noark5-core/">Nikita +Noark 5 core project</a> was +<a href="https://lists.nuug.no/pipermail/nikita-noark/2019-March/000451.html">announced +on the project mailing list</a>. The free software solution is an +implementation of the Norwegian archive standard Noark 5 used by +government offices in Norway. These were the changes in version 0.3 +since version 0.2.1 (from NEWS.md):</p> -<p>I would say that this state is passed sad and over in embarrassing.</p> +<ul> + <li>Improved ClassificationSystem and Class behaviour.</li> + <li>Tidied up known inconsistencies between domain model and hateaos links.</li> + <li>Added experimental code for blockchain integration. </li> + <li>Make token expiry time configurable at upstart from properties file.</li> + <li>Continued work on OData search syntax.</li> + <li>Started work on pagination for entities, partly implemented for Saksmappe.</li> + <li>Finalise ClassifiedCode Metadata entity.</li> + <li>Implement mechanism to check if authentication token is still + valid. This allow the GUI to return a more sensible message to the + user if the token is expired.</li> + <li>Reintroduce browse.html page to allow user to browse JSON API using + hateoas links.</li> + <li>Fix bug in handling file/mappe sequence number. Year change was + not properly handled.</li> + <li>Update application yml files to be in sync with current development.</li> + <li>Stop 'converting' everything to PDF using libreoffice. Only + convert the file formats doc, ppt, xls, docx, pptx, xlsx, odt, odp + and ods.</li> + <li>Continued code style fixing, making code more readable.</li> + <li>Minor bug fixes.</li> + +</ul> -<p>I removed personal and private information to be nice.</p> +<p>If free and open standardized archiving API sound interesting to +you, please contact us on IRC +(<a href="irc://irc.freenode.net/%23nikita">#nikita on +irc.freenode.net</a>) or email +(<a href="https://lists.nuug.no/mailman/listinfo/nikita-noark">nikita-noark +mailing list</a>).</p> <p>As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address @@ -328,589 +432,331 @@ activities, please send Bitcoin donations to my address - Legal to share more than 11,000 movies listed on IMDB? - http://people.skolelinux.org/pere/blog/Legal_to_share_more_than_11_000_movies_listed_on_IMDB_.html - http://people.skolelinux.org/pere/blog/Legal_to_share_more_than_11_000_movies_listed_on_IMDB_.html - Sun, 7 Jan 2018 23:30:00 +0100 - <p>I've continued to track down list of movies that are legal to -distribute on the Internet, and identified more than 11,000 title IDs -in The Internet Movie Database (IMDB) so far. Most of them (57%) are -feature films from USA published before 1923. I've also tracked down -more than 24,000 movies I have not yet been able to map to IMDB title -ID, so the real number could be a lot higher. According to the front -web page for <a href="https://retrofilmvault.com/">Retro Film -Vault</A>, there are 44,000 public domain films, so I guess there are -still some left to identify.</p> - -<p>The complete data set is available from -<a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">a -public git repository</a>, including the scripts used to create it. -Most of the data is collected using web scraping, for example from the -"product catalog" of companies selling copies of public domain movies, -but any source I find believable is used. I've so far had to throw -out three sources because I did not trust the public domain status of -the movies listed.</p> - -<p>Anyway, this is the summary of the 28 collected data sources so -far:</p> - -<p><pre> - 2352 entries ( 66 unique) with and 15983 without IMDB title ID in free-movies-archive-org-search.json - 2302 entries ( 120 unique) with and 0 without IMDB title ID in free-movies-archive-org-wikidata.json - 195 entries ( 63 unique) with and 200 without IMDB title ID in free-movies-cinemovies.json - 89 entries ( 52 unique) with and 38 without IMDB title ID in free-movies-creative-commons.json - 344 entries ( 28 unique) with and 655 without IMDB title ID in free-movies-fesfilm.json - 668 entries ( 209 unique) with and 1064 without IMDB title ID in free-movies-filmchest-com.json - 830 entries ( 21 unique) with and 0 without IMDB title ID in free-movies-icheckmovies-archive-mochard.json - 19 entries ( 19 unique) with and 0 without IMDB title ID in free-movies-imdb-c-expired-gb.json - 6822 entries ( 6669 unique) with and 0 without IMDB title ID in free-movies-imdb-c-expired-us.json - 137 entries ( 0 unique) with and 0 without IMDB title ID in free-movies-imdb-externlist.json - 1205 entries ( 57 unique) with and 0 without IMDB title ID in free-movies-imdb-pd.json - 84 entries ( 20 unique) with and 167 without IMDB title ID in free-movies-infodigi-pd.json - 158 entries ( 135 unique) with and 0 without IMDB title ID in free-movies-letterboxd-looney-tunes.json - 113 entries ( 4 unique) with and 0 without IMDB title ID in free-movies-letterboxd-pd.json - 182 entries ( 100 unique) with and 0 without IMDB title ID in free-movies-letterboxd-silent.json - 229 entries ( 87 unique) with and 1 without IMDB title ID in free-movies-manual.json - 44 entries ( 2 unique) with and 64 without IMDB title ID in free-movies-openflix.json - 291 entries ( 33 unique) with and 474 without IMDB title ID in free-movies-profilms-pd.json - 211 entries ( 7 unique) with and 0 without IMDB title ID in free-movies-publicdomainmovies-info.json - 1232 entries ( 57 unique) with and 1875 without IMDB title ID in free-movies-publicdomainmovies-net.json - 46 entries ( 13 unique) with and 81 without IMDB title ID in free-movies-publicdomainreview.json - 698 entries ( 64 unique) with and 118 without IMDB title ID in free-movies-publicdomaintorrents.json - 1758 entries ( 882 unique) with and 3786 without IMDB title ID in free-movies-retrofilmvault.json - 16 entries ( 0 unique) with and 0 without IMDB title ID in free-movies-thehillproductions.json - 63 entries ( 16 unique) with and 141 without IMDB title ID in free-movies-vodo.json -11583 unique IMDB title IDs in total, 8724 only in one list, 24647 without IMDB title ID -</pre></p> - -<p> I keep finding more data sources. I found the cinemovies source -just a few days ago, and as you can see from the summary, it extended -my list with 63 movies. Check out the mklist-* scripts in the git -repository if you are curious how the lists are created. Many of the -titles are extracted using searches on IMDB, where I look for the -title and year, and accept search results with only one movie listed -if the year matches. This allow me to automatically use many lists of -movies without IMDB title ID references at the cost of increasing the -risk of wrongly identify a IMDB title ID as public domain. So far my -random manual checks have indicated that the method is solid, but I -really wish all lists of public domain movies would include unique -movie identifier like the IMDB title ID. It would make the job of -counting movies in the public domain a lot easier.</p> - -<p>As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + Åpen og gjennomsiktig vedlikehold av spesifikasjonen for Noark 5 Tjenestegrensesnitt + http://people.skolelinux.org/pere/blog/_pen_og_gjennomsiktig_vedlikehold_av_spesifikasjonen_for_Noark_5_Tjenestegrensesnitt.html + http://people.skolelinux.org/pere/blog/_pen_og_gjennomsiktig_vedlikehold_av_spesifikasjonen_for_Noark_5_Tjenestegrensesnitt.html + Mon, 11 Mar 2019 16:00:00 +0100 + <p>Et virksomhetsarkiv for meg, er et arbeidsverktøy der en enkelt kan +finne informasjonen en trenger når en trenger det, og der +virksomhetens samlede kunnskap er tilgjengelig. Det må være greit å +finne frem i, litt som en bibliotek. Men der et bibliotek gjerne tar +vare på offentliggjort informasjon som er tilgjengelig flere steder, +tar et arkiv vare på virksomhetsintern og til tider personlig +informasjon som ofte kun er tilgjengelig fra et sted.</p> + +<p>Jeg mistenker den eneste måten å sikre at arkivet inneholder den +samlede kunnskapen i en virksomhet, er å bruke det som virksomhetens +kunnskapslager. Det innebærer å automatisk kopiere (brev, epost, +SMS-er etc) inn i arkivet når de sendes og mottas, og der filtrere +vekk det en ikke vil ta vare på, og legge på metadata om det som er +samlet inn for enkel gjenfinning. En slik bruk av arkivet innebærer at +arkivet er en del av daglig virke, ikke at det er siste hvilested for +informasjon ingen lenger har daglig bruk for. For å kunne være en del +av det daglige virket må arkivet enkelt kunne integreres med andre +systemer. I disse dager betyr det å tilby arkivet som en +nett-tjeneste til hele virksomheten, tilgjengelig for både mennesker +og datamaskiner. Det betyr i tur å både tilby nettsider og et +maskinlesbart grensesnitt.</p> + +<p>For noen år siden erkjente visjonære arkivarer fordelene med et +standardisert maskinlesbart grensesnitt til organisasjonens arkiv. De +gikk igang med å lage noe de kalte +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/">Noark +5 Tjenestegrensesnitt</a>. Gjort riktig, så åpner slike maskinlesbare +grensesnitt for samvirke på tvers av uavhengige programvaresystemer. +Gjort feil, vil det blokkere for samvirke og bidra til +leverandørinnlåsing. For å gjøre det riktig så må grensesnittet være +klart og entydig beskrevet i en spesifikasjon som gjør at +spesifikasjonen tolkes på samme måte uavhengig av hvem som leser den, +og uavhengig av hvem som tar den i bruk.</p> + +<p>For å oppnå klare og entydige beskrivelser i en spesifikasjon, som +trengs for å kunne få en fri og åpen standard (se +<a href="http://people.skolelinux.org/pere/blog/Fri_og__pen_standard__slik_Digistan_ser_det.html">Digistan-definisjon</a>), +så trengs det en åpen og gjennomsiktig inngangsport med lav terskel, +der de som forsøker å ta den i bruk enkelt kan få inn korreksjoner, +etterlyse klargjøringer og rapportere uklarheter i spesifikasjonen. +En trenger også automatiserte datasystemer som måler og sjekker at et +gitt grensesnitt fungerer i tråd med spesifikasjonen.</p> + +<p>For Noark 5 Tjenestegrensesnittet er det nå etablert en slik åpen +og gjennomsiktig inngangsport på prosjekttjenesten github. Denne +inngangsporten består først og fremst av en åpen portal som lar enhver +se hva som er gjort av endringer i spesifikasjonsteksten over tid, men +det hører også med et åpent &quot;diskusjonsforum&quot; der en kan +komme med endringsforslag og forespørsler om klargjøringer. Alle +registrerte brukere på github kan bidra med innspill til disse +henvendelsene.</p> + +<p>I samarbeide med Arkivverket har jeg fått opprettet et git-depot +med spesifikasjonsteksten for tjenestegrensesnittet, der det er lagt +inn historikk for endringer i teksten de siste årene, samt lagt inn +endringsforslag og forespørsler om klargjøring av teksten. Bakgrunnen +for at jeg bidro med dette er at jeg er involvert i +<a href="https://gitlab.com/OsloMet-ABI/nikita-noark5-core">Nikita-prosjektet</a>, +som lager en fri programvare-utgave av Noark 5 Tjenestegrensesnitt. +Det er først når en forsøker å lage noe i tråd med en spesifikasjon at +en oppdager hvor mange detaljer som må beskrives i spesifikasjonen for +å sikre samhandling.</p> + +<p>Spesifikasjonen vedlikeholdes i et rent tekstformat, for å ha et +format egnet for versjonskontroll via versjontrollsystemet git. Dette +gjør det både enkelt å se konkret hvilke endringer som er gjort når, +samt gjør det praktisk mulig for enhver med github-konto å sende inn +endringsforslag med formuleringer til spesifikasjonsteksten. Dette +tekstformatet vises frem som nettsider på github, slik at en ikke +trenger spesielle verktøy for å se på siste utgave av +spesifikasjonen.</p> + +<p>Fra dette rene tekstformatet kan det så avledes ulike formater, som +HTML for websider, PDF for utskrift på papir og ePub for lesing med +ebokleser. Avlednings-systemet (byggesystemet) bruker i dag +verktøyene pandoc, latex, docbook-xsl og GNU make til +transformasjonen. Tekstformatet som brukes dag er +<a href="https://www.markdownguide.org/">Markdown</a>, men det vurderes +å +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/9">endre +til formatet RST</a> i fremtiden for bedre styring av utseende på +PDF-utgaven.</p> + +<p>Versjonskontrollsystemet git ble valgt da det er både fleksibelt, +avansert og enkelt å ta i bruk. Github ble valgt (foran f.eks. Gitlab +som vi bruker i Nikita), da Arkivverket allerede hadde tatt i bruk +Github i andre sammenhenger.</p> + +<p>Enkle endringer i teksten kan gjøres av priviligerte brukere +direkte i nettsidene til Github, ved å finne aktuell fil som skal +endres (f.eks. kapitler/03-konformitet.md), klikke på den lille +bokstaven i høyre hjørne over teksten. Det kommer opp en nettside der +en kan endre teksten slik en ønsker. Når en er fornøyd med endringen +så må endringen &quot;sjekkes inn&quot; i historikken. Det gjøres ved +å gi en kort beskrivelse av endringen (beskriv helst hvorfor endringen +trengs, ikke hva som er endret), under overskriften &quot;Commit +changes&quot;. En kan og bør legge inn en lengre forklaring i det +større skrivefeltet, før en velger om endringen skal sendes direkte +til 'master'-grenen (dvs. autorativ utgave av spesifikasjonen) eller +om en skal lage en ny gren for denne endringen og opprette en +endringsforespørsel (aka &quot;Pull Request&quot;/PR). Når alt dette +er gjort kan en velge &quot;Commit changes&quot; for å sende inn +endringen. Hvis den er lagt inn i &quot;master&quot;-grenen så er den +en offisiell del av spesifikasjonen med en gang. Hvis den derimot er +en endringsforespørsel, så legges den inn i +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/pulls">listen +over forslag til endringer</a> som venter på korrekturlesing og +godkjenning.</p> + +<p>Større endringer (for eksempel samtidig endringer i flere filer) +gjøres enklest ved å hente ned en kopi av git-depoet lokalt og gjøre +endringene der før endringsforslaget sendes inn. Denne prosessen er +godt beskrivet i dokumentasjon fra github. Git-prosjektet som skal +&quot;klones&quot; er +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/">https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/</a>.</p> + +<p>For å registrere nye utfordringer (issues) eller kommentere på +eksisterende utfordringer benyttes nettsiden +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues">https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues</a>. +I skrivende stund er det 48 åpne og 11 avsluttede utfordringer. Et +forslag til hva som bør være med når en beskriver en utfordring er +tilgjengelig som utfordring +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/14">#14</a>.</p> + +<p>For å bygge en PDF-utgave av spesifikasjonen så bruker jeg i dag en +Debian GNU/Linux-maskin med en rekke programpakker installert. Når +dette er på plass, så holder det å kjøre kommandoen 'make pdf html' på +kommandolinjen, vente ca. 20 sekunder, før spesifikasjon.pdf og +spesifikasjon.html ligger klar på disken. Verktøyene for bygging av +PDF, HTML og ePub-utgave er også tilgjengelig på Windows og +MacOSX.</p> + +<p>Github bidrar med rammeverket. Men for at åpent vedlikehold av +spesifikasjonen skal fungere, så trengs det folk som bidrar med sin +tid og kunnskap. Arkivverket har sagt de skal bidra med innspill og +godkjenne forslag til endringer, men det blir størst suksess hvis alle +som bruker og lager systemer basert på Noark 5 Tjenestegrensesnitt +bidrar med sin kunnskap og kommer med forslag til forebedringer. Jeg +stiller. Blir du med?</p> + +<p>Det er viktig å legge til rette for åpen diskusjon blant alle +interesserte, som ikke krever at en må godta lange kontrakter med +vilkår for deltagelse. Inntil Arkivverket dukker opp på IRC har vi +laget en IRC-kanal der interesserte enkelt kan orientere seg og +diskutere tjenestegrensesnittet. Alle er velkommen til å ta turen +innom +<a href="https://webchat.freenode.net/?channels=nikita">#nikita</a> +(f.eks. via irc.freenode.net) for å møte likesinnede.</p> + +<p>Det holder dog ikke å ha en god spesifikasjon, hvis ikke de som tar +den i bruk gjør en like god jobb. For å automatisk teste om et konkret +tjenestegrensesnitt følger (min) forståelse av +spesifikasjonsdokumentet, har jeg skrevet et program som kobler seg +opp til et Noark 5v4 REST-tjeneste og tester alt den finner for å se +om det er i henhold til min tolkning av spesifikasjonen. Dette +verktøyet er tilgjengelig fra +<a href="https://github.com/petterreinholdtsen/noark5-tester">https://github.com/petterreinholdtsen/noark5-tester</a>, +og brukes daglig mens vi utvikler Nikita for å sikre at vi ikke +introduserer nye feil. Hvis en skal sikre samvirke på tvers av ulike +systemer er det helt essensielt å kunne raskt og automatisk sjekke at +tjenestegrensesnittet oppfører seg som forventet. Jeg håper andre som +lager sin utgave av tjenestegrensesnittet vi bruke dette verktøyet, +slik at vi tidlig og raskt kan oppdage hvor vi har tolket +spesifikasjonen ulikt, og dermed få et godt grunnlag for å gjøre +spesifikasjonsteksten enda klarere og bedre.</p> + +<p>Dagens beskrivelse av Noark 5 Tjenestegrensesnitt er et svært godt +utgangspunkt for å gjøre virksomhetens arkiv til et dynamisk og +sentralt arbeidsverktøy i organisasjonen. Blir du med å gjøre den +enda bedre?</p> - Kommentarer til «Evaluation of (il)legality» for Popcorn Time - http://people.skolelinux.org/pere/blog/Kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html - http://people.skolelinux.org/pere/blog/Kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html - Wed, 20 Dec 2017 11:40:00 +0100 - <p>I går var jeg i Follo tingrett som sakkyndig vitne og presenterte - mine undersøkelser rundt - <a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">telling - av filmverk i det fri</a>, relatert til - <a href="https://www.nuug.no/">foreningen NUUG</a>s involvering i - <a href="https://www.nuug.no/news/tags/dns-domenebeslag/">saken om - Økokrims beslag og senere inndragning av DNS-domenet - popcorn-time.no</a>. Jeg snakket om flere ting, men mest om min - vurdering av hvordan filmbransjen har målt hvor ulovlig Popcorn Time - er. Filmbransjens måling er så vidt jeg kan se videreformidlet uten - endringer av norsk politi, og domstolene har lagt målingen til grunn - når de har vurdert Popcorn Time både i Norge og i utlandet (tallet - 99% er referert også i utenlandske domsavgjørelser).</p> - -<p>I forkant av mitt vitnemål skrev jeg et notat, mest til meg selv, - med de punktene jeg ønsket å få frem. Her er en kopi av notatet jeg - skrev og ga til aktoratet. Merkelig nok ville ikke dommerene ha - notatet, så hvis jeg forsto rettsprosessen riktig ble kun - histogram-grafen lagt inn i dokumentasjonen i saken. Dommerne var - visst bare interessert i å forholde seg til det jeg sa i retten, - ikke det jeg hadde skrevet i forkant. Uansett så antar jeg at flere - enn meg kan ha glede av teksten, og publiserer den derfor her. - Legger ved avskrift av dokument 09,13, som er det sentrale - dokumentet jeg kommenterer.</p> - -<p><strong>Kommentarer til «Evaluation of (il)legality» for Popcorn - Time</strong></p> - -<p><strong>Oppsummering</strong></p> - -<p>Målemetoden som Økokrim har lagt til grunn når de påstår at 99% av - filmene tilgjengelig fra Popcorn Time deles ulovlig har - svakheter.</p> - -<p>De eller den som har vurdert hvorvidt filmer kan lovlig deles har - ikke lyktes med å identifisere filmer som kan deles lovlig og har - tilsynelatende antatt at kun veldig gamle filmer kan deles lovlig. - Økokrim legger til grunn at det bare finnes èn film, Charlie - Chaplin-filmen «The Circus» fra 1928, som kan deles fritt blant de - som ble observert tilgjengelig via ulike Popcorn Time-varianter. - Jeg finner tre flere blant de observerte filmene: «The Brain That - Wouldn't Die» fra 1962, «God’s Little Acre» fra 1958 og «She Wore a - Yellow Ribbon» fra 1949. Det er godt mulig det finnes flere. Det - finnes dermed minst fire ganger så mange filmer som lovlig kan deles - på Internett i datasettet Økokrim har lagt til grunn når det påstås - at mindre enn 1 % kan deles lovlig.</p> - -<p>Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra - ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte - filmkatalogene som helhet, hvilket påvirker fordelingen mellom - filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I - tillegg gir valg av øvre del (de fem første) av søkeresultatene et - avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk - i det fri i søkeresultatet.</p> - -<p>Det som måles er ikke (u)lovligheten knyttet til bruken av Popcorn - Time, men (u)lovligheten til innholdet i bittorrent-filmkataloger - som vedlikeholdes uavhengig av Popcorn Time.</p> - -<p>Omtalte dokumenter: 09,12, <a href="#dok-09-13">09,13</a>, 09,14, -09,18, 09,19, 09,20.</p> - -<p><strong>Utfyllende kommentarer</strong></p> - -<p>Økokrim har forklart domstolene at minst 99% av alt som er - tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på - Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette - tallet, og dette notatet er en samling kommentarer rundt målingen - Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på - saken er at jeg er interessert i å identifisere og telle hvor mange - kunstneriske verk som er falt i det fri eller av andre grunner kan - lovlig deles på Internett, og dermed var interessert i hvordan en - hadde funnet den ene prosenten som kanskje deles lovlig.</p> - -<p>Andelen på 99% kommer fra et ukreditert og udatert notatet som tar - mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike - Popcorn Time-varianter er.</p> - -<p>Raskt oppsummert, så forteller metodedokumentet at på grunn av at - det ikke er mulig å få tak i komplett liste over alle filmtitler - tilgjengelig via Popcorn Time, så lages noe som skal være et - representativt utvalg ved å velge 50 søkeord større enn tre tegn fra - ordlisten kjent som Dale-Chall. For hvert søkeord gjøres et søk og - de første fem filmene i søkeresultatet samles inn inntil 100 unike - filmtitler er funnet. Hvis 50 søkeord ikke var tilstrekkelig for å - nå 100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt - til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut - og søkt på flere tilfeldig valgte søkeord inntil 100 unike - filmtitler var identifisert.</p> - -<p>Deretter ble for hver av filmtitlene «vurdert hvorvidt det var - rimelig å forvente om at verket var vernet av copyright, ved å se på - om filmen var tilgjengelig i IMDB, samt se på regissør, - utgivelsesår, når det var utgitt for bestemte markedsområder samt - hvilke produksjons- og distribusjonsselskap som var registrert» (min - oversettelse).</p> - -<p>Metoden er gjengitt både i de ukrediterte dokumentene 09,13 og - 09,19, samt beskrevet fra side 47 i dokument 09,20, lysark datert - 2017-02-01. Sistnevnte er kreditert Geerart Bourlon fra Motion - Picture Association EMEA. Metoden virker å ha flere svakheter som - gir resultatene en slagside. Den starter med å slå fast at det ikke - er mulig å hente ut en komplett liste over alle filmtitler som er - tilgjengelig, og at dette er bakgrunnen for metodevalget. Denne - forutsetningen er ikke i tråd med det som står i dokument 09,12, som - ikke heller har oppgitt forfatter og dato. Dokument 09,12 forteller - hvordan hele kataloginnholdet ble lasted ned og talt opp. Dokument - 09,12 er muligens samme rapport som ble referert til i dom fra Oslo - Tingrett 2017-11-03 - (<a href="https://www.domstol.no/no/Enkelt-domstol/Oslo--tingrett/Nyheter/ma-sperre-for-popcorn-time/">sak - 17-093347TVI-OTIR/05</a>) som rapport av 1. juni 2017 av Alexander - Kind Petersen, men jeg har ikke sammenlignet dokumentene ord for ord - for å kontrollere dette.</p> - -<p>IMDB er en forkortelse for The Internet Movie Database, en - anerkjent kommersiell nettjeneste som brukes aktivt av både - filmbransjen og andre til å holde rede på hvilke spillefilmer (og - endel andre filmer) som finnes eller er under produksjon, og - informasjon om disse filmene. Datakvaliteten er høy, med få feil og - få filmer som mangler. IMDB viser ikke informasjon om - opphavsrettslig status for filmene på infosiden for hver film. Som - del av IMDB-tjenesten finnes det lister med filmer laget av - frivillige som lister opp det som antas å være verk i det fri.</p> - -<p>Det finnes flere kilder som kan brukes til å finne filmer som er - allemannseie (public domain) eller har bruksvilkår som gjør det - lovlig for alleå dele dem på Internett. Jeg har de siste ukene - forsøkt å samle og krysskoble disse listene for å forsøke å telle - antall filmer i det fri. Ved å ta utgangspunkt i slike lister (og - publiserte filmer for Internett-arkivets del), har jeg så langt - klart å identifisere over 11 000 filmer, hovedsaklig spillefilmer. - -<p>De aller fleste oppføringene er hentet fra IMDB selv, basert på det - faktum at alle filmer laget i USA før 1923 er falt i det fri. - Tilsvarende tidsgrense for Storbritannia er 1912-07-01, men dette - utgjør bare veldig liten del av spillefilmene i IMDB (19 totalt). - En annen stor andel kommer fra Internett-arkivet, der jeg har - identifisert filmer med referanse til IMDB. Internett-arkivet, som - holder til i USA, har som - <a href="https://archive.org/about/terms.php">policy å kun publisere - filmer som det er lovlig å distribuere</a>. Jeg har under arbeidet - kommet over flere filmer som har blitt fjernet fra - Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene - som kontrollerer Internett-arkivet har et aktivt forhold til å kun - ha lovlig innhold der, selv om det i stor grad er drevet av - frivillige. En annen stor liste med filmer kommer fra det - kommersielle selskapet Retro Film Vault, som selger allemannseide - filmer til TV- og filmbransjen, Jeg har også benyttet meg av lister - over filmer som hevdes å være allemannseie, det være seg Public - Domain Review, Public Domain Torrents og Public Domain Movies (.net - og .info), samt lister over filmer med Creative Commons-lisensiering - fra Wikipedia, VODO og The Hill Productions. Jeg har gjort endel - stikkontroll ved å vurdere filmer som kun omtales på en liste. Der - jeg har funnet feil som har gjort meg i tvil om vurderingen til de - som har laget listen har jeg forkastet listen fullstendig (gjelder - en liste fra IMDB).</p> - -<p>Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på - Internett (fra blant annet Internett-arkivet, Public Domain - Torrents, Public Domain Reivew og Public Domain Movies), og knytte - dem til oppføringer i IMDB, så har jeg så langt klart å identifisere - over 11 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro - kan lovlig distribueres av alle på Internett. Som ekstra kilder er - det brukt lister over filmer som antas/påstås å være allemannseie. - Disse kildene kommer fra miljøer som jobber for å gjøre tilgjengelig - for almennheten alle verk som er falt i det fri eller har - bruksvilkår som tillater deling. - -<p>I tillegg til de over 11 000 filmene der tittel-ID i IMDB er - identifisert, har jeg funnet mer enn 20 000 oppføringer der jeg ennå - ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Noen av - disse er nok duplikater av de IMDB-oppføringene som er identifisert - så langt, men neppe alle. Retro Film Vault hevder å ha 44 000 - filmverk i det fri i sin katalog, så det er mulig at det reelle - tallet er betydelig høyere enn de jeg har klart å identifisere så - langt. Konklusjonen er at tallet 11 000 er nedre grense for hvor - mange filmer i IMDB som kan lovlig deles på Internett. I følge <a - href="http://www.imdb.com/stats">statistikk fra IMDB</a> er det 4.6 - millioner titler registrert, hvorav 3 millioner er TV-serieepisoder. - Jeg har ikke funnet ut hvordan de fordeler seg per år.</p> - -<p>Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å lovlig - kunne deles på Internett, får en følgende histogram:</p> - -<p align="center"><img width="80%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year.png"></p> - -<p>En kan i histogrammet se at effekten av manglende registrering - eller fornying av registrering er at mange filmer gitt ut i USA før - 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere - filmer gitt ut de siste årene med bruksvilkår som tillater deling, - muligens på grunn av fremveksten av - <a href="https://creativecommons.org/">Creative - Commons</a>-bevegelsen..</p> - -<p>For maskinell analyse av katalogene har jeg laget et lite program - som kobler seg til bittorrent-katalogene som brukes av ulike Popcorn - Time-varianter og laster ned komplett liste over filmer i - katalogene, noe som bekrefter at det er mulig å hente ned komplett - liste med alle filmtitler som er tilgjengelig. Jeg har sett på fire - bittorrent-kataloger. Den ene brukes av klienten tilgjengelig fra - www.popcorntime.sh og er navngitt 'sh' i dette dokumentet. Den - andre brukes i følge dokument 09,12 av klienten tilgjengelig fra - popcorntime.ag og popcorntime.sh og er navngitt 'yts' i dette - dokumentet. Den tredje brukes av websidene tilgjengelig fra - popcorntime-online.tv og er navngitt 'apidomain' i dette dokumentet. - Den fjerde brukes av klienten tilgjenglig fra popcorn-time.to i - følge dokument 09,12, og er navngitt 'ukrfnlge' i dette - dokumentet.</p> - -<p>Metoden Økokrim legger til grunn skriver i sitt punkt fire at - skjønn er en egnet metode for å finne ut om en film kan lovlig deles - på Internett eller ikke, og sier at det ble «vurdert hvorvidt det - var rimelig å forvente om at verket var vernet av copyright». For - det første er det ikke nok å slå fast om en film er «vernet av - copyright» for å vite om det er lovlig å dele den på Internett eller - ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår - som tillater deling på Internett. Eksempler på dette er Creative - Commons-lisensierte filmer som Citizenfour fra 2014 og Sintel fra - 2010. I tillegg til slike finnes det flere filmer som nå er - allemannseie (public domain) på grunn av manglende registrering - eller fornying av registrering selv om både regisør, - produksjonsselskap og distributør ønsker seg vern. Eksempler på - dette er Plan 9 from Outer Space fra 1959 og Night of the Living - Dead fra 1968. Alle filmer fra USA som var allemannseie før - 1989-03-01 forble i det fri da Bern-konvensjonen, som tok effekt i - USA på det tidspunktet, ikke ble gitt tilbakevirkende kraft. Hvis - det er noe - <a href="http://www.latimes.com/local/lanow/la-me-ln-happy-birthday-song-lawsuit-decision-20150922-story.html">historien - om sangen «Happy birthday»</a> forteller oss, der betaling for bruk - har vært krevd inn i flere tiår selv om sangen ikke egentlig var - vernet av åndsverksloven, så er det at hvert enkelt verk må vurderes - nøye og i detalj før en kan slå fast om verket er allemannseie eller - ikke, det holder ikke å tro på selverklærte rettighetshavere. Flere - eksempel på verk i det fri som feilklassifiseres som vernet er fra - dokument 09,18, som lister opp søkeresultater for klienten omtalt - som popcorntime.sh og i følge notatet kun inneholder en film (The - Circus fra 1928) som under tvil kan antas å være allemannseie.</p> - -<p>Ved rask gjennomlesning av dokument 09,18, som inneholder - skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt - både filmen «The Brain That Wouldn't Die» fra 1962 som er - <a href="https://archive.org/details/brain_that_wouldnt_die">tilgjengelig - fra Internett-arkivet</a> og som - <a href="https://en.wikipedia.org/wiki/List_of_films_in_the_public_domain_in_the_United_States">i - følge Wikipedia er allemannseie i USA</a> da den ble gitt ut i - 1962 uten 'copyright'-merking, og filmen «God’s Little Acre» fra - 1958 <a href="https://en.wikipedia.org/wiki/God%27s_Little_Acre_%28film%29">som - er lagt ut på Wikipedia</a>, der det fortelles at - sort/hvit-utgaven er allemannseie. Det fremgår ikke fra dokument - 09,18 om filmen omtalt der er sort/hvit-utgaven. Av - kapasitetsårsaker og på grunn av at filmoversikten i dokument 09,18 - ikke er maskinlesbart har jeg ikke forsøkt å sjekke alle filmene som - listes opp der om mot liste med filmer som er antatt lovlig kan - distribueres på Internet.</p> - -<p>Ved maskinell gjennomgang av listen med IMDB-referanser under - regnearkfanen 'Unique titles' i dokument 09.14, fant jeg i tillegg - filmen «She Wore a Yellow Ribbon» fra 1949) som nok også er - feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig - fra Internett-arkivet og markert som allemannseie der. Det virker - dermed å være minst fire ganger så mange filmer som kan lovlig deles - på Internett enn det som er lagt til grunn når en påstår at minst - 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere - undersøkelser kan avdekke flere. Poenget er uansett at metodens - punkt om «rimelig å forvente om at verket var vernet av copyright» - gjør metoden upålitelig.</p> - -<p>Den omtalte målemetoden velger ut tilfeldige søketermer fra - ordlisten Dale-Chall. Den ordlisten inneholder 3000 enkle engelske - som fjerdeklassinger i USA er forventet å forstå. Det fremgår ikke - hvorfor akkurat denne ordlisten er valgt, og det er uklart for meg - om den er egnet til å få et representativt utvalg av filmer. Mange - av ordene gir tomt søkeresultat. Ved å simulerte tilsvarende søk - ser jeg store avvik fra fordelingen i katalogen for enkeltmålinger. - Dette antyder at enkeltmålinger av 100 filmer slik målemetoden - beskriver er gjort, ikke er velegnet til å finne andel ulovlig - innhold i bittorrent-katalogene.</p> - -<p>En kan motvirke dette store avviket for enkeltmålinger ved å gjøre - mange søk og slå sammen resultatet. Jeg har testet ved å - gjennomføre 100 enkeltmålinger (dvs. måling av (100x100=) 10 000 - tilfeldig valgte filmer) som gir mindre, men fortsatt betydelig - avvik, i forhold til telling av filmer pr år i hele katalogen.</p> - -<p>Målemetoden henter ut de fem øverste i søkeresultatet. - Søkeresultatene er sortert på antall bittorrent-klienter registrert - som delere i katalogene, hvilket kan gi en slagside mot hvilke - filmer som er populære blant de som bruker bittorrent-katalogene, - uten at det forteller noe om hvilket innhold som er tilgjengelig - eller hvilket innhold som deles med Popcorn Time-klienter. Jeg har - forsøkt å måle hvor stor en slik slagside eventuelt er ved å - sammenligne fordelingen hvis en tar de 5 nederste i søkeresultatet i - stedet. Avviket for disse to metodene for endel kataloger er godt - synlig på histogramet. Her er histogram over filmer funnet i den - komplette katalogen (grønn strek), og filmer funnet ved søk etter - ord i Dale-Chall. Grafer merket 'top' henter fra de 5 første i - søkeresultatet, mens de merket 'bottom' henter fra de 5 siste. En - kan her se at resultatene påvirkes betydelig av hvorvidt en ser på - de første eller de siste filmene i et søketreff.</p> - -<p align="center"> - <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-top.png"/> - <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-bottom.png"/> - <br> - <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-top.png"/> - <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-bottom.png"/> - <br> - <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-top.png"/> - <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-bottom.png"/> - <br> - <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-top.png"/> - <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-bottom.png"/> -</p> - -<p>Det er verdt å bemerke at de omtalte bittorrent-katalogene ikke er - laget for bruk med Popcorn Time. Eksempelvis tilhører katalogen - YTS, som brukes av klientet som ble lastes ned fra popcorntime.sh, - et selvstendig fildelings-relatert nettsted YTS.AG med et separat - brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke - (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til - innholdet i disse katalogene.</p> - -<hr> - -<p id="dok-09-13">Metoden fra Økokrims dokument 09,13 i straffesaken -om DNS-beslag.</p> - -<p><strong>1. Evaluation of (il)legality</strong></p> - -<p><strong>1.1. Methodology</strong> - -<p>Due to its technical configuration, Popcorn Time applications don't -allow to make a full list of all titles made available. In order to -evaluate the level of illegal operation of PCT, the following -methodology was applied:</p> - -<ol> - - <li>A random selection of 50 keywords, greater than 3 letters, was - made from the Dale-Chall list that contains 3000 simple English - words1. The selection was made by using a Random Number - Generator2.</li> - - <li>For each keyword, starting with the first randomly selected - keyword, a search query was conducted in the movie section of the - respective Popcorn Time application. For each keyword, the first - five results were added to the title list until the number of 100 - unique titles was reached (duplicates were removed).</li> - - <li>For one fork, .CH, insufficient titles were generated via this - approach to reach 100 titles. This was solved by adding any - additional query results above five for each of the 50 keywords. - Since this still was not enough, another 42 random keywords were - selected to finally reach 100 titles.</li> - - <li>It was verified whether or not there is a reasonable expectation - that the work is copyrighted by checking if they are available on - IMDb, also verifying the director, the year when the title was - released, the release date for a certain market, the production - company/ies of the title and the distribution company/ies.</li> - -</ol> - -<p><strong>1.2. Results</strong></p> - -<p>Between 6 and 9 June 2016, four forks of Popcorn Time were -investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and -popcorntime.ch. An excel sheet with the results is included in -Appendix 1. Screenshots were secured in separate Appendixes for each -respective fork, see Appendix 2-5.</p> - -<p>For each fork, out of 100, de-duplicated titles it was possible to -retrieve data according to the parameters set out above that indicate -that the title is commercially available. Per fork, there was 1 title -that presumably falls within the public domain, i.e. the 1928 movie -"The Circus" by and with Charles Chaplin.</p> - -<p>Based on the above it is reasonable to assume that 99% of the movie -content of each fork is copyright protected and is made available -illegally.</p> - -<p>This exercise was not repeated for TV series, but considering that -besides production companies and distribution companies also -broadcasters may have relevant rights, it is reasonable to assume that -at least a similar level of infringement will be established.</p> - -<p>Based on the above it is reasonable to assume that 99% of all the -content of each fork is copyright protected and are made available -illegally.</p> + Dårlig med sikkerhetsoppdateringer for Ruters billettautomater i Oslo? + http://people.skolelinux.org/pere/blog/D_rlig_med_sikkerhetsoppdateringer_for_Ruters_billettautomater_i_Oslo_.html + http://people.skolelinux.org/pere/blog/D_rlig_med_sikkerhetsoppdateringer_for_Ruters_billettautomater_i_Oslo_.html + Wed, 13 Feb 2019 10:45:00 +0100 + <p><a href="http://people.skolelinux.org/pere/blog/Er_billettautomatene_til_kollektivtrafikken_i_Oslo_uten_sikkerhetsoppdateringer_.html">For +syv år siden</a> oppdaget jeg at billettautomater for +kollektivtrafikken i Oslo kjørte +<a href="http://en.wikipedia.org/wiki/Windows_2000">Windows 2000 +Professional</a>. Operativsystemet har ikke fått sikkerhetsfikser fra +Microsoft siden 2010-07-13 i følge dem selv. Den samme versjonen av +operativsystemet var i bruk +<a href="http://people.skolelinux.org/pere/blog/Fortsatt_ingen_sikkerhetsoppdateringer_for_billettautomatene_til_kollektivtrafikken_i_Oslo_.html">for +to og et halvt år siden</a>, og jammen er det ikke også i bruk den dag +i dag:</p> + +<p align="center"><a href="http://people.skolelinux.org/pere/blog/images/2019-02-13-ruter-win2000pro.jpeg"><img width="40%" src="http://people.skolelinux.org/pere/blog/images/2019-02-13-ruter-win2000pro.jpeg" alt="[Bilde av Ruters billettautomat med Windows 2000-feilmelding]"></a></p> + +<p>Bildet er tatt i dag av Kirill Miazine og tilgjengelig for bruk med +bruksvilkårene til +<a href="http://creativecommons.org/licenses/by/4.0/">Creative +Commons Attribution 4.0 International (CC BY 4.0)</a>.</p> + +<p>Kanskje det hadde vært +<a href="https://www.aftenposten.no/osloby/i/awqgO/Her-kjorer-du-gratis-trikk-og-buss">bedre +med gratis kollektivtrafikk</A>, slik at vi slapp å stole på +datakompetansen til Ruter for å verne våre privatliv samt holde +personopplysninger og betalingsinformasjon unna uvedkommende. Eneste +måten å sikre at hvor en befinner seg ikke kan hentes ut fra Ruters +systemer er å betale enkeltbilletter med kontanter. Jeg vet at Ruter +har en god historie om hvor personvernvennlige mobil-app og +RFID-kortene er, men den historien er ikke mulig å uavhengig +kontrollere uten priviligert tilgang til interne system og blir dermed +bare nok en god historie basert på tillit til de som forteller +historien. Det er ikke slik en sikrer privatsfæren. Det gjør en ved +å sikre at det ikke (kan) registreres informasjon om ens person.</p> + +<p>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>. +Merk, betaling med bitcoin er ikke anonymt. :)</p> - Cura, the nice 3D print slicer, is now in Debian Unstable - http://people.skolelinux.org/pere/blog/Cura__the_nice_3D_print_slicer__is_now_in_Debian_Unstable.html - http://people.skolelinux.org/pere/blog/Cura__the_nice_3D_print_slicer__is_now_in_Debian_Unstable.html - Sun, 17 Dec 2017 07:00:00 +0100 - <p>After several months of working and waiting, I am happy to report -that the nice and user friendly 3D printer slicer software Cura just -entered Debian Unstable. It consist of five packages, -<a href="https://tracker.debian.org/pkg/cura">cura</a>, -<a href="https://tracker.debian.org/pkg/cura-engine">cura-engine</a>, -<a href="https://tracker.debian.org/pkg/libarcus">libarcus</a>, -<a href="https://tracker.debian.org/pkg/fdm-materials">fdm-materials</a>, -<a href="https://tracker.debian.org/pkg/libsavitar">libsavitar</a> and -<a href="https://tracker.debian.org/pkg/uranium">uranium</a>. The last -two, uranium and cura, entered Unstable yesterday. This should make -it easier for Debian users to print on at least the Ultimaker class of -3D printers. My nearest 3D printer is an Ultimaker 2+, so it will -make life easier for at least me. :)</p> - -<p>The work to make this happen was done by Gregor Riepl, and I was -happy to assist him in sponsoring the packages. With the introduction -of Cura, Debian is up to three 3D printer slicers at your service, -Cura, Slic3r and Slic3r Prusa. If you own or have access to a 3D -printer, give it a go. :)</p> - -<p>The 3D printer software is maintained by the 3D printer Debian -team, flocking together on the -<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/3dprinter-general">3dprinter-general</a> -mailing list and the -<a href="irc://irc.debian.org/#debian-3dprinting">#debian-3dprinting</a> -IRC channel.</p> - -<p>The next step for Cura in Debian is to update the cura package to -version 3.0.3 and then update the entire set of packages to version -3.1.0 which showed up the last few days.</p> + Stortinget vedtar maskinlesbart register over 20% av selskapseierne i Norge + http://people.skolelinux.org/pere/blog/Stortinget_vedtar_maskinlesbart_register_over_20__av_selskapseierne_i_Norge.html + http://people.skolelinux.org/pere/blog/Stortinget_vedtar_maskinlesbart_register_over_20__av_selskapseierne_i_Norge.html + Thu, 7 Feb 2019 23:55:00 +0100 + <p>Jeg registrerer med glede at Stortinget i dag har +<a href="https://www.stortinget.no/no/Saker-og-publikasjoner/Saker/Sak/?p=72826">vedtatt +at det skal vedlikeholdes et åpent og maskinlesbart register over +reelle rettighetshavere i Norge</a>. Her kan en kanskje få et +register som kan brukes til å analysere eierskap og kontroll i Norge +maskinelt og knytte det til internasjonale databaser som +<a href="https://opencorporates.com/">OpenCorporates</a>. Det liker +jeg.</p> + +<p>Den vedtatte grense på 25 prosents eierandel fikk stor +oppmerksomhet i debatten. Jeg ser fra enkel analyse av skatteetatens +eierskapsregister at 80.4% av alle selskapseiere i registeret har +mindre enn 25% eierandel, mot 73.8% som har mindre enn 5% eierandel. +En grense på 25% vil altså utelukke 80.4% av selskapseierne fra det +vedtatte registeret, og en grense på 5% vil skjule 73.8%. En må helt +ned i registrering av eierandeler over circa 0.002% for å få mer enn +halvparten av selskapseierne i Norge. Mon tro hvor langt ned en må i +eierprosent for å få med alle eierskapene til politisk valgte +representanter?</p> + +<p>Jeg biter meg også merke i at Sivert Bjørnstad fra FrP +tilsynelatende tror at aksjonærregisteret er et eksisterende åpent +register, på tross av at det så vidt jeg vet kun deles ved personlig +oppmøte hos skatteetaten og ikke er tilgjengelig i maskinlesbart +format for enhver, og dermed så langt ikke er importert inn i +OpenCorporates. Det anser jeg ikke for et spesielt åpent register. +Debatten ga ellers lite håp om at situasjonen bedrer seg, da +finansministeren bare henviste til en fraværende næringsministeren og +ikke ville uttale seg om et skikkelig aksjonærregister snart dukker +opp.</p> + +<p>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>. +Merk, betaling med bitcoin er ikke anonymt. :)</p> - Idea for finding all public domain movies in the USA - http://people.skolelinux.org/pere/blog/Idea_for_finding_all_public_domain_movies_in_the_USA.html - http://people.skolelinux.org/pere/blog/Idea_for_finding_all_public_domain_movies_in_the_USA.html - Wed, 13 Dec 2017 10:15:00 +0100 - <p>While looking at -<a href="http://onlinebooks.library.upenn.edu/cce/">the scanned copies -for the copyright renewal entries for movies published in the USA</a>, -an idea occurred to me. The number of renewals are so few per year, it -should be fairly quick to transcribe them all and add references to -the corresponding IMDB title ID. This would give the (presumably) -complete list of movies published 28 years earlier that did _not_ -enter the public domain for the transcribed year. By fetching the -list of USA movies published 28 years earlier and subtract the movies -with renewals, we should be left with movies registered in IMDB that -are now in the public domain. For the year 1955 (which is the one I -have looked at the most), the total number of pages to transcribe is -21. For the 28 years from 1950 to 1978, it should be in the range -500-600 pages. It is just a few days of work, and spread among a -small group of people it should be doable in a few weeks of spare -time.</p> - -<p>A typical copyright renewal entry look like this (the first one -listed for 1955):</p> - -<p><blockquote> - ADAM AND EVIL, a photoplay in seven reels by Metro-Goldwyn-Mayer - Distribution Corp. (c) 17Aug27; L24293. Loew's Incorporated (PWH); - 10Jun55; R151558. -</blockquote></p> - -<p>The movie title as well as registration and renewal dates are easy -enough to locate by a program (split on first comma and look for -DDmmmYY). The rest of the text is not required to find the movie in -IMDB, but is useful to confirm the correct movie is found. I am not -quite sure what the L and R numbers mean, but suspect they are -reference numbers into the archive of the US Copyright Office.</p> - -<p>Tracking down the equivalent IMDB title ID is probably going to be -a manual task, but given the year it is fairly easy to search for the -movie title using for example -<a href="http://www.imdb.com/find?q=adam+and+evil+1927&s=all">http://www.imdb.com/find?q=adam+and+evil+1927&s=all</a>. -Using this search, I find that the equivalent IMDB title ID for the -first renewal entry from 1955 is -<a href="http://www.imdb.com/title/tt0017588/">http://www.imdb.com/title/tt0017588/</a>.</p> - -<p>I suspect the best way to do this would be to make a specialised -web service to make it easy for contributors to transcribe and track -down IMDB title IDs. In the web service, once a entry is transcribed, -the title and year could be extracted from the text, a search in IMDB -conducted for the user to pick the equivalent IMDB title ID right -away. By spreading out the work among volunteers, it would also be -possible to make at least two persons transcribe the same entries to -be able to discover any typos introduced. But I will need help to -make this happen, as I lack the spare time to do all of this on my -own. If you would like to help, please get in touch. Perhaps you can -draft a web service for crowd sourcing the task?</p> - -<p>Note, Project Gutenberg already have some -<a href="http://www.gutenberg.org/ebooks/search/?query=copyright+office+renewals">transcribed -copies of the US Copyright Office renewal protocols</a>, but I have -not been able to find any film renewals there, so I suspect they only -have copies of renewal for written works. I have not been able to find -any transcribed versions of movie renewals so far. Perhaps they exist -somewhere?</p> - -<p>I would love to figure out methods for finding all the public -domain works in other countries too, but it is a lot harder. At least -for Norway and Great Britain, such work involve tracking down the -people involved in making the movie and figuring out when they died. -It is hard enough to figure out who was part of making a movie, but I -do not know how to automate such procedure without a registry of every -person involved in making movies and their death year.</p> + Websocket from Kraken in Valutakrambod + http://people.skolelinux.org/pere/blog/Websocket_from_Kraken_in_Valutakrambod.html + http://people.skolelinux.org/pere/blog/Websocket_from_Kraken_in_Valutakrambod.html + Fri, 1 Feb 2019 22:25:00 +0100 + <p>Yesterday, the Kraken virtual currency exchange announced +<a href="https://blog.kraken.com/post/2019/websockets-public-api-launching-soon/">their +Websocket service</a>, providing a stream of exchange updates to its +clients. Getting updated rates quickly is a good idea, so I used +their <a href="https://www.kraken.com/en-us/help/websocket-api">API +documentation</a> and added Websocket support to the Kraken service in +Valutakrambod today. The python library can now get updates +from Kraken several times per second, instead of every time the +information is polled from the REST API.</p> + +<p>If this sound interesting to you, the code for valutakrambod is +available from +<a href="http://github.com/petterreinholdtsen/valutakrambod">github</a>. +Here is example output from the example client displaying rates in a +curses view:</p> + +<p><blockquote><pre> + Name Pair Bid Ask Spr Ftcd Age + BitcoinsNorway BTCEUR 2959.2800 3021.0500 2.0% 36 nan nan + Bitfinex BTCEUR 3087.9000 3088.0000 0.0% 36 37 nan + Bitmynt BTCEUR 3001.8700 3135.4600 4.3% 36 52 nan + Bitpay BTCEUR 3003.8659 nan nan% 35 nan nan + Bitstamp BTCEUR 3008.0000 3010.2300 0.1% 0 1 1 + Bl3p BTCEUR 3000.6700 3010.9300 0.3% 1 nan nan + Coinbase BTCEUR 2992.1800 3023.2500 1.0% 34 nan nan + Kraken+BTCEUR 3005.7000 3006.6000 0.0% 0 1 0 + Paymium BTCEUR 2940.0100 2993.4400 1.8% 0 2688 nan + BitcoinsNorway BTCNOK 29000.0000 29360.7400 1.2% 36 nan nan + Bitmynt BTCNOK 29115.6400 29720.7500 2.0% 36 52 nan + Bitpay BTCNOK 29029.2512 nan nan% 36 nan nan + Coinbase BTCNOK 28927.6000 29218.5900 1.0% 35 nan nan + MiraiEx BTCNOK 29097.7000 29741.4200 2.2% 36 nan nan + BitcoinsNorway BTCUSD 3385.4200 3456.0900 2.0% 36 nan nan + Bitfinex BTCUSD 3538.5000 3538.6000 0.0% 36 45 nan + Bitpay BTCUSD 3443.4600 nan nan% 34 nan nan + Bitstamp BTCUSD 3443.0100 3445.0500 0.1% 0 2 1 + Coinbase BTCUSD 3428.1600 3462.6300 1.0% 33 nan nan + Gemini BTCUSD 3445.8800 3445.8900 0.0% 36 326 nan + Hitbtc BTCUSD 3473.4700 3473.0700 -0.0% 0 0 0 + Kraken+BTCUSD 3444.4000 3445.6000 0.0% 0 1 0 + Exchangerates EURNOK 9.6685 9.6685 0.0% 36 22226 nan + Norgesbank EURNOK 9.6685 9.6685 0.0% 36 22226 nan + Bitstamp EURUSD 1.1440 1.1462 0.2% 0 1 2 + Exchangerates EURUSD 1.1471 1.1471 0.0% 36 22226 nan + BitcoinsNorway LTCEUR 1.0009 22.6538 95.6% 35 nan nan + BitcoinsNorway LTCNOK 259.0900 264.9300 2.2% 35 nan nan + BitcoinsNorway LTCUSD 0.0000 29.0000 100.0% 35 nan nan + Norgesbank USDNOK 8.4286 8.4286 0.0% 36 22226 nan +</pre></blockquote></p> + +<p>Yes, I notice the strange negative spread on Hitbtc. I've seen the +same on Kraken. Another strange observation is that Kraken some times +announce trade orders a fraction of a second in the future. I really +wonder what is going on there.</p> <p>As usual, if you use Bitcoin and want to show your support of my activities, please send Bitcoin donations to my address