X-Git-Url: http://pere.pagekite.me/gitweb/homepage.git/blobdiff_plain/89da5b96e7f055a55c0dd5629a152fcad71f643f..271aba3cc2efb48d8c0720a80a64f7845124cba6:/blog/index.rss diff --git a/blog/index.rss b/blog/index.rss index 6c6777a316..3a71e92be9 100644 --- a/blog/index.rss +++ b/blog/index.rss @@ -6,6 +6,586 @@ http://people.skolelinux.org/pere/blog/ + + Jami/Ring, finally functioning peer to peer communication client + http://people.skolelinux.org/pere/blog/Jami_Ring__finally_functioning_peer_to_peer_communication_client.html + http://people.skolelinux.org/pere/blog/Jami_Ring__finally_functioning_peer_to_peer_communication_client.html + Wed, 19 Jun 2019 08:50:00 +0200 + <p>Some years ago, in 2016, I +<a href="http://people.skolelinux.org/pere/blog/Experience_and_updated_recipe_for_using_the_Signal_app_without_a_mobile_phone.html">wrote +for the first time about</a> the Ring peer to peer messaging system. +It would provide messaging without any central server coordinating the +system and without requiring all users to register a phone number or +own a mobile phone. Back then, I could not get it to work, and put it +aside until it had seen more development. A few days ago I decided to +give it another try, and am happy to report that this time I am able +to not only send and receive messages, but also place audio and video +calls. But only if UDP is not blocked into your network.</p> + +<p>The Ring system changed name earlier this year to +<a href="https://en.wikipedia.org/wiki/Jami_(software)">Jami</a>. I +tried doing web search for 'ring' when I discovered it for the first +time, and can only applaud this change as it is impossible to find +something called Ring among the noise of other uses of that word. Now +you can search for 'jami' and this client and +<a href="https://jami.net/">the Jami system</a> is the first hit at +least on duckduckgo.</p> + +<p>Jami will by default encrypt messages as well as audio and video +calls, and try to send them directly between the communicating parties +if possible. If this proves impossible (for example if both ends are +behind NAT), it will use a central SIP TURN server maintained by the +Jami project. Jami can also be a normal SIP client. If the SIP +server is unencrypted, the audio and video calls will also be +unencrypted. This is as far as I know the only case where Jami will +do anything without encryption.</p> + +<p>Jami is available for several platforms: Linux, Windows, MacOSX, +Android, iOS, and Android TV. It is included in Debian already. Jami +also work for those using F-Droid without any Google connections, +while Signal do not. +<a href="https://git.jami.net/savoirfairelinux/ring-project/wikis/technical/Protocol">The +protocol</a> is described in the Ring project wiki. The system uses a +distributed hash table (DHT) system (similar to BitTorrent) running +over UDP. On one of the networks I use, I discovered Jami failed to +work. I tracked this down to the fact that incoming UDP packages +going to ports 1-49999 were blocked, and the DHT would pick a random +port and end up in the low range most of the time. After talking to +the developers, I solved this by enabling the dhtproxy in the +settings, thus using TCP to talk to a central DHT proxy instead of + +peering directly with others. I've been told the developers are +working on allowing DHT to use TCP to avoid this problem. I also ran +into a problem when trying to talk to the version of Ring included in +Debian Stable (Stretch). Apparently the protocol changed between +beta2 and the current version, making these clients incompatible. +Hopefully the protocol will not be made incompatible in the +future.</p> + +<p>It is worth noting that while looking at Jami and its features, I +came across another communication platform I have not tested yet. The +<a href="https://en.wikipedia.org/wiki/Tox_(protocol)">Tox protocol</a> +and <a href="https://tox.chat/">family of Tox clients</a>. It might +become the topic of a future blog post.</p> + +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + + + More sales number for my Free Culture paper editions (2019-edition) + http://people.skolelinux.org/pere/blog/More_sales_number_for_my_Free_Culture_paper_editions__2019_edition_.html + http://people.skolelinux.org/pere/blog/More_sales_number_for_my_Free_Culture_paper_editions__2019_edition_.html + Tue, 11 Jun 2019 16:05:00 +0200 + <p>The first book I published, +<a href="http://www.free-culture.cc/">Free Culture by Lawrence +Lessig</a>, is still selling a few copies. Not a lot, but enough to +have contributed slightly over $500 to the <a +href="https://creativecommons.org/">Creative Commons Corporation</a> +so far. All the profit is sent there. Most books are still sold via +Amazon (83 copies), with Ingram second (49) and Lulu (12) and Machette (7) as +minor channels. Bying directly from Lulu bring the largest cut to +Creative Commons. The English Edition sold 80 copies so far, the +French 59 copies, and Norwegian only 8 copies. Nothing impressive, +but nice to see the work we put down is still being appreciated. The +ebook edition is available for free from +<a href="https://github.com/petterreinholdtsen/free-culture-lessig">Github</a>.</p> + +<table border="0"> +<tr><th rowspan="2" valign="bottom">Title / language</th> +<th colspan="7">Quantity</th></tr> +<tr> +<th>2016 jan-jun</th> +<th>2016 jul-dec</th> +<th>2017 jan-jun</th> +<th>2017 jul-dec</th> +<th>2018 jan-jun</th> +<th>2018 jul-dec</th> +<th>2019 jan-may</th> +</tr> + +<tr> + <td><a href="http://www.lulu.com/shop/lawrence-lessig/culture-libre/paperback/product-22645082.html">Culture Libre / French</a></td> + <td align="right">3</td> + <td align="right">6</td> + <td align="right">19</td> + <td align="right">11</td> + <td align="right">7</td> + <td align="right">6</td> + <td align="right">7</td> +</tr> + +<tr> + <td><a href="http://www.lulu.com/shop/lawrence-lessig/fri-kultur/paperback/product-22441576.html">Fri kultur / Norwegian</a></td> + <td align="right">7</td> + <td align="right">1</td> + <td align="right">0</td> + <td align="right">0</td> + <td align="right">0</td> + <td align="right">0</td> + <td align="right">0</td> +</tr> + +<tr> + <td><a href="http://www.lulu.com/shop/lawrence-lessig/free-culture/paperback/product-22440520.html">Free Culture / English</a></td> + <td align="right">14</td> + <td align="right">27</td> + <td align="right">16</td> + <td align="right">9</td> + <td align="right">3</td> + <td align="right">7</td> + <td align="right">3</td> +</tr> + +<tr> + <td>Total</td> + <td align="right">24</td> + <td align="right">34</td> + <td align="right">35</td> + <td align="right">20</td> + <td align="right">10</td> + <td align="right">13</td> + <td align="right">10</td> +</tr> + +</table> + +<p>It is fun to see the French edition being more popular than the +English one.</p> + +<p>If you would like to translate and publish the book in your native +language, I would be happy to help make it happen. Please get in +touch.</p> + + + + + Official MIME type "text/vnd.sosi" for SOSI map data + http://people.skolelinux.org/pere/blog/Official_MIME_type__text_vnd_sosi__for_SOSI_map_data.html + http://people.skolelinux.org/pere/blog/Official_MIME_type__text_vnd_sosi__for_SOSI_map_data.html + Tue, 4 Jun 2019 09:20:00 +0200 + <p>Just 15 days ago, +<ahref="http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html">I +mentioned</a> my submission to IANA to register an official MIME type +for the SOSI vector map format. This morning, just an hour ago, I was +notified that +<a href="https://www.iana.org/assignments/media-types/text/vnd.sosi">the +MIME type "text/vnd.sosi"</a> is registered for this format. In +addition to this registration, my +<a href="https://github.com/file/file/blob/master/magic/Magdir/sosi">file(1) +patch for a pattern matching rule for SOSI files</a> has been accepted +into the official source of that program (pending a new release), and +I've been told by the team behind +<a href="https://www.nationalarchives.gov.uk/PRONOM/">PRONOM</a> that +the SOSI format will be included in the next release of PRONOM, which +they plan to release this summer around July.</p> + +<p>I am very happy to see all of this fall into place, for use by +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/">the +Noark 5 Tjenestegrensesnitt</a> implementations.</p> + +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + + + The space rover coquine, or how I ended up on the dark side of the moon + http://people.skolelinux.org/pere/blog/The_space_rover_coquine__or_how_I_ended_up_on_the_dark_side_of_the_moon.html + http://people.skolelinux.org/pere/blog/The_space_rover_coquine__or_how_I_ended_up_on_the_dark_side_of_the_moon.html + Sun, 2 Jun 2019 23:55:00 +0200 + <p>A while back a college and friend from Debian and the Skolelinux / +Debian Edu project approached me, asking if I knew someone that might +be interested in helping out with a technology project he was running +as a teacher at <a href="https://www.ecolefrancodanoise.dk/">L'école +franco-danoise</a> - the Danish-French school and kindergarden. The +kids were building robots, rovers. The story behind it is to build a +rover for use +<a href="http://blog.ecolefrancodanoise.dk/first-week-on-the-dark-side">on +the dark side of the moon</a>, and remote control it. As travel cost +was a bit high for the final destination, and they wanted to test the +concept first, he was looking for volunteers to host a rover for the +kids to control in a foreign country. I ended up volunteering as a +host, and last week the rover arrived. It took a while to arrive +after <a href="http://blog.ecolefrancodanoise.dk/model-moms">it was +built and shipped</a>, because of customs confusion. Luckily we were +able fix it quickly with help from my colleges at work.</p> + +<p>This is what it looked like when the rover arrived. Note the cute +eyes looking up on me from the wrapping</p> + +<img src="http://people.skolelinux.org/pere/blog/images/2019-06-02-robot-dark-side-of-moon-esken-med-det-rare-i.jpeg" width="32%" style="clear:left"/> +<img src="http://people.skolelinux.org/pere/blog/images/2019-06-02-robot-dark-side-of-moon-den-ser-meg.jpeg" width="32%" style="clear:left"/> +<img src="http://people.skolelinux.org/pere/blog/images/2019-06-02-robot-dark-side-of-moon-en-skrue-loes.jpeg" width="32%" style="clear:left"/> + +<p style="text-align:left">Once the robot arrived, we needed to track +down batteries and figure out how to build custom firmware for it with +the appropriate wifi settings. I asked a friend if I could get two +18650 batteries from his pile of Tesla batteries (he had them from the +wrack of a crashed Tesla), so now the rover is running on Tesla +batteries.</p> + +<p>Building +<a href="https://gitlab.com/ecolefrancodanoise/arduino-efd/">the rover +firmware</a> proved a bit harder, as the code did not work out of the +box with the Arduino IDE package in Debian Buster. I suspect this is +due to a unsolved +<a href="https://github.com/arduino/Arduino/pull/2703"> license problem +with arduino</a> blocking Debian from upgrading to the latest version. +In the end we gave up debugging why the IDE failed to find the +required libraries, and ended up using the Arduino Makefile from the +<a href="https://tracker.debian.org/pkg/arduino-mk">arduino-mk Debian +package</a> instead. Unfortunately the camera library is missing from +the Arduino environment in Debian, so we disabled the camera support +for the first firmware build, to get something up and running. With +this reduced firmware, the robot could be controlled via the +controller server, driving around and measuring distance using its +internal acoustic sensor.</p> + +<p>Next, With some help from my friend in Denmark, which checked in the +camera library into the gitlab repository for me to use, we were able +to build a new and more complete version of the firmware, and the +robot is now up and running. This is what the "commander" web page +look like after taking a measurement and a snapshot:</p> + +<img src="http://people.skolelinux.org/pere/blog/images/2019-06-02-robot-dark-side-of-moon-commander.png" width="40%" border="1" align="center"/> + +<p>If you want to learn more about this project, you can check out the +<a href="https://hackaday.io/project/164082-the-dark-side-challenge">The +Dark Side Challenge</a> Hackaday web pages.</p> + +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + + + Nikita version 0.4 released - free software archive API server + http://people.skolelinux.org/pere/blog/Nikita_version_0_4_released___free_software_archive_API_server.html + http://people.skolelinux.org/pere/blog/Nikita_version_0_4_released___free_software_archive_API_server.html + Wed, 22 May 2019 11:30:00 +0200 + <p>This morning, a new release of +<a href="https://gitlab.com/OsloMet-ABI/nikita-noark5-core/">Nikita +Noark 5 core project</a> was +<a href="https://lists.nuug.no/pipermail/nikita-noark/2019-May/000468.html">announced +on the project mailing list</a>. The Nikita free software solution is +an implementation of the Norwegian archive standard Noark 5 used by +government offices in Norway. These were the changes in version 0.4 +since version 0.3, see the email link above for links to a demo site:</p> + +<ul> + + <li>Roll out OData handling to all endpoints where applicable</li> + <li>Changed the relation key for "ny-journalpost" to the official one.</li> + <li>Better link generation on outgoing links.</li> + <li>Tidy up code and make code and approaches more consistent throughout + the codebase</li> + <li>Update rels to be in compliance with updated version in the + interface standard</li> + <li>Avoid printing links on empty objects as they can't have links</li> + <li>Small bug fixes and improvements</li> + <li>Start moving generation of outgoing links to @Service layer so access + control can be used when generating links</li> + <li>Log exception that was being swallowed so it's traceable</li> + <li>Fix name mapping problem</li> + <li>Update templated printing so templated should only be printed if it + is set true. Requires more work to roll out across entire + application.</li> + <li>Remove Record->DocumentObject as per domain model of n5v4</li> + <li>Add ability to delete lists filtered with OData</li> + <li>Return NO_CONTENT (204) on delete as per interface standard</li> + <li>Introduce support for ConstraintViolationException exception</li> + <li>Make Service classes extend NoarkService</li> + <li>Make code base respect X-Forwarded-Host, X-Forwarded-Proto and + X-Forwarded-Port</li> + <li>Update CorrespondencePart* code to be more in line with Single + Responsibility Principle</li> + <li>Make package name follow directory structure</li> + <li>Make sure Document number starts at 1, not 0</li> + <li>Fix isues discovered by FindBugs</li> + <li>Update from Date to ZonedDateTime</li> + <li>Fix wrong tablename</li> + <li>Introduce Service layer tests</li> + <li>Improvements to CorrespondencePart</li> + <li>Continued work on Class / Classificationsystem</li> + <li>Fix feature where authors were stored as storageLocations</li> + <li>Update HQL builder for OData</li> + <li>Update OData search capability from webpage</li> + +</ul> + +<p>If free and open standardized archiving API sound interesting to +you, please contact us on IRC +(<a href="irc://irc.freenode.net/%23nikita">#nikita on +irc.freenode.net</a>) or email +(<a href="https://lists.nuug.no/mailman/listinfo/nikita-noark">nikita-noark +mailing list</a>).</p> + +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + + + MIME type "text/vnd.sosi" for SOSI map data + http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html + http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html + Mon, 20 May 2019 08:35:00 +0200 + <p>As part of my involvement in the work to +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard">standardise +a REST based API for Noark 5</a>, the Norwegian archiving standard, I +spent some time the last few months to try to register a +<a href="https://www.iana.org/assignments/media-types/">MIME type</a> +and <a href="https://www.nationalarchives.gov.uk/PRONOM/">PRONOM +code</a> for the SOSI file format. The background is that there is a +set of formats approved for long term storage and archiving in Norway, +and among these formats, SOSI is the only format missing a MIME type +and PRONOM code.</p> + +<p>What is SOSI, you might ask? To quote Wikipedia: SOSI is short for +Samordnet Opplegg for Stedfestet Informasjon (literally "Coordinated +Approach for Spatial Information", but more commonly expanded in +English to Systematic Organization of Spatial Information). It is a +text based file format for geo-spatial vector information used in +Norway. Information about the SOSI format can be found in English +from <a href="https://en.wikipedia.org/wiki/SOSI">Wikipedia</a>. The +specification is available in Norwegian from +<a href="https://www.kartverket.no/geodataarbeid/Standarder/SOSI/">the +Norwegian mapping authority</a>. The SOSI standard, which originated +in the beginning of nineteen eighties, was the inspiration and formed the +basis for the XML based +<a href="https://en.wikipedia.org/wiki/Geography_Markup_Language">Geography +Markup Language</a>.</p> + +<p>I have so far written +<a href="https://github.com/file/file/pull/67">a pattern matching +rule</a> for the file(1) unix tool to recognize SOSI files, submitted +a request to the PRONOM project to have a PRONOM ID assigned to the +format (reference TNA1555078202S60), and today send a request to IANA +to register the "text/vnd.sosi" MIME type for this format (referanse +<a href="https://tools.iana.org/public-view/viewticket/1143144">IANA +#1143144</a>). If all goes well, in a few months, anyone implementing +the Noark 5 Tjenestegrensesnitt API spesification should be able to +use an official MIME type and PRONOM code for SOSI files. In +addition, anyone using SOSI files on Linux should be able to +automatically recognise the format and web sites handing out SOSI +files can begin providing a more specific MIME type. So far, SOSI +files has been handed out from web sites using the +"application/octet-stream" MIME type, which is just a nice way of +stating "I do not know". Soon, we will know. :)</p> + +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + + + PlantUML for text based UML diagram modelling - nice free software + http://people.skolelinux.org/pere/blog/PlantUML_for_text_based_UML_diagram_modelling___nice_free_software.html + http://people.skolelinux.org/pere/blog/PlantUML_for_text_based_UML_diagram_modelling___nice_free_software.html + Mon, 25 Mar 2019 09:35:00 +0100 + <p>As part of my involvement with the +<a href="https://gitlab.com/OsloMet-ABI/nikita-noark5-core/">Nikita +Noark 5 core project</a>, I have been proposing improvements to the +API specification created by <a href="https://www.arkivverket.no/">The +National Archives of Norway</a> and helped migrating the text from a +version control system unfriendly binary format (docx) to Markdown in +git. Combined with the migration to a public git repository (on +github), this has made it possible for anyone to suggest improvement +to the text.</p> + +<p>The specification is filled with UML diagrams. I believe the +original diagrams were modelled using Sparx Systems Enterprise +Architect, and exported as EMF files for import into docx. This +approach make it very hard to track changes using a version control +system. To improve the situation I have been looking for a good text +based UML format with associated command line free software tools on +Linux and Windows, to allow anyone to send in corrections to the UML +diagrams in the specification. The tool must be text based to work +with git, and command line to be able to run it automatically to +generate the diagram images. Finally, it must be free software to +allow anyone, even those that can not accept a non-free software +license, to contribute.</p> + +<p>I did not know much about free software UML modelling tools when I +started. I have used dia and inkscape for simple modelling in the +past, but neither are available on Windows, as far as I could tell. I +came across a nice +<a href="https://modeling-languages.com/text-uml-tools-complete-list/">list +of text mode uml tools</a>, and tested out a few of the tools listed +there. <a href="http://plantuml.com/">The PlantUML tool</a> seemed +most promising. After verifying that the packages +<a href="https://tracker.debian.org/pkg/plantuml">is available in +Debian</a> and found <a href="https://github.com/plantuml/plantuml">its +Java source</a> under a GPL license on github, I set out to test if it +could represent the diagrams we needed, ie the ones currently in +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/">the +Noark 5 Tjenestegrensesnitt specification</a>. I am happy to report +that it could represent them, even thought it have a few warts here +and there.</p> + +<p>After a few days of modelling I completed the task this weekend. A +temporary link to the complete set of diagrams (original and from +PlantUML) is available in +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues/76">the +github issue discussing the need for a text based UML format</a>, but +please note I lack a sensible tool to convert EMF files to PNGs, so +the "original" rendering is not as good as the original was in the +publised PDF.</p> + +<p>Here is an example UML diagram, showing the core classes for +keeping metadata about archived documents:</p> + +<pre> +@startuml +skinparam classAttributeIconSize 0 + +!include media/uml-class-arkivskaper.iuml +!include media/uml-class-arkiv.iuml +!include media/uml-class-klassifikasjonssystem.iuml +!include media/uml-class-klasse.iuml +!include media/uml-class-arkivdel.iuml +!include media/uml-class-mappe.iuml +!include media/uml-class-merknad.iuml +!include media/uml-class-registrering.iuml +!include media/uml-class-basisregistrering.iuml +!include media/uml-class-dokumentbeskrivelse.iuml +!include media/uml-class-dokumentobjekt.iuml +!include media/uml-class-konvertering.iuml +!include media/uml-datatype-elektronisksignatur.iuml + +Arkivstruktur.Arkivskaper "+arkivskaper 1..*" <-o "+arkiv 0..*" Arkivstruktur.Arkiv +Arkivstruktur.Arkiv o--> "+underarkiv 0..*" Arkivstruktur.Arkiv +Arkivstruktur.Arkiv "+arkiv 1" o--> "+arkivdel 0..*" Arkivstruktur.Arkivdel +Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" <--o "+arkivdel 1..*" Arkivstruktur.Arkivdel +Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" o--> "+klasse 0..*" Arkivstruktur.Klasse +Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe +Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering +Arkivstruktur.Klasse "+klasse 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe +Arkivstruktur.Klasse "+klasse 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering +Arkivstruktur.Mappe --> "+undermappe 0..*" Arkivstruktur.Mappe +Arkivstruktur.Mappe "+mappe 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering +Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Mappe +Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Dokumentbeskrivelse +Arkivstruktur.Basisregistrering -|> Arkivstruktur.Registrering +Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Basisregistrering +Arkivstruktur.Registrering "+registrering 1..*" o--> "+dokumentbeskrivelse 0..*" Arkivstruktur.Dokumentbeskrivelse +Arkivstruktur.Dokumentbeskrivelse "+dokumentbeskrivelse 1" o-> "+dokumentobjekt 0..*" Arkivstruktur.Dokumentobjekt +Arkivstruktur.Dokumentobjekt *-> "+konvertering 0..*" Arkivstruktur.Konvertering +Arkivstruktur.ElektroniskSignatur -[hidden]-> Arkivstruktur.Dokumentobjekt +@enduml +</pre> + +<p><a href="http://plantuml.com/class-diagram">The format</a> is quite +compact, with little redundant information. The text expresses +entities and relations, and there is little layout related fluff. One +can reuse content by using include files, allowing for consistent +naming across several diagrams. The include files can be standalone +PlantUML too. Here is the content of +<tt>media/uml-class-arkivskaper.iuml<tt>:</p> + +<pre> +@startuml +class Arkivstruktur.Arkivskaper <Arkivenhet> { + +arkivskaperID : string + +arkivskaperNavn : string + +beskrivelse : string [0..1] +} +@enduml +</pre> + +<p>This is what the complete diagram for the PlantUML notation above +look like:</p> + +<p><img width="80%" src="http://people.skolelinux.org/pere/blog/images/2019-03-25-noark5-plantuml-diagrameksempel.png"></p> + +<p>A cool feature of PlantUML is that the generated PNG files include +the entire original source diagram as text. The source (with include +statements expanded) can be extracted using for example +<tt>exiftool</tt>. Another cool feature is that parts of the entities +can be hidden after inclusion. This allow to use include files with +all attributes listed, even for UML diagrams that should not list any +attributes.</p> + +<p>The diagram also show some of the warts. Some times the layout +engine place text labels on top of each other, and some times it place +the class boxes too close to each other, not leaving room for the +labels on the relationship arrows. The former can be worked around by +placing extra newlines in the labes (ie "\n"). I did not do it here +to be able to demonstrate the issue. I have not found a good way +around the latter, so I normally try to reduce the problem by changing +from vertical to horizontal links to improve the layout.</p> + +<p>All in all, I am quite happy with PlantUML, and very impressed with +how quickly its lead developer responds to questions. So far I got an +answer to my questions in a few hours when I send an email. I +definitely recommend looking at PlantUML if you need to make UML +diagrams. Note, PlantUML can draw a lot more than class relations. +Check out the documention for a complete list. :)</p> + +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + + + Release 0.3 of free software archive API system Nikita announced + http://people.skolelinux.org/pere/blog/Release_0_3_of_free_software_archive_API_system_Nikita_announced.html + http://people.skolelinux.org/pere/blog/Release_0_3_of_free_software_archive_API_system_Nikita_announced.html + Sun, 24 Mar 2019 14:30:00 +0100 + <p>Yesterday, a new release of +<a href="https://gitlab.com/OsloMet-ABI/nikita-noark5-core/">Nikita +Noark 5 core project</a> was +<a href="https://lists.nuug.no/pipermail/nikita-noark/2019-March/000451.html">announced +on the project mailing list</a>. The free software solution is an +implementation of the Norwegian archive standard Noark 5 used by +government offices in Norway. These were the changes in version 0.3 +since version 0.2.1 (from NEWS.md):</p> + +<ul> + <li>Improved ClassificationSystem and Class behaviour.</li> + <li>Tidied up known inconsistencies between domain model and hateaos links.</li> + <li>Added experimental code for blockchain integration. </li> + <li>Make token expiry time configurable at upstart from properties file.</li> + <li>Continued work on OData search syntax.</li> + <li>Started work on pagination for entities, partly implemented for Saksmappe.</li> + <li>Finalise ClassifiedCode Metadata entity.</li> + <li>Implement mechanism to check if authentication token is still + valid. This allow the GUI to return a more sensible message to the + user if the token is expired.</li> + <li>Reintroduce browse.html page to allow user to browse JSON API using + hateoas links.</li> + <li>Fix bug in handling file/mappe sequence number. Year change was + not properly handled.</li> + <li>Update application yml files to be in sync with current development.</li> + <li>Stop 'converting' everything to PDF using libreoffice. Only + convert the file formats doc, ppt, xls, docx, pptx, xlsx, odt, odp + and ods.</li> + <li>Continued code style fixing, making code more readable.</li> + <li>Minor bug fixes.</li> + +</ul> + +<p>If free and open standardized archiving API sound interesting to +you, please contact us on IRC +(<a href="irc://irc.freenode.net/%23nikita">#nikita on +irc.freenode.net</a>) or email +(<a href="https://lists.nuug.no/mailman/listinfo/nikita-noark">nikita-noark +mailing list</a>).</p> + +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + Åpen og gjennomsiktig vedlikehold av spesifikasjonen for Noark 5 Tjenestegrensesnitt http://people.skolelinux.org/pere/blog/_pen_og_gjennomsiktig_vedlikehold_av_spesifikasjonen_for_Noark_5_Tjenestegrensesnitt.html @@ -229,747 +809,5 @@ Merk, betaling med bitcoin er ikke anonymt. :)</p> - - Stortinget vedtar maskinlesbart register over 20% av selskapseierne i Norge - http://people.skolelinux.org/pere/blog/Stortinget_vedtar_maskinlesbart_register_over_20__av_selskapseierne_i_Norge.html - http://people.skolelinux.org/pere/blog/Stortinget_vedtar_maskinlesbart_register_over_20__av_selskapseierne_i_Norge.html - Thu, 7 Feb 2019 23:55:00 +0100 - <p>Jeg registrerer med glede at Stortinget i dag har -<a href="https://www.stortinget.no/no/Saker-og-publikasjoner/Saker/Sak/?p=72826">vedtatt -at det skal vedlikeholdes et åpent og maskinlesbart register over -reelle rettighetshavere i Norge</a>. Her kan en kanskje få et -register som kan brukes til å analysere eierskap og kontroll i Norge -maskinelt og knytte det til internasjonale databaser som -<a href="https://opencorporates.com/">OpenCorporates</a>. Det liker -jeg.</p> - -<p>Den vedtatte grense på 25 prosents eierandel fikk stor -oppmerksomhet i debatten. Jeg ser fra enkel analyse av skatteetatens -eierskapsregister at 80.4% av alle selskapseiere i registeret har -mindre enn 25% eierandel, mot 73.8% som har mindre enn 5% eierandel. -En grense på 25% vil altså utelukke 80.4% av selskapseierne fra det -vedtatte registeret, og en grense på 5% vil skjule 73.8%. En må helt -ned i registrering av eierandeler over circa 0.002% for å få mer enn -halvparten av selskapseierne i Norge. Mon tro hvor langt ned en må i -eierprosent for å få med alle eierskapene til politisk valgte -representanter?</p> - -<p>Jeg biter meg også merke i at Sivert Bjørnstad fra FrP -tilsynelatende tror at aksjonærregisteret er et eksisterende åpent -register, på tross av at det så vidt jeg vet kun deles ved personlig -oppmøte hos skatteetaten og ikke er tilgjengelig i maskinlesbart -format for enhver, og dermed så langt ikke er importert inn i -OpenCorporates. Det anser jeg ikke for et spesielt åpent register. -Debatten ga ellers lite håp om at situasjonen bedrer seg, da -finansministeren bare henviste til en fraværende næringsministeren og -ikke ville uttale seg om et skikkelig aksjonærregister snart dukker -opp.</p> - -<p>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til -det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner -til min adresse -<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>. -Merk, betaling med bitcoin er ikke anonymt. :)</p> - - - - - Websocket from Kraken in Valutakrambod - http://people.skolelinux.org/pere/blog/Websocket_from_Kraken_in_Valutakrambod.html - http://people.skolelinux.org/pere/blog/Websocket_from_Kraken_in_Valutakrambod.html - Fri, 1 Feb 2019 22:25:00 +0100 - <p>Yesterday, the Kraken virtual currency exchange announced -<a href="https://blog.kraken.com/post/2019/websockets-public-api-launching-soon/">their -Websocket service</a>, providing a stream of exchange updates to its -clients. Getting updated rates quickly is a good idea, so I used -their <a href="https://www.kraken.com/en-us/help/websocket-api">API -documentation</a> and added Websocket support to the Kraken service in -Valutakrambod today. The python library can now get updates -from Kraken several times per second, instead of every time the -information is polled from the REST API.</p> - -<p>If this sound interesting to you, the code for valutakrambod is -available from -<a href="http://github.com/petterreinholdtsen/valutakrambod">github</a>. -Here is example output from the example client displaying rates in a -curses view:</p> - -<p><blockquote><pre> - Name Pair Bid Ask Spr Ftcd Age - BitcoinsNorway BTCEUR 2959.2800 3021.0500 2.0% 36 nan nan - Bitfinex BTCEUR 3087.9000 3088.0000 0.0% 36 37 nan - Bitmynt BTCEUR 3001.8700 3135.4600 4.3% 36 52 nan - Bitpay BTCEUR 3003.8659 nan nan% 35 nan nan - Bitstamp BTCEUR 3008.0000 3010.2300 0.1% 0 1 1 - Bl3p BTCEUR 3000.6700 3010.9300 0.3% 1 nan nan - Coinbase BTCEUR 2992.1800 3023.2500 1.0% 34 nan nan - Kraken+BTCEUR 3005.7000 3006.6000 0.0% 0 1 0 - Paymium BTCEUR 2940.0100 2993.4400 1.8% 0 2688 nan - BitcoinsNorway BTCNOK 29000.0000 29360.7400 1.2% 36 nan nan - Bitmynt BTCNOK 29115.6400 29720.7500 2.0% 36 52 nan - Bitpay BTCNOK 29029.2512 nan nan% 36 nan nan - Coinbase BTCNOK 28927.6000 29218.5900 1.0% 35 nan nan - MiraiEx BTCNOK 29097.7000 29741.4200 2.2% 36 nan nan - BitcoinsNorway BTCUSD 3385.4200 3456.0900 2.0% 36 nan nan - Bitfinex BTCUSD 3538.5000 3538.6000 0.0% 36 45 nan - Bitpay BTCUSD 3443.4600 nan nan% 34 nan nan - Bitstamp BTCUSD 3443.0100 3445.0500 0.1% 0 2 1 - Coinbase BTCUSD 3428.1600 3462.6300 1.0% 33 nan nan - Gemini BTCUSD 3445.8800 3445.8900 0.0% 36 326 nan - Hitbtc BTCUSD 3473.4700 3473.0700 -0.0% 0 0 0 - Kraken+BTCUSD 3444.4000 3445.6000 0.0% 0 1 0 - Exchangerates EURNOK 9.6685 9.6685 0.0% 36 22226 nan - Norgesbank EURNOK 9.6685 9.6685 0.0% 36 22226 nan - Bitstamp EURUSD 1.1440 1.1462 0.2% 0 1 2 - Exchangerates EURUSD 1.1471 1.1471 0.0% 36 22226 nan - BitcoinsNorway LTCEUR 1.0009 22.6538 95.6% 35 nan nan - BitcoinsNorway LTCNOK 259.0900 264.9300 2.2% 35 nan nan - BitcoinsNorway LTCUSD 0.0000 29.0000 100.0% 35 nan nan - Norgesbank USDNOK 8.4286 8.4286 0.0% 36 22226 nan -</pre></blockquote></p> - -<p>Yes, I notice the strange negative spread on Hitbtc. I've seen the -same on Kraken. Another strange observation is that Kraken some times -announce trade orders a fraction of a second in the future. I really -wonder what is going on there.</p> - -<p>As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> - - - - - Strategispillet Unknown Horizons nå tilgjengelig på bokmål - http://people.skolelinux.org/pere/blog/Strategispillet_Unknown_Horizons_n__tilgjengelig_p__bokm_l.html - http://people.skolelinux.org/pere/blog/Strategispillet_Unknown_Horizons_n__tilgjengelig_p__bokm_l.html - Wed, 23 Jan 2019 07:50:00 +0100 - <p>I høst ble jeg inspirert til å bidra til oversettelsen av -<a href="http://unknown-horizons.org/">strategispillet Unknown -Horizons</a>, og oversatte de nesten 200 strengene i prosjektet til -bokmål. Deretter har jeg gått å ventet på at det kom en ny utgave som -inneholdt disse oversettelsene. Nå er endelig ventetiden over. Den -nye versjonen kom på nyåret, og ble -<a href="https://tracker.debian.org/pkg/unknown-horizons">lastet opp i -Debian</a> for noen få dager siden. I går kveld fikk jeg testet det ut, og -må innrømme at oversettelsene fungerer fint. Fant noen få tekster som -måtte justeres, men ikke noe alvorlig. Har oppdatert -<a href="https://hosted.weblate.org/projects/uh/">oversettelsen på -Weblate</a>, slik at neste utgave vil være enda bedre. :)</p> - -<p>Spillet er et ressursstyringsspill ala Civilization, og er morsomt -å spille for oss som liker slikt. :)</p> - -<p>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til -det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner -til min adresse -<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>. -Merk, betaling med bitcoin er ikke anonymt. :)</p> - - - - - Debian now got everything you need to program Micro:bit - http://people.skolelinux.org/pere/blog/Debian_now_got_everything_you_need_to_program_Micro_bit.html - http://people.skolelinux.org/pere/blog/Debian_now_got_everything_you_need_to_program_Micro_bit.html - Tue, 22 Jan 2019 17:20:00 +0100 - <p>I am amazed and very pleased to discover that since a few days ago, -everything you need to program the <a href="https://microbit.org/">BBC -micro:bit</a> is available from the Debian archive. All this is -thanks to the hard work of Nick Morrott and the Debian python -packaging team. The micro:bit project recommend the mu-editor to -program the microcomputer, as this editor will take care of all the -machinery required to injekt/flash micropython alongside the program -into the micro:bit, as long as the pieces are available.</p> - -<p>There are three main pieces involved. The first to enter Debian -was -<a href="https://tracker.debian.org/pkg/python-uflash">python-uflash</a>, -which was accepted into the archive 2019-01-12. The next one was -<a href="https://tracker.debian.org/pkg/mu-editor">mu-editor</a>, which -showed up 2019-01-13. The final and hardest part to to into the -archive was -<a href="https://tracker.debian.org/pkg/firmware-microbit-micropython">firmware-microbit-micropython</a>, -which needed to get its build system and dependencies into Debian -before it was accepted 2019-01-20. The last one is already in Debian -Unstable and should enter Debian Testing / Buster in three days. This -all allow any user of the micro:bit to get going by simply running -'apt install mu-editor' when using Testing or Unstable, and once -Buster is released as stable, all the users of Debian stable will be -catered for.</p> - -<p>As a minor final touch, I added rules to -<a href="https://tracker.debian.org/pkg/isenkram">the isenkram -package</a> for recognizing micro:bit and recommend the mu-editor -package. This make sure any user of the isenkram desktop daemon will -get a popup suggesting to install mu-editor then the USB cable from -the micro:bit is inserted for the first time.</p> - -<p>This should make it easier to have fun.</p> - -<p>As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> - - - - - Oppdaterte kommentarer til «Evaluation of (il)legality» for Popcorn Time - http://people.skolelinux.org/pere/blog/Oppdaterte_kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html - http://people.skolelinux.org/pere/blog/Oppdaterte_kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html - Wed, 16 Jan 2019 11:40:00 +0100 - <p>I forrige uke var jeg i Borgarting lagmannsrett som partshjelper og - sakkyndig vitne og presenterte mine oppdaterte undersøkelser rundt - <a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">telling - av filmverk i det fri</a>, relatert til - <a href="https://www.nuug.no/">foreningen NUUG</a>s involvering i <a - href="https://www.nuug.no/news/tags/dns-domenebeslag/">saken om - Økokrims beslag og senere inndragning av DNS-domenet - popcorn-time.no</a>. I forkant hadde jeg oppdatert mitt notat med - kommentarer til et av aktors bevis, som forsøkte å måle hvor stor - andel ulovligheter som var tilgjengelig via Popcorn Time-avspillere. - Jeg mistenker flere kan ha glede av å lese dette notatet, som jeg - publiserte en tidligere versjon av i fjor, så her er det. Legger - også ved avskrift av dokument 09,13, som er det sentrale dokumentet - jeg kommenterer.</p> - -<p><strong>Oppdaterte kommentarer til «Evaluation of (il)legality» for -Popcorn Time</strong></p> - -<p><strong>Oppsummering</strong></p> - -<p>Målemetoden som Økokrim har lagt til grunn når de påstår at 99% av - filmene tilgjengelig fra Popcorn Time deles ulovlig har svakheter - som gjør resultatet upålitelig.</p> - -<p>De eller den som har vurdert hvorvidt filmer kan lovlig deles er - ikke i stand til å identifisere filmer som kan deles lovlig eller er - falt i det fri og har tilsynelatende antatt at kun veldig gamle - filmer kan deles lovlig. Økokrim legger til grunn at det bare finnes - èn film, Charlie Chaplin-filmen «The Circus» fra 1928, som kan deles - fritt blant de som ble observert tilgjengelig via ulike Popcorn - Time-varianter. Med min begrensede og ufullstendige oversikt finner - jeg tre flere blant de observerte filmene: «The Brain That Wouldn't - Die» fra 1962, «God’s Little Acre» fra 1958 og «She Wore a Yellow - Ribbon» fra 1949. Det er godt mulig det finnes flere. Det finnes - dermed minst fire ganger så mange filmer som lovlig kan deles på - Internett i datasettet Økokrim har lagt til grunn når det påstås at - mindre enn 1 % kan deles lovlig.</p> - -<p>Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra - ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte - filmkatalogene som helhet, hvilket påvirker fordelingen mellom - filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I - tillegg gir valg av øvre del (de fem første) av søkeresultatene et - avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk - i det fri i søkeresultatet.</p> - -<p>Til sist er det viktig å merke seg at det som måles er ikke - (u)lovligheten knyttet til <strong>bruken</strong> av Popcorn Time, - men (u)lovligheten til innholdet i ulike bittorrent-filmkataloger - som vedlikeholdes av ulike miljøer uavhengig av Popcorn Time, og som - ulike Popcorn Time-varianter har benyttet seg av.</p> - -<p>Omtalte dokumenter: 09,12, <a href="#dok-09-13">09,13</a>, 09,14, - 09,18, 09,19, 09,20.</p> - -<p><strong>Utfyllende kommentarer</strong></p> - -<p>Økokrim har forklart domstolene at minst 99% av alt som er - tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på - Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette - tallet, og dette notatet er en samling kommentarer rundt målingen - Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på - saken er at jeg er interessert i å identifisere og telle hvor mange - kunstneriske verk som er falt i det fri eller av andre grunner kan - lovlig deles på Internett, og dermed var interessert i hvordan en - hadde funnet den ene prosenten som kanskje deles lovlig.</p> - -<p>Andelen på 99% kommer fra et ukreditert og udatert notatet som tar - mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike - Popcorn Time-varianter er.</p> - -<p>Raskt oppsummert, så forteller metodedokumentet at fordi det ikke - er mulig å få tak i komplett liste over alle filmtitler tilgjengelig - via Popcorn Time, så lages noe som skal være et representativt - utvalg ved å velge 50 tilfeldige søkeord større enn tre tegn fra en - ordliste kjent som Dale-Chall. For hvert søkeord gjøres et søk og de - første fem filmene i søkeresultatet samles inn inntil 100 unike - filmtitler er funnet. Hvis 50 søkeord ikke var tilstrekkelig for å - nå 100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt - til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut - og søkt på flere tilfeldig valgte søkeord inntil 100 unike - filmtitler var identifisert.</p> - -<p>Deretter ble for hver av filmtitlene «vurdert hvorvidt det var - rimelig å forvente om at verket var vernet av copyright, ved å se på - om filmen var tilgjengelig i IMDB, samt se på regissør, - utgivelsesår, når det var utgitt for bestemte markedsområder samt - hvilke produksjons- og distribusjonsselskap som var registrert» (min - oversettelse).</p> - -<p>Metoden er gjengitt både i de ukrediterte dokumentene 09,13 og - 09,19, samt beskrevet fra side 47 i dokument 09,20, lysark datert - 2017-02-01. Sistnevnte er kreditert Geerart Bourlon fra Motion - Picture Association EMEA.</p> - -<p>Metoden virker å ha flere svakheter som gir resultatene en - slagside. Den starter med å slå fast at det ikke er mulig å hente ut - en komplett liste over alle filmtitler som er tilgjengelig, og at - dette er bakgrunnen for metodevalget. Denne forutsetningen er ikke i - tråd med det som står i dokument 09,12, som ikke heller har oppgitt - forfatter og dato. Dokument 09,12 forteller hvordan hele - kataloginnholdet i en bittorrent-katalog ble lasted ned og talt - opp. Dokument 09,12 er muligens samme rapport som det ble referert - til i dom fra Oslo Tingrett 2017-11-03 - (<a href="https://www.domstol.no/no/Enkelt-domstol/Oslo--tingrett/Nyheter/ma-sperre-for-popcorn-time/">sak - 17-093347TVI-OTIR/05</a>) under navnet rapport av 1. juni 2017 av - Alexander Kind Petersen. De ligner, men jeg har ikke sammenlignet - dokumentene ord for ord for å kontrollere om de er identiske.</p> - -<p>Det finnes flere kilder som kan brukes til å finne filmer som er - allemannseie (public domain) eller har bruksvilkår som gjør det - lovlig for alle å dele dem på Internett. Jeg har det siste året - forsøkt å samle og krysskoble disse listene ved hjelp av tittel-ID i - IMDB for å forsøke å telle antall filmer i det fri. Ved å ta - utgangspunkt i slike lister (og publiserte filmer for - Internett-arkivets del), har jeg så langt klart å identifisere over - 14 000 filmer, hovedsaklig spillefilmer. Noen filmer er gått tapt - ved at de eneste kjente eksemplarene er blitt ødelagt. Jeg har ikke - forsøkt å finne ut hvilke filmer som er gått tapt, ut over å se - hvilke filmer som er tilgjengelig på filmdelings-nettsteder.</p> - -<p>IMDB er en forkortelse for The Internet Movie Database, en - anerkjent kommersiell nettjeneste som brukes aktivt av både - filmbransjen og andre til å holde rede på hvilke spillefilmer (og - endel andre filmer) som finnes eller er under produksjon, samt - informasjon om disse filmene. Datakvaliteten er høy, med få feil og - få filmer som mangler. IMDB viser ikke informasjon om - opphavsrettslig status for filmene på infosiden for hver film, men - frivillige har lagt ut på IMDB-tjenesten lister med filmer som antas - å være verk i det fri. Disse listene er en liten del av kildene for - min telling av verk som kan lovlig deles på Internett.</p> - -<p>De aller fleste oppføringene over verk i det fri er hentet fra IMDB - selv, basert på det faktum at alle filmer laget i USA før 1923 er - falt i det fri. Tilsvarende tidsgrense for Storbritannia er - 1912-07-01, men dette utgjør bare veldig liten del av spillefilmene - i IMDB (19 totalt). En annen stor andel kommer fra - Internett-arkivet, der jeg har identifisert filmer som har referanse - til IMDB. Internett-arkivet, som holder til i USA, har - som <a href="https://archive.org/about/terms.php">policy å kun - publisere filmer som det er lovlig å distribuere</a>. Jeg har under - arbeidet kommet over flere filmer som har blitt fjernet fra - Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene - som kontrollerer Internett-arkivet har et aktivt forhold til kun å - ha lovlig innhold der, selv om det i stor grad er drevet av - frivillige. Internett-arkivet har publisert 4.6 millioner - videofilmer som samtlige er tilgjengelig også med - Bittorrent-protokollen. En annen stor liste med filmer kommer fra - det kommersielle selskapet Retro Film Vault, som selger - allemannseide filmer til TV- og filmbransjen, Jeg har også benyttet - meg av lister over filmer som hevdes å være allemannseie, det være - seg Public Domain Review, Public Domain Torrents og Public Domain - Movies (to ulike tjenester med samme navn, på .net og .info), samt - lister over filmer med Creative Commons-lisensiering fra Wikipedia, - VODO og The Hill Productions. Jeg har gjort endel stikkontroll ved å - vurdere filmer som kun omtales på en liste. Der jeg har funnet feil - som har gjort meg i tvil om vurderingen til de som har laget listen - har jeg forkastet listen fullstendig (gjelder for eksemel en av - listene fra IMDB).</p> - -<p>Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på - Internett (fra blant annet Internett-arkivet, Public Domain - Torrents, Public Domain Reivew og Public Domain Movies), og knytte - dem til oppføringer i IMDB, så har jeg så langt klart å identifisere - over 14 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro - kan lovlig distribueres av alle på Internett. Som ekstra kilder er - det brukt lister over filmer som antas/påstås å være - allemannseie. Disse kildene kommer fra miljøer som jobber for å - gjøre tilgjengelig for almennheten alle verk som er falt i det fri - eller har bruksvilkår som tillater deling.</p> - -<p>I tillegg til de over 14 000 filmene der tittel-ID i IMDB er - identifisert, har jeg funnet mer enn 26 000 oppføringer der jeg ennå - ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Jeg har - sett at noen av disse er duplikater av de IMDB-oppføringene som er - identifisert så langt, men de fleste jeg har hatt tid til å - undersøke så langt har vist seg å ikke være duplikater. Retro Film - Vault hevder å ha 44 000 filmverk i det fri i sin katalog, så det er - mulig at det reelle tallet er betydelig høyere enn de jeg har klart - å identifisere så langt. Konklusjonen en kan trekke fra dette er at - tallet 14 000 er nedre grense for hvor mange filmer i IMDB som kan - lovlig deles på Internett. I - følge <a href="https://www.imdb.com/stats">statistikk fra IMDB</a> - er det 4.6 millioner titler registrert, hvorav 3 millioner er - TV-serieepisoder.</p> - -<p>Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å deles - lovlig på Internett, får en følgende histogram:</p> - -<p align="center"><img src="http://people.skolelinux.org/pere/blog/images/2019-01-16-dns-beslag-verkidetfri-2018-11-26-histogram-year.png" - alt="histogram over frie filmer per år" width="80%"/></p> - -<p>En kan i histogrammet se at effekten av manglende registrering - eller fornying av registrering er at mange filmer gitt ut i USA før - 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere - filmer gitt ut de siste årene med bruksvilkår som tillater deling, - muligens på grunn av fremveksten - av <a href="https://creativecommons.org/">Creative - Commons</a>-bevegelsen.</p> - -<p>IMDB har lagt ut <a href="https://www.imdb.com/interfaces/">en - maskinlesbare liste</a> over alle registreringene i sin database, og - ved hjelp av denne har jeg oppsummert antall titler per år i - kategoriene «movies» og «short», som er det jeg fokuserer på i min - telling. Inn i oversikten er det tegnet hvor stor prosentandel - antallet filmer som hevdes å kunne deles lovlig på Internett utgjør - av IMDB-totalen. Ut fra oversikten får man en ide om hvor stor andel - av totalen som kan mangle i min telling, for eksempel ved å merke - seg at få prosenter av filmene utgitt tidlig på 1900-tallet er med i - min telling.</p> - -<p align="center"><img src="http://people.skolelinux.org/pere/blog/images/2019-01-16-dns-beslag-verkidetfri-2018-11-26-histogram-year-imdb.png" - alt="histogram over filmer og frie filmer per år" width="80%" /></p> - -<p>For maskinell analyse av katalogene laget jeg et lite program som - kobler seg til bittorrent-katalogene som brukes av ulike Popcorn - Time-varianter og laster ned komplett liste over filmer i - katalogene. Dette bekrefter at det er mulig å hente ut komplett - liste med alle filmtitler som er tilgjengelig i katalogene, i strid - med påstanden i dokumentene 09,13, 09,19 og 09,20. Jeg har sett på - fire bittorrent-kataloger. Den ene ble brukt av klienten - tilgjengelig fra www.popcorntime.sh 2017-12-18 og er navngitt «sh» i - dette dokumentet. Den andre brukes i følge dokument 09,12 av - klienten tilgjengelig fra popcorntime.ag og popcorntime.sh på ukjent - tidspunkt og er navngitt «yts» i dette dokumentet. Den tredje ble - brukt av websidene tilgjengelig fra popcorntime-online.tv 2017-12-18 - og er navngitt «apidomain» i dette dokumentet. Den fjerde ble brukt - av klienten tilgjengelig fra popcorn-time.to i følge dokument 09,12 - på ukjent tidspunkt, og er navngitt «ukrfnlge» i dette - dokumentet. Hvilke kataloger som brukes av ulike Popcorn - Time-klienter endrer seg over tid, da Popcorn Time-klientene i - praksis er nettlesere som viser frem ulike nettsider og disse - nettsidene bytter datakilder når nettsidens eier ønsker det.</p> - -<p>Metoden som Økokrim legger til grunn, skriver i sitt punkt fire at - skjønn er en egnet metode for å finne ut om en film kan lovlig deles - på Internett eller ikke, og sier at det ble «vurdert hvorvidt det - var rimelig å forvente om at verket var vernet av copyright». For - det første er det ikke nok å slå fast om en film er «vernet av - copyright» for å vite om det er lovlig å dele den på Internett eller - ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår - som tillater deling på Internett. Eksempler på dette er Creative - Commons-lisensierte filmer som Citizenfour fra 2014 og Sintel fra - 2010. I tillegg til slike finnes det flere filmer som nå er - allemannseie (public domain) på grunn av manglende registrering - eller fornying av registrering selv om både regisør, - produksjonsselskap og distributør ønsker seg vern. Eksempler på - dette er Plan 9 from Outer Space fra 1959 og Night of the Living - Dead fra 1968. Alle filmer fra USA som var allemannseie før - 1989-03-01 forble i det fri da Bern-konvensjonen, som tok effekt i - USA på det tidspunktet, ikke ble gitt tilbakevirkende - kraft. <a href="https://www.latimes.com/local/lanow/la-me-ln-happy-birthday-song-lawsuit-decision-20150922-story.html">Historien - om sangen «Happy birthday»</a>, der betaling for bruk har vært krevd - inn i flere tiår selv om sangen ikke var vernet av åndsverksloven, - forteller oss at hvert enkelt verk må vurderes nøye og i detalj før - en kan slå fast om verket er allemannseie eller ikke, det holder - ikke å tro på selverklærte rettighetshavere. Flere eksempel på verk - i det fri som feilklassifiseres som vernet er fra dokument 09,18, - som lister opp søkeresultater for pklienten omtalt som - popcorntime.sh og i følge notatet kun inneholder en film (The Circus - fra 1928) som under tvil kan antas å være allemannseie.</p> - -<p>Ved rask gjennomlesning av dokument 09,18, som inneholder - skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt - både filmen «The Brain That Wouldn't Die» fra 1962 som - er <a href="https://archive.org/details/brain_that_wouldnt_die">tilgjengelig - fra Internett-arkivet</a> og - som <a href="https://en.wikipedia.org/wiki/List_of_films_in_the_public_domain_in_the_United_States">i - følge Wikipedia er allemannseie i USA</a> da den ble gitt ut i 1962 - uten «copyright»-merking, og filmen «God’s Little Acre» fra - 1958 <a href="https://en.wikipedia.org/wiki/God%27s_Little_Acre_%28film%29">som - er lagt ut på Wikipedia</a>, der det fortelles at sort/hvit-utgaven - er allemannseie. Det fremgår ikke fra dokument 09,18 om filmen - omtalt der er sort/hvit-utgaven. Av kapasitetsårsaker og på grunn av - at filmoversikten i dokument 09,18 ikke er maskinlesbart har jeg - ikke forsøkt å sjekke alle filmene som listes opp der om mot liste - med filmer som er antatt lovlig kan distribueres på Internet.</p> - -<p>Ved maskinell gjennomgang av listen med IMDB-referanser under - regnearkfanen «Unique titles» i dokument 09.14, fant jeg i tillegg - filmen «She Wore a Yellow Ribbon» fra 1949) som nok også er - feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig - fra Internett-arkivet og markert som allemannseie der. Det virker - dermed å være minst fire ganger så mange filmer som kan lovlig deles - på Internett enn det som er lagt til grunn når en påstår at minst - 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere - undersøkelser kan avdekke flere. Poenget er uansett ikke hvor mange - filmer i listen som er lovlig å dele på Internet, men at metodens - punkt med vurdering av «rimelig å forvente om at verket var vernet - av copyright» gjør metoden upålitelig.</p> - -<p>Den omtalte målemetoden velger ut tilfeldige søketermer fra - ordlisten Dale-Chall. Den ordlisten inneholder 3000 enkle engelske - ord som fjerdeklassinger i USA er forventet å forstå. Det fremgår - ikke hvorfor akkurat denne ordlisten er valgt, og det er uklart for - meg om den er egnet til å få et representativt utvalg av - filmer. Mange av ordene gir tomt søkeresultat. Ved å simulerte - tilsvarende søk ser jeg store avvik fra fordelingen i katalogen for - enkeltmålinger. Dette antyder at enkeltmålinger av 100 filmer slik - målemetoden beskriver er gjort, ikke er velegnet til å finne andel - ulovlig innhold i bittorrent-katalogene.</p> - -<p>En kan motvirke dette store avviket for enkeltmålinger ved å gjøre - mange søk og slå sammen resultatet. Jeg har testet ved å gjennomføre - 100 enkeltmålinger (dvs. måling av (100x100=) 10 000 tilfeldig - valgte filmer) som gir mindre, men fortsatt betydelig avvik, i - forhold til telling av filmer pr år i hele katalogen.</p> - -<p>Målemetoden henter ut de fem øverste i - søkeresultatet. Søkeresultatene er sortert på antall - bittorrent-klienter registrert som delere i katalogene, hvilket kan - gi en slagside mot hvilke filmer som er populære blant de som bruker - bittorrent-katalogene, uten at det forteller noe om hvilket innhold - som er tilgjengelig eller hvilket innhold som deles med Popcorn - Time-klienter. Jeg har forsøkt å måle hvor stor en slik slagside - eventuelt er ved å sammenligne fordelingen hvis en tar de 5 nederste - i søkeresultatet i stedet. Avviket for disse to metodene for flere - av katalogene er godt synlig på histogramet. Her er histogram over - filmer funnet i den komplette katalogen (grønn strek), og filmer - funnet ved søk etter ord i Dale-Chall. Grafer merket «top» henter - fra de 5 første i søkeresultatet, mens de merket «bottom» henter fra - de 5 siste. En kan her se at resultatene påvirkes betydelig av - hvorvidt en ser på de første eller de siste filmene i et - søketreff.</p> - -<p align="center"> - <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-top.png" width="40%" /> - <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-bottom.png" width="40%" /> - <br/> - <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-top.png" width="40%" /> - <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-bottom.png" width="40%" /> - <br/> - <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-top.png" width="40%" /> - <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-bottom.png" width="40%" /> - <br/> - <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-top.png" width="40%" /> - <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-bottom.png" width="40%" /> -</p> - -<p>Det er viktig å merke seg at de omtalte bittorrent-katalogene ikke - er laget for bruk med Popcorn Time, men for ulike miljøer av - bittorrent-brukere. Eksempelvis tilhører katalogen YTS, som brukes - av klientet som ble lastes ned fra popcorntime.sh, et selvstendig - fildelings-relatert nettsted YTS.AG med et separat - brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke - (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til - innholdet i disse katalogene.</p> - -<hr/> - -<p id="dok-09-13">Metoden fra Økokrims dokument 09,13 i straffesaken - om DNS-beslag.</p> - -<blockquote> - -<p><strong>1. Evaluation of (il)legality</strong></p> - -<p><strong>1.1. Methodology</strong> - -<p>Due to its technical configuration, Popcorn Time applications don't -allow to make a full list of all titles made available. In order to -evaluate the level of illegal operation of PCT, the following -methodology was applied:</p> - -<ol> - - <li>A random selection of 50 keywords, greater than 3 letters, was - made from the Dale-Chall list that contains 3000 simple English - words1. The selection was made by using a Random Number - Generator2.</li> - - <li>For each keyword, starting with the first randomly selected - keyword, a search query was conducted in the movie section of the - respective Popcorn Time application. For each keyword, the first - five results were added to the title list until the number of 100 - unique titles was reached (duplicates were removed).</li> - - <li>For one fork, .CH, insufficient titles were generated via this - approach to reach 100 titles. This was solved by adding any - additional query results above five for each of the 50 keywords. - Since this still was not enough, another 42 random keywords were - selected to finally reach 100 titles.</li> - - <li>It was verified whether or not there is a reasonable expectation - that the work is copyrighted by checking if they are available on - IMDb, also verifying the director, the year when the title was - released, the release date for a certain market, the production - company/ies of the title and the distribution company/ies.</li> - -</ol> - -<p><strong>1.2. Results</strong></p> - -<p>Between 6 and 9 June 2016, four forks of Popcorn Time were -investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and -popcorntime.ch. An excel sheet with the results is included in -Appendix 1. Screenshots were secured in separate Appendixes for each -respective fork, see Appendix 2-5.</p> - -<p>For each fork, out of 100, de-duplicated titles it was possible to -retrieve data according to the parameters set out above that indicate -that the title is commercially available. Per fork, there was 1 title -that presumably falls within the public domain, i.e. the 1928 movie -"The Circus" by and with Charles Chaplin.</p> - -<p>Based on the above it is reasonable to assume that 99% of the movie -content of each fork is copyright protected and is made available -illegally.</p> - -<p>This exercise was not repeated for TV series, but considering that -besides production companies and distribution companies also -broadcasters may have relevant rights, it is reasonable to assume that -at least a similar level of infringement will be established.</p> - -<p>Based on the above it is reasonable to assume that 99% of all the -content of each fork is copyright protected and are made available -illegally.</p> - -</blockquote> - -<p>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til -det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner -til min adresse -<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>. -Merk, betaling med bitcoin er ikke anonymt. :)</p> - - - - - CasparCG Server for TV broadcast playout in Debian - http://people.skolelinux.org/pere/blog/CasparCG_Server_for_TV_broadcast_playout_in_Debian.html - http://people.skolelinux.org/pere/blog/CasparCG_Server_for_TV_broadcast_playout_in_Debian.html - Tue, 15 Jan 2019 00:10:00 +0100 - <p>The layered video playout server created by Sveriges Television, -<a href="https://casparcg.com/">CasparCG Server</a>, entered Debian -today. This completes many months of work to get the source ready to -go into Debian. The first upload to the Debian NEW queue happened a -month ago, but the work upstream to prepare it for Debian started more -than two and a half month ago. So far -<a href="https://tracker.debian.org/pkg/casparcg-server">the -casparcg-server package</a> is only available for amd64, but I hope -this can be improved. The package is in contrib because it depend on -the <a href="https://tracker.debian.org/pkg/fdk-aac">non-free fdk-aac -library</a>. The Debian package lack support for streaming web pages -because Debian is missing CEF, Chromium Embedded Framework. CEF is -wanted by several packages in Debian. But because the Chromium source -is <a href="https://bugs.debian.org/893448">not available as a build -dependency</a>, it is not yet possible to upload CEF to Debian. I -hope this will change in the future.</p> - -<p>The reason I got involved is that -<a href="https://frikanalen.no/">the Norwegian open channel -Frikanalen</a> is starting to use CasparCG for our HD playout, and I -would like to have all the free software tools we use to run the TV -channel available as packages from the Debian project. The last -remaining piece in the puzzle is Open Broadcast Encoder, but it depend -on quite a lot of patched libraries which would have to be included in -Debian first.</p> - -<p>As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> - - - - - Learn to program with Minetest on Debian - http://people.skolelinux.org/pere/blog/Learn_to_program_with_Minetest_on_Debian.html - http://people.skolelinux.org/pere/blog/Learn_to_program_with_Minetest_on_Debian.html - Sat, 15 Dec 2018 15:30:00 +0100 - <p>A fun way to learn how to program -<a href="https://www.python.org/">Python</a> is to follow the -instructions in the book -"<a href="https://nostarch.com/programwithminecraft">Learn to program -with Minecraft</a>", which introduces programming in Python to people -who like to play with Minecraft. The book uses a Python library to -talk to a TCP/IP socket with an API accepting build instructions and -providing information about the current players in a Minecraft world. -The TCP/IP API was first created for the Minecraft implementation for -Raspberry Pi, and has since been ported to some server versions of -Minecraft. The book contain recipes for those using Windows, MacOSX -and Raspian. But a little known fact is that you can follow the same -recipes using the free software construction game -<a href="https://minetest.net/">Minetest</a>.</p> - -<p>There is <a href="https://github.com/sprintingkiwi/pycraft_mod">a -Minetest module implementing the same API</a>, making it possible to -use the Python programs coded to talk to Minecraft with Minetest too. -I -<a href="https://ftp-master.debian.org/new/minetest-mod-pycraft_0.20%2Bgit20180331.0376a0a%2Bdfsg-1.html">uploaded -this module</a> to Debian two weeks ago, and as soon as it clears the -FTP masters NEW queue, learning to program Python with Minetest on -Debian will be a simple 'apt install' away. The Debian package is -maintained as part of the Debian Games team, and -<a href="https://salsa.debian.org/games-team/unfinished/minetest-mod-pycraft">the -packaging rules</a> are currently located under 'unfinished' on -Salsa.</p> - -<p>You will most likely need to install several of the Minetest -modules in Debian for the examples included with the library to work -well, as there are several blocks used by the example scripts that are -provided via modules in Minetest. Without the required blocks, a -simple stone block is used instead. My initial testing with a analog -clock did not get gold arms as instructed in the python library, but -instead used stone arms.</p> - -<p>I tried to find a way to add the API to the desktop version of -Minecraft, but were unable to find any working recipes. The -<a href="https://www.epiphanydigest.com/tag/minecraft-python-api/">recipes</a> -I <a href="https://github.com/kbsriram/mcpiapi">found</a> are only -working with a standalone Minecraft server setup. Are there any -options to use with the normal desktop version?</p> - -<p>As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> - - - - - Non-blocking bittorrent plugin for vlc - http://people.skolelinux.org/pere/blog/Non_blocking_bittorrent_plugin_for_vlc.html - http://people.skolelinux.org/pere/blog/Non_blocking_bittorrent_plugin_for_vlc.html - Wed, 12 Dec 2018 07:20:00 +0100 - <p>A few hours ago, a new and improved version (2.4) of -<a href="https://tracker.debian.org/pkg/vlc-plugin-bittorrent">the VLC -bittorrent plugin</a> was uploaded to Debian. This new version -include a complete rewrite of the bittorrent related code, which seem -to make the plugin non-blocking. This mean you can actually exit VLC -even when the plugin seem to be unable to get the bittorrent streaming -started. The new version also include support for filtering playlist -by file extension using command line options, if you want to avoid -processing audio, video or images. The package is currently in Debian -unstable, but should be available in Debian testing in two days. To -test it, simply install it like this:</p> - -<p><pre> -apt install vlc-plugin-bittorrent -</pre></p> - -<p>After it is installed, you can try to use it to play a file -downloaded live via bittorrent like this: - -<p><pre> -vlc https://archive.org/download/Glass_201703/Glass_201703_archive.torrent -</pre></p> - -<p>As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> - - -