<atom:link href="http://people.skolelinux.org/pere/blog/index.rss" rel="self" type="application/rss+xml" />
<item>
- <title>Epost inn som arkivformat i Riksarkivarens forskrift?</title>
- <link>http://people.skolelinux.org/pere/blog/Epost_inn_som_arkivformat_i_Riksarkivarens_forskrift_.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Epost_inn_som_arkivformat_i_Riksarkivarens_forskrift_.html</guid>
- <pubDate>Thu, 27 Apr 2017 11:30:00 +0200</pubDate>
- <description><p>I disse dager, med frist 1. mai, har Riksarkivaren ute en høring på
-sin forskrift. Som en kan se er det ikke mye tid igjen før fristen
-som går ut på søndag. Denne forskriften er det som lister opp hvilke
-formater det er greit å arkivere i
-<a href="http://www.arkivverket.no/arkivverket/Offentleg-forvalting/Noark/Noark-5">Noark
-5-løsninger</a> i Norge.</p>
-
-<p>Jeg fant høringsdokumentene hos
-<a href="https://www.arkivrad.no/aktuelt/riksarkivarens-forskrift-pa-horing">Norsk
-Arkivråd</a> etter å ha blitt tipset på epostlisten til
-<a href="https://github.com/hiOA-ABI/nikita-noark5-core">fri
-programvareprosjektet Nikita Noark5-Core</a>, som lager et Noark 5
-Tjenestegresesnitt. Jeg er involvert i Nikita-prosjektet og takket
-være min interesse for tjenestegrensesnittsprosjektet har jeg lest en
-god del Noark 5-relaterte dokumenter, og til min overraskelse oppdaget
-at standard epost ikke er på listen over godkjente formater som kan
-arkiveres. Høringen med frist søndag er en glimrende mulighet til å
-forsøke å gjøre noe med det. Jeg holder på med
-<a href="https://github.com/petterreinholdtsen/noark5-tester/blob/master/docs/hoering-arkivforskrift.tex">egen
-høringsuttalelse</a>, og lurer på om andre er interessert i å støtte
-forslaget om å tillate arkivering av epost som epost i arkivet.</p>
-
-<p>Er du igang med å skrive egen høringsuttalelse allerede? I så fall
-kan du jo vurdere å ta med en formulering om epost-lagring. Jeg tror
-ikke det trengs så mye. Her et kort forslag til tekst:</p>
+ <title>H, Ap, Frp og Venstre går for DNA-innsamling av hele befolkingen</title>
+ <link>http://people.skolelinux.org/pere/blog/H__Ap__Frp_og_Venstre_g_r_for_DNA_innsamling_av_hele_befolkingen.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/H__Ap__Frp_og_Venstre_g_r_for_DNA_innsamling_av_hele_befolkingen.html</guid>
+ <pubDate>Wed, 14 Mar 2018 14:15:00 +0100</pubDate>
+ <description><p>I går kom det nok et argument for å holde seg unna det norske
+helsevesenet. Da annonserte et stortingsflertall bestående av Høyre,
+Arbeiderpartiet, Fremskrittspartiet og Venstre, at de går inn for å
+samle inn og lagre DNA fra hele befolkningen i Norge til evig tid.
+Endringen gjelder innsamlede blodprøver fra nyfødte i Norge. Det vil
+dermed ta litt tid før en har hele befolkningen, men det er dit vi
+havner gitt nok tid. I dag er det nesten hundre prosent oppslutning
+om undersøkelsen som gjøres like etter fødselen, på bakgrunn av
+blodprøven det er snakk om å lagre, for å oppdage endel medfødte
+sykdommer. Blodprøven lagres i dag i inntil seks år.
+<a href="https://www.stortinget.no/no/Saker-og-publikasjoner/Publikasjoner/Innstillinger/Stortinget/2017-2018/inns-201718-182l/?all=true">Stortingets
+flertallsinnstilling</a> er at tidsbegresningen skal fjernes, og mener
+at tidsubegrenset lagring ikke vil påvirke oppslutningen om
+undersøkelsen.</p>
+
+<p>Datatilsynet har ikke akkurat applaudert forslaget:</p>
<p><blockquote>
- <p>Viser til høring sendt ut 2017-02-17 (Riksarkivarens referanse
- 2016/9840 HELHJO), og tillater oss å sende inn noen innspill om
- revisjon av Forskrift om utfyllende tekniske og arkivfaglige
- bestemmelser om behandling av offentlige arkiver (Riksarkivarens
- forskrift).</p>
-
- <p>Svært mye av vår kommuikasjon foregår i dag på e-post. Vi
- foreslår derfor at Internett-e-post, slik det er beskrevet i IETF
- RFC 5322,
- <a href="https://tools.ietf.org/html/rfc5322">https://tools.ietf.org/html/rfc5322</a>. bør
- inn som godkjent dokumentformat. Vi foreslår at forskriftens
- oversikt over godkjente dokumentformater ved innlevering i § 5-16
- endres til å ta med Internett-e-post.</p>
-
+ <p>«Datatilsynet mener forslaget ikke i tilstrekkelig grad
+ synliggjør hvilke etiske og personvernmessige utfordringer som må
+ diskuteres før en etablerer en nasjonal biobank med blodprøver fra
+ hele befolkningen.»</p>
+
</blockquote></p>
-<p>Som del av arbeidet med tjenestegrensesnitt har vi testet hvordan
-epost kan lagres i en Noark 5-struktur, og holder på å skrive et
-forslag om hvordan dette kan gjøres som vil bli sendt over til
-arkivverket så snart det er ferdig. De som er interesserte kan
-<a href="https://github.com/petterreinholdtsen/noark5-tester/blob/master/docs/epostlagring.md">følge
-fremdriften på web</a>.</p>
-
-<p>Oppdatering 2017-04-28: I dag ble høringuttalelsen jeg skrev
- <a href="https://www.nuug.no/news/NUUGs_h_ringuttalelse_til_Riksarkivarens_forskrift.shtml">sendt
- inn av foreningen NUUG</a>.</p>
+<p>Det er flere historier om hvordan innsamlet biologisk materiale har
+blitt brukt til andre formål enn de ble innsamlet til, og historien om
+<a href="https://www.aftenposten.no/norge/i/Ql0WR/Na-ma-Folkehelsa-slette-uskyldiges-DNA-info">folkehelseinstituttets
+lagring på vegne av politiet (Kripos) av innsamlet biologisk materiale
+og DNA-informasjon i strid med loven</a> viser at en ikke kan være
+trygg på at lover og intensjoner beskytter de som blir berørt mot
+misbruk av slik privat og personlig informasjon.</p>
+
+<p>Det er verdt å merke seg at det kan forskes på de innsamlede
+blodprøvene uten samtykke fra den det gjelder (eller foreldre når det
+gjelder barn), etter en lovendring for en stund tilbake, med mindre
+det er sendt inn skjema der en reserverer seg mot forskning uten
+samtykke. Skjemaet er tilgjengelig fra
+<a href="https://www.fhi.no/arkiv/publikasjoner/for-pasienter-skjema-for-reservasjo/">folkehelseinstituttets
+websider</a>, og jeg anbefaler, uavhengig av denne saken, varmt alle å
+sende inn skjemaet for å dokumentere hvor mange som ikke synes det er
+greit å fjerne krav om samtykke.</p>
+
+<p>I tillegg bør en kreve destruering av alt biologisk materiale som
+er samlet inn om en selv, for å redusere eventuelle negative
+konsekvener i fremtiden når materialet kommer på avveie eller blir
+brukt uten samtykke, men det er så vidt jeg vet ikke noe system for
+dette i dag.</p>
</description>
</item>
<item>
- <title>Offentlig elektronisk postjournal blokkerer tilgang for utvalgte webklienter</title>
- <link>http://people.skolelinux.org/pere/blog/Offentlig_elektronisk_postjournal_blokkerer_tilgang_for_utvalgte_webklienter.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Offentlig_elektronisk_postjournal_blokkerer_tilgang_for_utvalgte_webklienter.html</guid>
- <pubDate>Thu, 20 Apr 2017 13:00:00 +0200</pubDate>
- <description><p>Jeg oppdaget i dag at <a href="https://www.oep.no/">nettstedet som
-publiserer offentlige postjournaler fra statlige etater</a>, OEP, har
-begynt å blokkerer enkelte typer webklienter fra å få tilgang. Vet
-ikke hvor mange det gjelder, men det gjelder i hvert fall libwww-perl
-og curl. For å teste selv, kjør følgende:</p>
-
-<blockquote><pre>
-% curl -v -s https://www.oep.no/pub/report.xhtml?reportId=3 2>&1 |grep '< HTTP'
-< HTTP/1.1 404 Not Found
-% curl -v -s --header 'User-Agent:Opera/12.0' https://www.oep.no/pub/report.xhtml?reportId=3 2>&1 |grep '< HTTP'
-< HTTP/1.1 200 OK
-%
-</pre></blockquote>
-
-<p>Her kan en se at tjenesten gir «404 Not Found» for curl i
-standardoppsettet, mens den gir «200 OK» hvis curl hevder å være Opera
-versjon 12.0. Offentlig elektronisk postjournal startet blokkeringen
-2017-03-02.</p>
-
-<p>Blokkeringen vil gjøre det litt vanskeligere å maskinelt hente
-informasjon fra oep.no. Kan blokkeringen være gjort for å hindre
-automatisert innsamling av informasjon fra OEP, slik Pressens
-Offentlighetsutvalg gjorde for å dokumentere hvordan departementene
-hindrer innsyn i
-<a href="http://presse.no/dette-mener-np/undergraver-offentlighetsloven/">rapporten
-«Slik hindrer departementer innsyn» som ble publiserte i januar
-2017</a>. Det virker usannsynlig, da det jo er trivielt å bytte
-User-Agent til noe nytt.</p>
-
-<p>Finnes det juridisk grunnlag for det offentlige å diskriminere
-webklienter slik det gjøres her? Der tilgang gis eller ikke alt etter
-hva klienten sier at den heter? Da OEP eies av DIFI og driftes av
-Basefarm, finnes det kanskje noen dokumenter sendt mellom disse to
-aktørene man kan be om innsyn i for å forstå hva som har skjedd. Men
-<a href="https://www.oep.no/search/result.html?period=dateRange&fromDate=01.01.2016&toDate=01.04.2017&dateType=documentDate&caseDescription=&descType=both&caseNumber=&documentNumber=&sender=basefarm&senderType=both&documentType=all&legalAuthority=&archiveCode=&list2=196&searchType=advanced&Search=Search+in+records">postjournalen
-til DIFI viser kun to dokumenter</a> det siste året mellom DIFI og
-Basefarm.
-<a href="https://www.mimesbronn.no/request/blokkering_av_tilgang_til_oep_fo">Mimes brønn neste</a>,
-tenker jeg.</p>
+ <title>First rough draft Norwegian and Spanish edition of the book Made with Creative Commons</title>
+ <link>http://people.skolelinux.org/pere/blog/First_rough_draft_Norwegian_and_Spanish_edition_of_the_book_Made_with_Creative_Commons.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/First_rough_draft_Norwegian_and_Spanish_edition_of_the_book_Made_with_Creative_Commons.html</guid>
+ <pubDate>Tue, 13 Mar 2018 13:00:00 +0100</pubDate>
+ <description><p>I am working on publishing yet another book related to Creative
+Commons. This time it is a book filled with interviews and histories
+from those around the globe making a living using Creative
+Commons.</p>
+
+<p>Yesterday, after many months of hard work by several volunteer
+translators, the first draft of a Norwegian Bokmål edition of the book
+<a href="https://madewith.cc">Made with Creative Commons from 2017</a>
+was complete. The Spanish translation is also complete, while the
+Dutch, Polish, German and Ukraine edition need a lot of work. Get in
+touch if you want to help make those happen, or would like to
+translate into your mother tongue.</p>
+
+<p>The whole book project started when
+<a href="http://gwolf.org/node/4102">Gunnar Wolf announced</a> that he
+was going to make a Spanish edition of the book. I noticed, and
+offered some input on how to make a book, based on my experience with
+translating the
+<a href="https://www.lulu.com/shop/lawrence-lessig/fri-kultur/paperback/product-22441576.html">Free
+Culture</a> and
+<a href="https://debian-handbook.info/get/#norwegian">The Debian
+Administrator's Handbook</a> books to Norwegian Bokmål. To make a
+long story short, we ended up working on a Bokmål edition, and now the
+first rough translation is complete, thanks to the hard work of
+Ole-Erik Yrvin, Ingrid Yrvin, Allan Nordhøy and myself. The first
+proof reading is almost done, and only the second and third proof
+reading remains. We will also need to translate the 14 figures and
+create a book cover. Once it is done we will publish the book on
+paper, as well as in PDF, ePub and possibly Mobi formats.</p>
+
+<p>The book itself originates as a manuscript on Google Docs, is
+downloaded as ODT from there and converted to Markdown using pandoc.
+The Markdown is modified by a script before is converted to DocBook
+using pandoc. The DocBook is modified again using a script before it
+is used to create a Gettext POT file for translators. The translated
+PO file is then combined with the earlier mentioned DocBook file to
+create a translated DocBook file, which finally is given to dblatex to
+create the final PDF. The end result is a set of editions of the
+manuscript, one English and one for each of the translations.</p>
+
+<p>The translation is conducted using
+<a href="https://hosted.weblate.org/projects/madewithcc/translation/">the
+Weblate web based translation system</a>. Please have a look there
+and get in touch if you would like to help out with proof
+reading. :)</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Free software archive system Nikita now able to store documents</title>
- <link>http://people.skolelinux.org/pere/blog/Free_software_archive_system_Nikita_now_able_to_store_documents.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Free_software_archive_system_Nikita_now_able_to_store_documents.html</guid>
- <pubDate>Sun, 19 Mar 2017 08:00:00 +0100</pubDate>
- <description><p>The <a href="https://github.com/hiOA-ABI/nikita-noark5-core">Nikita
-Noark 5 core project</a> is implementing the Norwegian standard for
-keeping an electronic archive of government documents.
-<a href="http://www.arkivverket.no/arkivverket/Offentlig-forvaltning/Noark/Noark-5/English-version">The
-Noark 5 standard</a> document the requirement for data systems used by
-the archives in the Norwegian government, and the Noark 5 web interface
-specification document a REST web service for storing, searching and
-retrieving documents and metadata in such archive. I've been involved
-in the project since a few weeks before Christmas, when the Norwegian
-Unix User Group
-<a href="https://www.nuug.no/news/NOARK5_kjerne_som_fri_programvare_f_r_epostliste_hos_NUUG.shtml">announced
-it supported the project</a>. I believe this is an important project,
-and hope it can make it possible for the government archives in the
-future to use free software to keep the archives we citizens depend
-on. But as I do not hold such archive myself, personally my first use
-case is to store and analyse public mail journal metadata published
-from the government. I find it useful to have a clear use case in
-mind when developing, to make sure the system scratches one of my
-itches.</p>
-
-<p>If you would like to help make sure there is a free software
-alternatives for the archives, please join our IRC channel
-(<a href="irc://irc.freenode.net/%23nikita"">#nikita on
-irc.freenode.net</a>) and
-<a href="https://lists.nuug.no/mailman/listinfo/nikita-noark">the
-project mailing list</a>.</p>
-
-<p>When I got involved, the web service could store metadata about
-documents. But a few weeks ago, a new milestone was reached when it
-became possible to store full text documents too. Yesterday, I
-completed an implementation of a command line tool
-<tt>archive-pdf</tt> to upload a PDF file to the archive using this
-API. The tool is very simple at the moment, and find existing
-<a href="https://en.wikipedia.org/wiki/Fonds">fonds</a>, series and
-files while asking the user to select which one to use if more than
-one exist. Once a file is identified, the PDF is associated with the
-file and uploaded, using the title extracted from the PDF itself. The
-process is fairly similar to visiting the archive, opening a cabinet,
-locating a file and storing a piece of paper in the archive. Here is
-a test run directly after populating the database with test data using
-our API tester:</p>
-
-<p><blockquote><pre>
-~/src//noark5-tester$ ./archive-pdf mangelmelding/mangler.pdf
-using arkiv: Title of the test fonds created 2017-03-18T23:49:32.103446
-using arkivdel: Title of the test series created 2017-03-18T23:49:32.103446
-
- 0 - Title of the test case file created 2017-03-18T23:49:32.103446
- 1 - Title of the test file created 2017-03-18T23:49:32.103446
-Select which mappe you want (or search term): 0
-Uploading mangelmelding/mangler.pdf
- PDF title: Mangler i spesifikasjonsdokumentet for NOARK 5 Tjenestegrensesnitt
- File 2017/1: Title of the test case file created 2017-03-18T23:49:32.103446
-~/src//noark5-tester$
-</pre></blockquote></p>
-
-<p>You can see here how the fonds (arkiv) and serie (arkivdel) only had
-one option, while the user need to choose which file (mappe) to use
-among the two created by the API tester. The <tt>archive-pdf</tt>
-tool can be found in the git repository for the API tester.</p>
-
-<p>In the project, I have been mostly working on
-<a href="https://github.com/petterreinholdtsen/noark5-tester">the API
-tester</a> so far, while getting to know the code base. The API
-tester currently use
-<a href="https://en.wikipedia.org/wiki/HATEOAS">the HATEOAS links</a>
-to traverse the entire exposed service API and verify that the exposed
-operations and objects match the specification, as well as trying to
-create objects holding metadata and uploading a simple XML file to
-store. The tester has proved very useful for finding flaws in our
-implementation, as well as flaws in the reference site and the
-specification.</p>
-
-<p>The test document I uploaded is a summary of all the specification
-defects we have collected so far while implementing the web service.
-There are several unclear and conflicting parts of the specification,
-and we have
-<a href="https://github.com/petterreinholdtsen/noark5-tester/tree/master/mangelmelding">started
-writing down</a> the questions we get from implementing it. We use a
-format inspired by how <a href="http://www.opengroup.org/austin/">The
-Austin Group</a> collect defect reports for the POSIX standard with
-<a href="http://www.opengroup.org/austin/mantis.html">their
-instructions for the MANTIS defect tracker system</a>, in lack of an official way to structure defect reports for Noark 5 (our first submitted defect report was a <a href="https://github.com/petterreinholdtsen/noark5-tester/blob/master/mangelmelding/sendt/2017-03-15-mangel-prosess.md">request for a procedure for submitting defect reports</a> :).
-
-<p>The Nikita project is implemented using Java and Spring, and is
-fairly easy to get up and running using Docker containers for those
-that want to test the current code base. The API tester is
-implemented in Python.</p>
+ <title>Debian used in the subway info screens in Oslo, Norway</title>
+ <link>http://people.skolelinux.org/pere/blog/Debian_used_in_the_subway_info_screens_in_Oslo__Norway.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Debian_used_in_the_subway_info_screens_in_Oslo__Norway.html</guid>
+ <pubDate>Fri, 2 Mar 2018 13:10:00 +0100</pubDate>
+ <description><p>Today I was pleasantly surprised to discover my operating system of
+choice, Debian, was used in the info screens on the subway stations.
+While passing Nydalen subway station in Oslo, Norway, I discovered the
+info screen booting with some text scrolling. I was not quick enough
+with my camera to be able to record a video of the scrolling boot
+screen, but I did get a photo from when the boot got stuck with a
+corrupt file system:
+
+<p align="center"><a href="http://people.skolelinux.org/pere/blog/images/2018-03-02-ruter-debian-lenny.jpeg"><img align="center" width="40%" src="http://people.skolelinux.org/pere/blog/images/2018-03-02-ruter-debian-lenny.jpeg" alt="[photo of subway info screen]"></a></p>
+
+<p>While I am happy to see Debian used more places, some details of the
+content on the screen worries me.</p>
+
+<p>The image show the version booting is 'Debian GNU/Linux lenny/sid',
+indicating that this is based on code taken from Debian Unstable/Sid
+after Debian Etch (version 4) was released 2007-04-08 and before
+Debian Lenny (version 5) was released 2009-02-14. Since Lenny Debian
+has released version 6 (Squeeze) 2011-02-06, 7 (Wheezy) 2013-05-04, 8
+(Jessie) 2015-04-25 and 9 (Stretch) 2017-06-15, according to
+<a href="https://en.wikipedia.org/wiki/Debian_version_history">a Debian
+version history on Wikpedia</a>. This mean the system is running
+around 10 year old code, with no security fixes from the vendor for
+many years.</p>
+
+<p>This is not the first time I discover the Oslo subway company,
+Ruter, running outdated software. In 2012,
+<a href="http://people.skolelinux.org/pere/blog/Er_billettautomatene_til_kollektivtrafikken_i_Oslo_uten_sikkerhetsoppdateringer_.html">I
+discovered the ticket vending machines were running Windows 2000</a>,
+and this was
+<a href="http://people.skolelinux.org/pere/blog/Fortsatt_ingen_sikkerhetsoppdateringer_for_billettautomatene_til_kollektivtrafikken_i_Oslo_.html">still
+the case in 2016</a>. Given the response from the responsible people
+in 2016, I would assume the machines are still running unpatched
+Windows 2000. Thus, an unpatched Debian setup come as no surprise.</p>
+
+<p>The photo is made available under the license terms
+<a href="http://creativecommons.org/licenses/by/4.0/">Creative Commons
+4.0 Attribution International (CC BY 4.0)</a>.</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Detecting NFS hangs on Linux without hanging yourself...</title>
- <link>http://people.skolelinux.org/pere/blog/Detecting_NFS_hangs_on_Linux_without_hanging_yourself___.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Detecting_NFS_hangs_on_Linux_without_hanging_yourself___.html</guid>
- <pubDate>Thu, 9 Mar 2017 15:20:00 +0100</pubDate>
- <description><p>Over the years, administrating thousand of NFS mounting linux
-computers at the time, I often needed a way to detect if the machine
-was experiencing NFS hang. If you try to use <tt>df</tt> or look at a
-file or directory affected by the hang, the process (and possibly the
-shell) will hang too. So you want to be able to detect this without
-risking the detection process getting stuck too. It has not been
-obvious how to do this. When the hang has lasted a while, it is
-possible to find messages like these in dmesg:</p>
-
-<p><blockquote>
-nfs: server nfsserver not responding, still trying
-<br>nfs: server nfsserver OK
-</blockquote></p>
-
-<p>It is hard to know if the hang is still going on, and it is hard to
-be sure looking in dmesg is going to work. If there are lots of other
-messages in dmesg the lines might have rotated out of site before they
-are noticed.</p>
-
-<p>While reading through the nfs client implementation in linux kernel
-code, I came across some statistics that seem to give a way to detect
-it. The om_timeouts sunrpc value in the kernel will increase every
-time the above log entry is inserted into dmesg. And after digging a
-bit further, I discovered that this value show up in
-/proc/self/mountstats on Linux.</p>
-
-<p>The mountstats content seem to be shared between files using the
-same file system context, so it is enough to check one of the
-mountstats files to get the state of the mount point for the machine.
-I assume this will not show lazy umounted NFS points, nor NFS mount
-points in a different process context (ie with a different filesystem
-view), but that does not worry me.</p>
-
-<p>The content for a NFS mount point look similar to this:</p>
-
-<p><blockquote><pre>
-[...]
-device /dev/mapper/Debian-var mounted on /var with fstype ext3
-device nfsserver:/mnt/nfsserver/home0 mounted on /mnt/nfsserver/home0 with fstype nfs statvers=1.1
- opts: rw,vers=3,rsize=65536,wsize=65536,namlen=255,acregmin=3,acregmax=60,acdirmin=30,acdirmax=60,soft,nolock,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=129.240.3.145,mountvers=3,mountport=4048,mountproto=udp,local_lock=all
- age: 7863311
- caps: caps=0x3fe7,wtmult=4096,dtsize=8192,bsize=0,namlen=255
- sec: flavor=1,pseudoflavor=1
- events: 61063112 732346265 1028140 35486205 16220064 8162542 761447191 71714012 37189 3891185 45561809 110486139 4850138 420353 15449177 296502 52736725 13523379 0 52182 9016896 1231 0 0 0 0 0
- bytes: 166253035039 219519120027 0 0 40783504807 185466229638 11677877 45561809
- RPC iostats version: 1.0 p/v: 100003/3 (nfs)
- xprt: tcp 925 1 6810 0 0 111505412 111480497 109 2672418560317 0 248 53869103 22481820
- per-op statistics
- NULL: 0 0 0 0 0 0 0 0
- GETATTR: 61063106 61063108 0 9621383060 6839064400 453650 77291321 78926132
- SETATTR: 463469 463470 0 92005440 66739536 63787 603235 687943
- LOOKUP: 17021657 17021657 0 3354097764 4013442928 57216 35125459 35566511
- ACCESS: 14281703 14290009 5 2318400592 1713803640 1709282 4865144 7130140
- READLINK: 125 125 0 20472 18620 0 1112 1118
- READ: 4214236 4214237 0 715608524 41328653212 89884 22622768 22806693
- WRITE: 8479010 8494376 22 187695798568 1356087148 178264904 51506907 231671771
- CREATE: 171708 171708 0 38084748 46702272 873 1041833 1050398
- MKDIR: 3680 3680 0 773980 993920 26 23990 24245
- SYMLINK: 903 903 0 233428 245488 6 5865 5917
- MKNOD: 80 80 0 20148 21760 0 299 304
- REMOVE: 429921 429921 0 79796004 61908192 3313 2710416 2741636
- RMDIR: 3367 3367 0 645112 484848 22 5782 6002
- RENAME: 466201 466201 0 130026184 121212260 7075 5935207 5961288
- LINK: 289155 289155 0 72775556 67083960 2199 2565060 2585579
- READDIR: 2933237 2933237 0 516506204 13973833412 10385 3190199 3297917
- READDIRPLUS: 1652839 1652839 0 298640972 6895997744 84735 14307895 14448937
- FSSTAT: 6144 6144 0 1010516 1032192 51 9654 10022
- FSINFO: 2 2 0 232 328 0 1 1
- PATHCONF: 1 1 0 116 140 0 0 0
- COMMIT: 0 0 0 0 0 0 0 0
-
-device binfmt_misc mounted on /proc/sys/fs/binfmt_misc with fstype binfmt_misc
-[...]
-</pre></blockquote></p>
-
-<p>The key number to look at is the third number in the per-op list.
-It is the number of NFS timeouts experiences per file system
-operation. Here 22 write timeouts and 5 access timeouts. If these
-numbers are increasing, I believe the machine is experiencing NFS
-hang. Unfortunately the timeout value do not start to increase right
-away. The NFS operations need to time out first, and this can take a
-while. The exact timeout value depend on the setup. For example the
-defaults for TCP and UDP mount points are quite different, and the
-timeout value is affected by the soft, hard, timeo and retrans NFS
-mount options.</p>
-
-<p>The only way I have been able to get working on Debian and RedHat
-Enterprise Linux for getting the timeout count is to peek in /proc/.
-But according to
-<ahref="http://docs.oracle.com/cd/E19253-01/816-4555/netmonitor-12/index.html">Solaris
-10 System Administration Guide: Network Services</a>, the 'nfsstat -c'
-command can be used to get these timeout values. But this do not work
-on Linux, as far as I can tell. I
-<ahref="http://bugs.debian.org/857043">asked Debian about this</a>,
-but have not seen any replies yet.</p>
-
-<p>Is there a better way to figure out if a Linux NFS client is
-experiencing NFS hangs? Is there a way to detect which processes are
-affected? Is there a way to get the NFS mount going quickly once the
-network problem causing the NFS hang has been cleared? I would very
-much welcome some clues, as we regularly run into NFS hangs.</p>
+ <title>The SysVinit upstream project just migrated to git</title>
+ <link>http://people.skolelinux.org/pere/blog/The_SysVinit_upstream_project_just_migrated_to_git.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/The_SysVinit_upstream_project_just_migrated_to_git.html</guid>
+ <pubDate>Sun, 18 Feb 2018 09:20:00 +0100</pubDate>
+ <description><p>Surprising as it might sound, there are still computers using the
+traditional Sys V init system, and there probably will be until
+systemd start working on Hurd and FreeBSD.
+<a href="https://savannah.nongnu.org/projects/sysvinit">The upstream
+project still exist</a>, though, and up until today, the upstream
+source was available from Savannah via subversion. I am happy to
+report that this just changed.</p>
+
+<p>The upstream source is now in Git, and consist of three
+repositories:</p>
+
+<ul>
+
+<li><a href="http://git.savannah.nongnu.org/cgit/sysvinit.git">sysvinit</a></li>
+<li><a href="http://git.savannah.nongnu.org/cgit/sysvinit/insserv.git">insserv</a></li>
+<li><a href="http://git.savannah.nongnu.org/cgit/sysvinit/startpar.git">startpar</a></li>
+
+</ul>
+
+<p>I do not really spend much time on the project these days, and I
+has mostly retired, but found it best to migrate the source to a good
+version control system to help those willing to move it forward.</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>How does it feel to be wiretapped, when you should be doing the wiretapping...</title>
- <link>http://people.skolelinux.org/pere/blog/How_does_it_feel_to_be_wiretapped__when_you_should_be_doing_the_wiretapping___.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/How_does_it_feel_to_be_wiretapped__when_you_should_be_doing_the_wiretapping___.html</guid>
- <pubDate>Wed, 8 Mar 2017 11:50:00 +0100</pubDate>
- <description><p>So the new president in the United States of America claim to be
-surprised to discover that he was wiretapped during the election
-before he was elected president. He even claim this must be illegal.
-Well, doh, if it is one thing the confirmations from Snowden
-documented, it is that the entire population in USA is wiretapped, one
-way or another. Of course the president candidates were wiretapped,
-alongside the senators, judges and the rest of the people in USA.</p>
-
-<p>Next, the Federal Bureau of Investigation ask the Department of
-Justice to go public rejecting the claims that Donald Trump was
-wiretapped illegally. I fail to see the relevance, given that I am
-sure the surveillance industry in USA believe they have all the legal
-backing they need to conduct mass surveillance on the entire
-world.</p>
-
-<p>There is even the director of the FBI stating that he never saw an
-order requesting wiretapping of Donald Trump. That is not very
-surprising, given how the FISA court work, with all its activity being
-secret. Perhaps he only heard about it?</p>
-
-<p>What I find most sad in this story is how Norwegian journalists
-present it. In a news reports the other day in the radio from the
-Norwegian National broadcasting Company (NRK), I heard the journalist
-claim that 'the FBI denies any wiretapping', while the reality is that
-'the FBI denies any illegal wiretapping'. There is a fundamental and
-important difference, and it make me sad that the journalists are
-unable to grasp it.</p>
-
-<p><strong>Update 2017-03-13:</strong> Look like
-<a href="https://theintercept.com/2017/03/13/rand-paul-is-right-nsa-routinely-monitors-americans-communications-without-warrants/">The
-Intercept report that US Senator Rand Paul confirm what I state above</a>.</p>
+ <title>Using VLC to stream bittorrent sources</title>
+ <link>http://people.skolelinux.org/pere/blog/Using_VLC_to_stream_bittorrent_sources.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Using_VLC_to_stream_bittorrent_sources.html</guid>
+ <pubDate>Wed, 14 Feb 2018 08:00:00 +0100</pubDate>
+ <description><p>A few days ago, a new major version of
+<a href="https://www.videolan.org/">VLC</a> was announced, and I
+decided to check out if it now supported streaming over
+<a href="http://bittorrent.org/">bittorrent</a> and
+<a href="https://webtorrent.io">webtorrent</a>. Bittorrent is one of
+the most efficient ways to distribute large files on the Internet, and
+Webtorrent is a variant of Bittorrent using
+<a href="https://webrtc.org">WebRTC</a> as its transport channel,
+allowing web pages to stream and share files using the same technique.
+The network protocols are similar but not identical, so a client
+supporting one of them can not talk to a client supporting the other.
+I was a bit surprised with what I discovered when I started to look.
+Looking at
+<a href="https://www.videolan.org/vlc/releases/3.0.0.html">the release
+notes</a> did not help answering this question, so I started searching
+the web. I found several news articles from 2013, most of them
+tracing the news from Torrentfreak
+("<a href=https://torrentfreak.com/open-source-giant-vlc-mulls-bittorrent-support-130211/">Open
+Source Giant VLC Mulls BitTorrent Streaming Support</a>"), about a
+initiative to pay someone to create a VLC patch for bittorrent
+support. To figure out what happend with this initiative, I headed
+over to the #videolan IRC channel and asked if there were some bug or
+feature request tickets tracking such feature. I got an answer from
+lead developer Jean-Babtiste Kempf, telling me that there was a patch
+but neither he nor anyone else knew where it was. So I searched a bit
+more, and came across an independent
+<a href="https://github.com/johang/vlc-bittorrent">VLC plugin to add
+bittorrent support</a>, created by Johan Gunnarsson in 2016/2017.
+Again according to Jean-Babtiste, this is not the patch he was talking
+about.</p>
+
+<p>Anyway, to test the plugin, I made a working Debian package from
+the git repository, with some modifications. After installing this
+package, I could stream videos from
+<a href="https://www.archive.org/">The Internet Archive</a> using VLC
+commands like this:</p>
+
+<p><blockquote><pre>
+vlc https://archive.org/download/LoveNest/LoveNest_archive.torrent
+</pre></blockquote></p>
+
+<p>The plugin is supposed to handle magnet links too, but since The
+Internet Archive do not have magnet links and I did not want to spend
+time tracking down another source, I have not tested it. It can take
+quite a while before the video start playing without any indication of
+what is going on from VLC. It took 10-20 seconds when I measured it.
+Some times the plugin seem unable to find the correct video file to
+play, and show the metadata XML file name in the VLC status line. I
+have no idea why.</p>
+
+<p>I have created a <a href="https://bugs.debian.org/890360">request for
+a new package in Debian (RFP)</a> and
+<a href="https://github.com/johang/vlc-bittorrent/issues/1">asked if
+the upstream author is willing to help make this happen</a>. Now we
+wait to see what come out of this. I do not want to maintain a
+package that is not maintained upstream, nor do I really have time to
+maintain more packages myself, so I might leave it at this. But I
+really hope someone step up to do the packaging, and hope upstream is
+still maintaining the source. If you want to help, please update the
+RFP request or the upstream issue.</p>
+
+<p>I have not found any traces of webtorrent support for VLC.</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Norwegian Bokmål translation of The Debian Administrator's Handbook complete, proofreading in progress</title>
- <link>http://people.skolelinux.org/pere/blog/Norwegian_Bokm_l_translation_of_The_Debian_Administrator_s_Handbook_complete__proofreading_in_progress.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Norwegian_Bokm_l_translation_of_The_Debian_Administrator_s_Handbook_complete__proofreading_in_progress.html</guid>
- <pubDate>Fri, 3 Mar 2017 14:50:00 +0100</pubDate>
- <description><p>For almost a year now, we have been working on making a Norwegian
-Bokmål edition of <a href="https://debian-handbook.info/">The Debian
-Administrator's Handbook</a>. Now, thanks to the tireless effort of
-Ole-Erik, Ingrid and Andreas, the initial translation is complete, and
-we are working on the proof reading to ensure consistent language and
-use of correct computer science terms. The plan is to make the book
-available on paper, as well as in electronic form. For that to
-happen, the proof reading must be completed and all the figures need
-to be translated. If you want to help out, get in touch.</p>
-
-<p><a href="http://people.skolelinux.org/pere/debian-handbook/debian-handbook-nb-NO.pdf">A
-
-fresh PDF edition</a> in A4 format (the final book will have smaller
-pages) of the book created every morning is available for
-proofreading. If you find any errors, please
-<a href="https://hosted.weblate.org/projects/debian-handbook/">visit
-Weblate and correct the error</a>. The
-<a href="http://l.github.io/debian-handbook/stat/nb-NO/index.html">state
-of the translation including figures</a> is a useful source for those
-provide Norwegian bokmål screen shots and figures.</p>
+ <title>Version 3.1 of Cura, the 3D print slicer, is now in Debian</title>
+ <link>http://people.skolelinux.org/pere/blog/Version_3_1_of_Cura__the_3D_print_slicer__is_now_in_Debian.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Version_3_1_of_Cura__the_3D_print_slicer__is_now_in_Debian.html</guid>
+ <pubDate>Tue, 13 Feb 2018 06:20:00 +0100</pubDate>
+ <description><p>A new version of the
+<a href="https://tracker.debian.org/pkg/cura">3D printer slicer
+software Cura</a>, version 3.1.0, is now available in Debian Testing
+(aka Buster) and Debian Unstable (aka Sid). I hope you find it
+useful. It was uploaded the last few days, and the last update will
+enter testing tomorrow. See the
+<a href="https://ultimaker.com/en/products/cura-software/release-notes">release
+notes</a> for the list of bug fixes and new features. Version 3.2
+was announced 6 days ago. We will try to get it into Debian as
+well.</p>
+
+<p>More information related to 3D printing is available on the
+<a href="https://wiki.debian.org/3DPrinting">3D printing</a> and
+<a href="https://wiki.debian.org/3D-printer">3D printer</a> wiki pages
+in Debian.</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Unlimited randomness with the ChaosKey?</title>
- <link>http://people.skolelinux.org/pere/blog/Unlimited_randomness_with_the_ChaosKey_.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Unlimited_randomness_with_the_ChaosKey_.html</guid>
- <pubDate>Wed, 1 Mar 2017 20:50:00 +0100</pubDate>
- <description><p>A few days ago I ordered a small batch of
-<a href="http://altusmetrum.org/ChaosKey/">the ChaosKey</a>, a small
-USB dongle for generating entropy created by Bdale Garbee and Keith
-Packard. Yesterday it arrived, and I am very happy to report that it
-work great! According to its designers, to get it to work out of the
-box, you need the Linux kernel version 4.1 or later. I tested on a
-Debian Stretch machine (kernel version 4.9), and there it worked just
-fine, increasing the available entropy very quickly. I wrote a small
-test oneliner to test. It first print the current entropy level,
-drain /dev/random, and then print the entropy level for five seconds.
-Here is the situation without the ChaosKey inserted:</p>
-
-<blockquote><pre>
-% cat /proc/sys/kernel/random/entropy_avail; \
- dd bs=1M if=/dev/random of=/dev/null count=1; \
- for n in $(seq 1 5); do \
- cat /proc/sys/kernel/random/entropy_avail; \
- sleep 1; \
- done
-300
-0+1 oppføringer inn
-0+1 oppføringer ut
-28 byte kopiert, 0,000264565 s, 106 kB/s
-4
-8
-12
-17
-21
-%
-</pre></blockquote>
-
-<p>The entropy level increases by 3-4 every second. In such case any
-application requiring random bits (like a HTTPS enabled web server)
-will halt and wait for more entrpy. And here is the situation with
-the ChaosKey inserted:</p>
-
-<blockquote><pre>
-% cat /proc/sys/kernel/random/entropy_avail; \
- dd bs=1M if=/dev/random of=/dev/null count=1; \
- for n in $(seq 1 5); do \
- cat /proc/sys/kernel/random/entropy_avail; \
- sleep 1; \
- done
-1079
-0+1 oppføringer inn
-0+1 oppføringer ut
-104 byte kopiert, 0,000487647 s, 213 kB/s
-433
-1028
-1031
-1035
-1038
-%
-</pre></blockquote>
-
-<p>Quite the difference. :) I bought a few more than I need, in case
-someone want to buy one here in Norway. :)</p>
-
-<p>Update: The dongle was presented at Debconf last year. You might
-find <a href="https://debconf16.debconf.org/talks/94/">the talk
-recording illuminating</a>. It explains exactly what the source of
-randomness is, if you are unable to spot it from the schema drawing
-available from the ChaosKey web site linked at the start of this blog
-post.</p>
+ <title>Overvåkning i Kina vs. Norge</title>
+ <link>http://people.skolelinux.org/pere/blog/Overv_kning_i_Kina_vs__Norge.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Overv_kning_i_Kina_vs__Norge.html</guid>
+ <pubDate>Mon, 12 Feb 2018 09:40:00 +0100</pubDate>
+ <description><p>Jeg lar meg fascinere av en artikkel
+<a href="https://www.dagbladet.no/kultur/terroristene-star-pa-dora/69436116">i
+Dagbladet om Kinas håndtering av Xinjiang</a>, spesielt følgende
+utsnitt:</p>
+
+<p><blockquote>
+
+<p>«I den sørvestlige byen Kashgar nærmere grensa til
+Sentral-Asia meldes det nå at 120.000 uigurer er internert i såkalte
+omskoleringsleirer. Samtidig er det innført et omfattende
+helsesjekk-program med innsamling og lagring av DNA-prøver fra
+absolutt alle innbyggerne. De mest avanserte overvåkingsmetodene
+testes ut her. Programmer for å gjenkjenne ansikter og stemmer er på
+plass i regionen. Der har de lokale myndighetene begynt å installere
+GPS-systemer i alle kjøretøy og egne sporingsapper i
+mobiltelefoner.</p>
+
+<p>Politimetodene griper så dypt inn i folks dagligliv at motstanden
+mot Beijing-regimet øker.»</p>
+
+</blockquote></p>
+
+<p>Beskrivelsen avviker jo desverre ikke så veldig mye fra tilstanden
+her i Norge.</p>
+
+<table>
+<tr>
+<th>Dataregistrering</th>
+<th>Kina</th>
+<th>Norge</th>
+
+<tr>
+<td>Innsamling og lagring av DNA-prøver fra befolkningen</td>
+<td>Ja</td>
+<td>Delvis, planlagt for alle nyfødte.</td>
+</tr>
+
+<tr>
+<td>Ansiktsgjenkjenning</td>
+<td>Ja</td>
+<td>Ja</td>
+</tr>
+
+<tr>
+<td>Stemmegjenkjenning</td>
+<td>Ja</td>
+<td>Nei</td>
+</tr>
+
+<tr>
+<td>Posisjons-sporing av mobiltelefoner</td>
+<td>Ja</td>
+<td>Ja</td>
+</tr>
+
+<tr>
+<td>Posisjons-sporing av biler</td>
+<td>Ja</td>
+<td>Ja</td>
+</tr>
+
+</table>
+
+<p>I Norge har jo situasjonen rundt Folkehelseinstituttets lagring av
+DNA-informasjon på vegne av politiet, der de nektet å slette
+informasjon politiet ikke hadde lov til å ta vare på, gjort det klart
+at DNA tar vare på ganske lenge. I tillegg finnes det utallige
+biobanker som lagres til evig tid, og det er planer om å innføre
+<a href="https://www.aftenposten.no/norge/i/75E9/4-av-10-mener-staten-bor-lagre-DNA-profiler-pa-alle-nyfodte">evig
+lagring av DNA-materiale fra alle spebarn som fødes</a> (med mulighet
+for å be om sletting).</p>
+
+<p>I Norge er det system på plass for ansiktsgjenkjenning, som
+<a href="https://www.nrk.no/norge/kun-gardermoen-har-teknologi-for-ansiktsgjenkjenning-i-norge-1.12719461">en
+NRK-artikkel fra 2015</a> forteller er aktiv på Gardermoen, samt
+<a href="https://www.dagbladet.no/nyheter/inntil-27-000-bor-i-norge-under-falsk-id/60500781">brukes
+til å analysere bilder innsamlet av myndighetene</a>. Brukes det også
+flere plasser? Det er tett med overvåkningskamera kontrollert av
+politi og andre myndigheter i for eksempel Oslo sentrum.</p>
+
+<p>Jeg er ikke kjent med at Norge har noe system for identifisering av
+personer ved hjelp av stemmegjenkjenning.</p>
+
+<p>Posisjons-sporing av mobiltelefoner er ruinemessig tilgjengelig for
+blant annet politi, NAV og Finanstilsynet, i tråd med krav i
+telefonselskapenes konsesjon. I tillegg rapporterer smarttelefoner
+sin posisjon til utviklerne av utallige mobil-apper, der myndigheter
+og andre kan hente ut informasjon ved behov. Det er intet behov for
+noen egen app for dette.</p>
+
+<p>Posisjons-sporing av biler er rutinemessig tilgjengelig via et tett
+nett av målepunkter på veiene (automatiske bomstasjoner,
+køfribrikke-registrering, automatiske fartsmålere og andre veikamera).
+Det er i tillegg vedtatt at alle nye biler skal selges med utstyr for
+GPS-sporing (eCall).</p>
+
+<p>Det er jammen godt vi lever i et liberalt demokrati, og ikke en
+overvåkningsstat, eller?</p>
+
+<p>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til
+det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner
+til min adresse
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Detect OOXML files with undefined behaviour?</title>
- <link>http://people.skolelinux.org/pere/blog/Detect_OOXML_files_with_undefined_behaviour_.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Detect_OOXML_files_with_undefined_behaviour_.html</guid>
- <pubDate>Tue, 21 Feb 2017 00:20:00 +0100</pubDate>
- <description><p>I just noticed
-<a href="http://www.arkivrad.no/aktuelt/riksarkivarens-forskrift-pa-horing">the
-new Norwegian proposal for archiving rules in the goverment</a> list
-<a href="http://www.ecma-international.org/publications/standards/Ecma-376.htm">ECMA-376</a>
-/ ISO/IEC 29500 (aka OOXML) as valid formats to put in long term
-storage. Luckily such files will only be accepted based on
-pre-approval from the National Archive. Allowing OOXML files to be
-used for long term storage might seem like a good idea as long as we
-forget that there are plenty of ways for a "valid" OOXML document to
-have content with no defined interpretation in the standard, which
-lead to a question and an idea.</p>
-
-<p>Is there any tool to detect if a OOXML document depend on such
-undefined behaviour? It would be useful for the National Archive (and
-anyone else interested in verifying that a document is well defined)
-to have such tool available when considering to approve the use of
-OOXML. I'm aware of the
-<a href="https://github.com/arlm/officeotron/">officeotron OOXML
-validator</a>, but do not know how complete it is nor if it will
-report use of undefined behaviour. Are there other similar tools
-available? Please send me an email if you know of any such tool.</p>
+ <title>How hard can æ, ø and å be?</title>
+ <link>http://people.skolelinux.org/pere/blog/How_hard_can______and___be_.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/How_hard_can______and___be_.html</guid>
+ <pubDate>Sun, 11 Feb 2018 17:10:00 +0100</pubDate>
+ <description><img src="http://people.skolelinux.org/pere/blog/images/2018-02-11-peppes-unicode.jpeg" align="right"/>
+
+<p>We write 2018, and it is 30 years since Unicode was introduced.
+Most of us in Norway have come to expect the use of our alphabet to
+just work with any computer system. But it is apparently beyond reach
+of the computers printing recites at a restaurant. Recently I visited
+a Peppes pizza resturant, and noticed a few details on the recite.
+Notice how 'ø' and 'å' are replaced with strange symbols in
+'Servitør', 'Å BETALE', 'Beløp pr. gjest', 'Takk for besøket.' and 'Vi
+gleder oss til å se deg igjen'.</p>
+
+<p>I would say that this state is passed sad and over in embarrassing.</p>
+
+<p>I removed personal and private information to be nice.</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Ruling ignored our objections to the seizure of popcorn-time.no (#domstolkontroll)</title>
- <link>http://people.skolelinux.org/pere/blog/Ruling_ignored_our_objections_to_the_seizure_of_popcorn_time_no___domstolkontroll_.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Ruling_ignored_our_objections_to_the_seizure_of_popcorn_time_no___domstolkontroll_.html</guid>
- <pubDate>Mon, 13 Feb 2017 21:30:00 +0100</pubDate>
- <description><p>A few days ago, we received the ruling from
-<a href="http://people.skolelinux.org/pere/blog/A_day_in_court_challenging_seizure_of_popcorn_time_no_for__domstolkontroll.html">my
-day in court</a>. The case in question is a challenge of the seizure
-of the DNS domain popcorn-time.no. The ruling simply did not mention
-most of our arguments, and seemed to take everything ØKOKRIM said at
-face value, ignoring our demonstration and explanations. But it is
-hard to tell for sure, as we still have not seen most of the documents
-in the case and thus were unprepared and unable to contradict several
-of the claims made in court by the opposition. We are considering an
-appeal, but it is partly a question of funding, as it is costing us
-quite a bit to pay for our lawyer. If you want to help, please
-<a href="http://www.nuug.no/dns-beslag-donasjon.shtml">donate to the
-NUUG defense fund</a>.</p>
-
-<p>The details of the case, as far as we know it, is available in
-Norwegian from
-<a href="https://www.nuug.no/news/tags/dns-domenebeslag/">the NUUG
-blog</a>. This also include
-<a href="https://www.nuug.no/news/Avslag_etter_rettslig_h_ring_om_DNS_beslaget___vurderer_veien_videre.shtml">the
-ruling itself</a>.</p>
+ <title>Legal to share more than 11,000 movies listed on IMDB?</title>
+ <link>http://people.skolelinux.org/pere/blog/Legal_to_share_more_than_11_000_movies_listed_on_IMDB_.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Legal_to_share_more_than_11_000_movies_listed_on_IMDB_.html</guid>
+ <pubDate>Sun, 7 Jan 2018 23:30:00 +0100</pubDate>
+ <description><p>I've continued to track down list of movies that are legal to
+distribute on the Internet, and identified more than 11,000 title IDs
+in The Internet Movie Database (IMDB) so far. Most of them (57%) are
+feature films from USA published before 1923. I've also tracked down
+more than 24,000 movies I have not yet been able to map to IMDB title
+ID, so the real number could be a lot higher. According to the front
+web page for <a href="https://retrofilmvault.com/">Retro Film
+Vault</A>, there are 44,000 public domain films, so I guess there are
+still some left to identify.</p>
+
+<p>The complete data set is available from
+<a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">a
+public git repository</a>, including the scripts used to create it.
+Most of the data is collected using web scraping, for example from the
+"product catalog" of companies selling copies of public domain movies,
+but any source I find believable is used. I've so far had to throw
+out three sources because I did not trust the public domain status of
+the movies listed.</p>
+
+<p>Anyway, this is the summary of the 28 collected data sources so
+far:</p>
+
+<p><pre>
+ 2352 entries ( 66 unique) with and 15983 without IMDB title ID in free-movies-archive-org-search.json
+ 2302 entries ( 120 unique) with and 0 without IMDB title ID in free-movies-archive-org-wikidata.json
+ 195 entries ( 63 unique) with and 200 without IMDB title ID in free-movies-cinemovies.json
+ 89 entries ( 52 unique) with and 38 without IMDB title ID in free-movies-creative-commons.json
+ 344 entries ( 28 unique) with and 655 without IMDB title ID in free-movies-fesfilm.json
+ 668 entries ( 209 unique) with and 1064 without IMDB title ID in free-movies-filmchest-com.json
+ 830 entries ( 21 unique) with and 0 without IMDB title ID in free-movies-icheckmovies-archive-mochard.json
+ 19 entries ( 19 unique) with and 0 without IMDB title ID in free-movies-imdb-c-expired-gb.json
+ 6822 entries ( 6669 unique) with and 0 without IMDB title ID in free-movies-imdb-c-expired-us.json
+ 137 entries ( 0 unique) with and 0 without IMDB title ID in free-movies-imdb-externlist.json
+ 1205 entries ( 57 unique) with and 0 without IMDB title ID in free-movies-imdb-pd.json
+ 84 entries ( 20 unique) with and 167 without IMDB title ID in free-movies-infodigi-pd.json
+ 158 entries ( 135 unique) with and 0 without IMDB title ID in free-movies-letterboxd-looney-tunes.json
+ 113 entries ( 4 unique) with and 0 without IMDB title ID in free-movies-letterboxd-pd.json
+ 182 entries ( 100 unique) with and 0 without IMDB title ID in free-movies-letterboxd-silent.json
+ 229 entries ( 87 unique) with and 1 without IMDB title ID in free-movies-manual.json
+ 44 entries ( 2 unique) with and 64 without IMDB title ID in free-movies-openflix.json
+ 291 entries ( 33 unique) with and 474 without IMDB title ID in free-movies-profilms-pd.json
+ 211 entries ( 7 unique) with and 0 without IMDB title ID in free-movies-publicdomainmovies-info.json
+ 1232 entries ( 57 unique) with and 1875 without IMDB title ID in free-movies-publicdomainmovies-net.json
+ 46 entries ( 13 unique) with and 81 without IMDB title ID in free-movies-publicdomainreview.json
+ 698 entries ( 64 unique) with and 118 without IMDB title ID in free-movies-publicdomaintorrents.json
+ 1758 entries ( 882 unique) with and 3786 without IMDB title ID in free-movies-retrofilmvault.json
+ 16 entries ( 0 unique) with and 0 without IMDB title ID in free-movies-thehillproductions.json
+ 63 entries ( 16 unique) with and 141 without IMDB title ID in free-movies-vodo.json
+11583 unique IMDB title IDs in total, 8724 only in one list, 24647 without IMDB title ID
+</pre></p>
+
+<p> I keep finding more data sources. I found the cinemovies source
+just a few days ago, and as you can see from the summary, it extended
+my list with 63 movies. Check out the mklist-* scripts in the git
+repository if you are curious how the lists are created. Many of the
+titles are extracted using searches on IMDB, where I look for the
+title and year, and accept search results with only one movie listed
+if the year matches. This allow me to automatically use many lists of
+movies without IMDB title ID references at the cost of increasing the
+risk of wrongly identify a IMDB title ID as public domain. So far my
+random manual checks have indicated that the method is solid, but I
+really wish all lists of public domain movies would include unique
+movie identifier like the IMDB title ID. It would make the job of
+counting movies in the public domain a lot easier.</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>A day in court challenging seizure of popcorn-time.no for #domstolkontroll</title>
- <link>http://people.skolelinux.org/pere/blog/A_day_in_court_challenging_seizure_of_popcorn_time_no_for__domstolkontroll.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/A_day_in_court_challenging_seizure_of_popcorn_time_no_for__domstolkontroll.html</guid>
- <pubDate>Fri, 3 Feb 2017 11:10:00 +0100</pubDate>
- <description><p align="center"><img width="70%" src="http://people.skolelinux.org/pere/blog/images/2017-02-01-popcorn-time-in-court.jpeg"></p>
-
-<p>On Wednesday, I spent the entire day in court in Follo Tingrett
-representing <a href="https://www.nuug.no/">the member association
-NUUG</a>, alongside <a href="https://www.efn.no/">the member
-association EFN</a> and <a href="http://www.imc.no">the DNS registrar
-IMC</a>, challenging the seizure of the DNS name popcorn-time.no. It
-was interesting to sit in a court of law for the first time in my
-life. Our team can be seen in the picture above: attorney Ola
-Tellesbø, EFN board member Tom Fredrik Blenning, IMC CEO Morten Emil
-Eriksen and NUUG board member Petter Reinholdtsen.</p>
-
-<p><a href="http://www.domstol.no/no/Enkelt-domstol/follo-tingrett/Nar-gar-rettssaken/Beramming/?cid=AAAA1701301512081262234UJFBVEZZZZZEJBAvtale">The
-case at hand</a> is that the Norwegian National Authority for
-Investigation and Prosecution of Economic and Environmental Crime (aka
-Økokrim) decided on their own, to seize a DNS domain early last
-year, without following
-<a href="https://www.norid.no/no/regelverk/navnepolitikk/#link12">the
-official policy of the Norwegian DNS authority</a> which require a
-court decision. The web site in question was a site covering Popcorn
-Time. And Popcorn Time is the name of a technology with both legal
-and illegal applications. Popcorn Time is a client combining
-searching a Bittorrent directory available on the Internet with
-downloading/distribute content via Bittorrent and playing the
-downloaded content on screen. It can be used illegally if it is used
-to distribute content against the will of the right holder, but it can
-also be used legally to play a lot of content, for example the
-millions of movies
-<a href="https://archive.org/details/movies">available from the
-Internet Archive</a> or the collection
-<a href="http://vodo.net/films/">available from Vodo</a>. We created
-<a href="magnet:?xt=urn:btih:86c1802af5a667ca56d3918aecb7d3c0f7173084&dn=PresentasjonFolloTingrett.mov&tr=udp%3A%2F%2Fpublic.popcorn-tracker.org%3A6969%2Fannounce">a
-video demonstrating legally use of Popcorn Time</a> and played it in
-Court. It can of course be downloaded using Bittorrent.</p>
-
-<p>I did not quite know what to expect from a day in court. The
-government held on to their version of the story and we held on to
-ours, and I hope the judge is able to make sense of it all. We will
-know in two weeks time. Unfortunately I do not have high hopes, as
-the Government have the upper hand here with more knowledge about the
-case, better training in handling criminal law and in general higher
-standing in the courts than fairly unknown DNS registrar and member
-associations. It is expensive to be right also in Norway. So far the
-case have cost more than NOK 70 000,-. To help fund the case, NUUG
-and EFN have asked for donations, and managed to collect around NOK 25
-000,- so far. Given the presentation from the Government, I expect
-the government to appeal if the case go our way. And if the case do
-not go our way, I hope we have enough funding to appeal.</p>
-
-<p>From the other side came two people from Økokrim. On the benches,
-appearing to be part of the group from the government were two people
-from the Simonsen Vogt Wiik lawyer office, and three others I am not
-quite sure who was. Økokrim had proposed to present two witnesses
-from The Motion Picture Association, but this was rejected because
-they did not speak Norwegian and it was a bit late to bring in a
-translator, but perhaps the two from MPA were present anyway. All
-seven appeared to know each other. Good to see the case is take
-seriously.</p>
-
-<p>If you, like me, believe the courts should be involved before a DNS
-domain is hijacked by the government, or you believe the Popcorn Time
-technology have a lot of useful and legal applications, I suggest you
-too <a href="http://www.nuug.no/dns-beslag-donasjon.shtml">donate to
-the NUUG defense fund</a>. Both Bitcoin and bank transfer are
-available. If NUUG get more than we need for the legal action (very
-unlikely), the rest will be spend promoting free software, open
-standards and unix-like operating systems in Norway, so no matter what
-happens the money will be put to good use.</p>
-
-<p>If you want to lean more about the case, I recommend you check out
-<a href="https://www.nuug.no/news/tags/dns-domenebeslag/">the blog
-posts from NUUG covering the case</a>. They cover the legal arguments
-on both sides.</p>
+ <title>Kommentarer til «Evaluation of (il)legality» for Popcorn Time</title>
+ <link>http://people.skolelinux.org/pere/blog/Kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html</guid>
+ <pubDate>Wed, 20 Dec 2017 11:40:00 +0100</pubDate>
+ <description><p>I går var jeg i Follo tingrett som sakkyndig vitne og presenterte
+ mine undersøkelser rundt
+ <a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">telling
+ av filmverk i det fri</a>, relatert til
+ <a href="https://www.nuug.no/">foreningen NUUG</a>s involvering i
+ <a href="https://www.nuug.no/news/tags/dns-domenebeslag/">saken om
+ Økokrims beslag og senere inndragning av DNS-domenet
+ popcorn-time.no</a>. Jeg snakket om flere ting, men mest om min
+ vurdering av hvordan filmbransjen har målt hvor ulovlig Popcorn Time
+ er. Filmbransjens måling er så vidt jeg kan se videreformidlet uten
+ endringer av norsk politi, og domstolene har lagt målingen til grunn
+ når de har vurdert Popcorn Time både i Norge og i utlandet (tallet
+ 99% er referert også i utenlandske domsavgjørelser).</p>
+
+<p>I forkant av mitt vitnemål skrev jeg et notat, mest til meg selv,
+ med de punktene jeg ønsket å få frem. Her er en kopi av notatet jeg
+ skrev og ga til aktoratet. Merkelig nok ville ikke dommerene ha
+ notatet, så hvis jeg forsto rettsprosessen riktig ble kun
+ histogram-grafen lagt inn i dokumentasjonen i saken. Dommerne var
+ visst bare interessert i å forholde seg til det jeg sa i retten,
+ ikke det jeg hadde skrevet i forkant. Uansett så antar jeg at flere
+ enn meg kan ha glede av teksten, og publiserer den derfor her.
+ Legger ved avskrift av dokument 09,13, som er det sentrale
+ dokumentet jeg kommenterer.</p>
+
+<p><strong>Kommentarer til «Evaluation of (il)legality» for Popcorn
+ Time</strong></p>
+
+<p><strong>Oppsummering</strong></p>
+
+<p>Målemetoden som Økokrim har lagt til grunn når de påstår at 99% av
+ filmene tilgjengelig fra Popcorn Time deles ulovlig har
+ svakheter.</p>
+
+<p>De eller den som har vurdert hvorvidt filmer kan lovlig deles har
+ ikke lyktes med å identifisere filmer som kan deles lovlig og har
+ tilsynelatende antatt at kun veldig gamle filmer kan deles lovlig.
+ Økokrim legger til grunn at det bare finnes èn film, Charlie
+ Chaplin-filmen «The Circus» fra 1928, som kan deles fritt blant de
+ som ble observert tilgjengelig via ulike Popcorn Time-varianter.
+ Jeg finner tre flere blant de observerte filmene: «The Brain That
+ Wouldn't Die» fra 1962, «God’s Little Acre» fra 1958 og «She Wore a
+ Yellow Ribbon» fra 1949. Det er godt mulig det finnes flere. Det
+ finnes dermed minst fire ganger så mange filmer som lovlig kan deles
+ på Internett i datasettet Økokrim har lagt til grunn når det påstås
+ at mindre enn 1 % kan deles lovlig.</p>
+
+<p>Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra
+ ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte
+ filmkatalogene som helhet, hvilket påvirker fordelingen mellom
+ filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I
+ tillegg gir valg av øvre del (de fem første) av søkeresultatene et
+ avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk
+ i det fri i søkeresultatet.</p>
+
+<p>Det som måles er ikke (u)lovligheten knyttet til bruken av Popcorn
+ Time, men (u)lovligheten til innholdet i bittorrent-filmkataloger
+ som vedlikeholdes uavhengig av Popcorn Time.</p>
+
+<p>Omtalte dokumenter: 09,12, <a href="#dok-09-13">09,13</a>, 09,14,
+09,18, 09,19, 09,20.</p>
+
+<p><strong>Utfyllende kommentarer</strong></p>
+
+<p>Økokrim har forklart domstolene at minst 99% av alt som er
+ tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på
+ Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette
+ tallet, og dette notatet er en samling kommentarer rundt målingen
+ Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på
+ saken er at jeg er interessert i å identifisere og telle hvor mange
+ kunstneriske verk som er falt i det fri eller av andre grunner kan
+ lovlig deles på Internett, og dermed var interessert i hvordan en
+ hadde funnet den ene prosenten som kanskje deles lovlig.</p>
+
+<p>Andelen på 99% kommer fra et ukreditert og udatert notatet som tar
+ mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike
+ Popcorn Time-varianter er.</p>
+
+<p>Raskt oppsummert, så forteller metodedokumentet at på grunn av at
+ det ikke er mulig å få tak i komplett liste over alle filmtitler
+ tilgjengelig via Popcorn Time, så lages noe som skal være et
+ representativt utvalg ved å velge 50 søkeord større enn tre tegn fra
+ ordlisten kjent som Dale-Chall. For hvert søkeord gjøres et søk og
+ de første fem filmene i søkeresultatet samles inn inntil 100 unike
+ filmtitler er funnet. Hvis 50 søkeord ikke var tilstrekkelig for å
+ nå 100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt
+ til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut
+ og søkt på flere tilfeldig valgte søkeord inntil 100 unike
+ filmtitler var identifisert.</p>
+
+<p>Deretter ble for hver av filmtitlene «vurdert hvorvidt det var
+ rimelig å forvente om at verket var vernet av copyright, ved å se på
+ om filmen var tilgjengelig i IMDB, samt se på regissør,
+ utgivelsesår, når det var utgitt for bestemte markedsområder samt
+ hvilke produksjons- og distribusjonsselskap som var registrert» (min
+ oversettelse).</p>
+
+<p>Metoden er gjengitt både i de ukrediterte dokumentene 09,13 og
+ 09,19, samt beskrevet fra side 47 i dokument 09,20, lysark datert
+ 2017-02-01. Sistnevnte er kreditert Geerart Bourlon fra Motion
+ Picture Association EMEA. Metoden virker å ha flere svakheter som
+ gir resultatene en slagside. Den starter med å slå fast at det ikke
+ er mulig å hente ut en komplett liste over alle filmtitler som er
+ tilgjengelig, og at dette er bakgrunnen for metodevalget. Denne
+ forutsetningen er ikke i tråd med det som står i dokument 09,12, som
+ ikke heller har oppgitt forfatter og dato. Dokument 09,12 forteller
+ hvordan hele kataloginnholdet ble lasted ned og talt opp. Dokument
+ 09,12 er muligens samme rapport som ble referert til i dom fra Oslo
+ Tingrett 2017-11-03
+ (<a href="https://www.domstol.no/no/Enkelt-domstol/Oslo--tingrett/Nyheter/ma-sperre-for-popcorn-time/">sak
+ 17-093347TVI-OTIR/05</a>) som rapport av 1. juni 2017 av Alexander
+ Kind Petersen, men jeg har ikke sammenlignet dokumentene ord for ord
+ for å kontrollere dette.</p>
+
+<p>IMDB er en forkortelse for The Internet Movie Database, en
+ anerkjent kommersiell nettjeneste som brukes aktivt av både
+ filmbransjen og andre til å holde rede på hvilke spillefilmer (og
+ endel andre filmer) som finnes eller er under produksjon, og
+ informasjon om disse filmene. Datakvaliteten er høy, med få feil og
+ få filmer som mangler. IMDB viser ikke informasjon om
+ opphavsrettslig status for filmene på infosiden for hver film. Som
+ del av IMDB-tjenesten finnes det lister med filmer laget av
+ frivillige som lister opp det som antas å være verk i det fri.</p>
+
+<p>Det finnes flere kilder som kan brukes til å finne filmer som er
+ allemannseie (public domain) eller har bruksvilkår som gjør det
+ lovlig for alleå dele dem på Internett. Jeg har de siste ukene
+ forsøkt å samle og krysskoble disse listene for å forsøke å telle
+ antall filmer i det fri. Ved å ta utgangspunkt i slike lister (og
+ publiserte filmer for Internett-arkivets del), har jeg så langt
+ klart å identifisere over 11 000 filmer, hovedsaklig spillefilmer.
+
+<p>De aller fleste oppføringene er hentet fra IMDB selv, basert på det
+ faktum at alle filmer laget i USA før 1923 er falt i det fri.
+ Tilsvarende tidsgrense for Storbritannia er 1912-07-01, men dette
+ utgjør bare veldig liten del av spillefilmene i IMDB (19 totalt).
+ En annen stor andel kommer fra Internett-arkivet, der jeg har
+ identifisert filmer med referanse til IMDB. Internett-arkivet, som
+ holder til i USA, har som
+ <a href="https://archive.org/about/terms.php">policy å kun publisere
+ filmer som det er lovlig å distribuere</a>. Jeg har under arbeidet
+ kommet over flere filmer som har blitt fjernet fra
+ Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene
+ som kontrollerer Internett-arkivet har et aktivt forhold til å kun
+ ha lovlig innhold der, selv om det i stor grad er drevet av
+ frivillige. En annen stor liste med filmer kommer fra det
+ kommersielle selskapet Retro Film Vault, som selger allemannseide
+ filmer til TV- og filmbransjen, Jeg har også benyttet meg av lister
+ over filmer som hevdes å være allemannseie, det være seg Public
+ Domain Review, Public Domain Torrents og Public Domain Movies (.net
+ og .info), samt lister over filmer med Creative Commons-lisensiering
+ fra Wikipedia, VODO og The Hill Productions. Jeg har gjort endel
+ stikkontroll ved å vurdere filmer som kun omtales på en liste. Der
+ jeg har funnet feil som har gjort meg i tvil om vurderingen til de
+ som har laget listen har jeg forkastet listen fullstendig (gjelder
+ en liste fra IMDB).</p>
+
+<p>Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på
+ Internett (fra blant annet Internett-arkivet, Public Domain
+ Torrents, Public Domain Reivew og Public Domain Movies), og knytte
+ dem til oppføringer i IMDB, så har jeg så langt klart å identifisere
+ over 11 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro
+ kan lovlig distribueres av alle på Internett. Som ekstra kilder er
+ det brukt lister over filmer som antas/påstås å være allemannseie.
+ Disse kildene kommer fra miljøer som jobber for å gjøre tilgjengelig
+ for almennheten alle verk som er falt i det fri eller har
+ bruksvilkår som tillater deling.
+
+<p>I tillegg til de over 11 000 filmene der tittel-ID i IMDB er
+ identifisert, har jeg funnet mer enn 20 000 oppføringer der jeg ennå
+ ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Noen av
+ disse er nok duplikater av de IMDB-oppføringene som er identifisert
+ så langt, men neppe alle. Retro Film Vault hevder å ha 44 000
+ filmverk i det fri i sin katalog, så det er mulig at det reelle
+ tallet er betydelig høyere enn de jeg har klart å identifisere så
+ langt. Konklusjonen er at tallet 11 000 er nedre grense for hvor
+ mange filmer i IMDB som kan lovlig deles på Internett. I følge <a
+ href="http://www.imdb.com/stats">statistikk fra IMDB</a> er det 4.6
+ millioner titler registrert, hvorav 3 millioner er TV-serieepisoder.
+ Jeg har ikke funnet ut hvordan de fordeler seg per år.</p>
+
+<p>Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å lovlig
+ kunne deles på Internett, får en følgende histogram:</p>
+
+<p align="center"><img width="80%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year.png"></p>
+
+<p>En kan i histogrammet se at effekten av manglende registrering
+ eller fornying av registrering er at mange filmer gitt ut i USA før
+ 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere
+ filmer gitt ut de siste årene med bruksvilkår som tillater deling,
+ muligens på grunn av fremveksten av
+ <a href="https://creativecommons.org/">Creative
+ Commons</a>-bevegelsen..</p>
+
+<p>For maskinell analyse av katalogene har jeg laget et lite program
+ som kobler seg til bittorrent-katalogene som brukes av ulike Popcorn
+ Time-varianter og laster ned komplett liste over filmer i
+ katalogene, noe som bekrefter at det er mulig å hente ned komplett
+ liste med alle filmtitler som er tilgjengelig. Jeg har sett på fire
+ bittorrent-kataloger. Den ene brukes av klienten tilgjengelig fra
+ www.popcorntime.sh og er navngitt 'sh' i dette dokumentet. Den
+ andre brukes i følge dokument 09,12 av klienten tilgjengelig fra
+ popcorntime.ag og popcorntime.sh og er navngitt 'yts' i dette
+ dokumentet. Den tredje brukes av websidene tilgjengelig fra
+ popcorntime-online.tv og er navngitt 'apidomain' i dette dokumentet.
+ Den fjerde brukes av klienten tilgjenglig fra popcorn-time.to i
+ følge dokument 09,12, og er navngitt 'ukrfnlge' i dette
+ dokumentet.</p>
+
+<p>Metoden Økokrim legger til grunn skriver i sitt punkt fire at
+ skjønn er en egnet metode for å finne ut om en film kan lovlig deles
+ på Internett eller ikke, og sier at det ble «vurdert hvorvidt det
+ var rimelig å forvente om at verket var vernet av copyright». For
+ det første er det ikke nok å slå fast om en film er «vernet av
+ copyright» for å vite om det er lovlig å dele den på Internett eller
+ ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår
+ som tillater deling på Internett. Eksempler på dette er Creative
+ Commons-lisensierte filmer som Citizenfour fra 2014 og Sintel fra
+ 2010. I tillegg til slike finnes det flere filmer som nå er
+ allemannseie (public domain) på grunn av manglende registrering
+ eller fornying av registrering selv om både regisør,
+ produksjonsselskap og distributør ønsker seg vern. Eksempler på
+ dette er Plan 9 from Outer Space fra 1959 og Night of the Living
+ Dead fra 1968. Alle filmer fra USA som var allemannseie før
+ 1989-03-01 forble i det fri da Bern-konvensjonen, som tok effekt i
+ USA på det tidspunktet, ikke ble gitt tilbakevirkende kraft. Hvis
+ det er noe
+ <a href="http://www.latimes.com/local/lanow/la-me-ln-happy-birthday-song-lawsuit-decision-20150922-story.html">historien
+ om sangen «Happy birthday»</a> forteller oss, der betaling for bruk
+ har vært krevd inn i flere tiår selv om sangen ikke egentlig var
+ vernet av åndsverksloven, så er det at hvert enkelt verk må vurderes
+ nøye og i detalj før en kan slå fast om verket er allemannseie eller
+ ikke, det holder ikke å tro på selverklærte rettighetshavere. Flere
+ eksempel på verk i det fri som feilklassifiseres som vernet er fra
+ dokument 09,18, som lister opp søkeresultater for klienten omtalt
+ som popcorntime.sh og i følge notatet kun inneholder en film (The
+ Circus fra 1928) som under tvil kan antas å være allemannseie.</p>
+
+<p>Ved rask gjennomlesning av dokument 09,18, som inneholder
+ skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt
+ både filmen «The Brain That Wouldn't Die» fra 1962 som er
+ <a href="https://archive.org/details/brain_that_wouldnt_die">tilgjengelig
+ fra Internett-arkivet</a> og som
+ <a href="https://en.wikipedia.org/wiki/List_of_films_in_the_public_domain_in_the_United_States">i
+ følge Wikipedia er allemannseie i USA</a> da den ble gitt ut i
+ 1962 uten 'copyright'-merking, og filmen «God’s Little Acre» fra
+ 1958 <a href="https://en.wikipedia.org/wiki/God%27s_Little_Acre_%28film%29">som
+ er lagt ut på Wikipedia</a>, der det fortelles at
+ sort/hvit-utgaven er allemannseie. Det fremgår ikke fra dokument
+ 09,18 om filmen omtalt der er sort/hvit-utgaven. Av
+ kapasitetsårsaker og på grunn av at filmoversikten i dokument 09,18
+ ikke er maskinlesbart har jeg ikke forsøkt å sjekke alle filmene som
+ listes opp der om mot liste med filmer som er antatt lovlig kan
+ distribueres på Internet.</p>
+
+<p>Ved maskinell gjennomgang av listen med IMDB-referanser under
+ regnearkfanen 'Unique titles' i dokument 09.14, fant jeg i tillegg
+ filmen «She Wore a Yellow Ribbon» fra 1949) som nok også er
+ feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig
+ fra Internett-arkivet og markert som allemannseie der. Det virker
+ dermed å være minst fire ganger så mange filmer som kan lovlig deles
+ på Internett enn det som er lagt til grunn når en påstår at minst
+ 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere
+ undersøkelser kan avdekke flere. Poenget er uansett at metodens
+ punkt om «rimelig å forvente om at verket var vernet av copyright»
+ gjør metoden upålitelig.</p>
+
+<p>Den omtalte målemetoden velger ut tilfeldige søketermer fra
+ ordlisten Dale-Chall. Den ordlisten inneholder 3000 enkle engelske
+ som fjerdeklassinger i USA er forventet å forstå. Det fremgår ikke
+ hvorfor akkurat denne ordlisten er valgt, og det er uklart for meg
+ om den er egnet til å få et representativt utvalg av filmer. Mange
+ av ordene gir tomt søkeresultat. Ved å simulerte tilsvarende søk
+ ser jeg store avvik fra fordelingen i katalogen for enkeltmålinger.
+ Dette antyder at enkeltmålinger av 100 filmer slik målemetoden
+ beskriver er gjort, ikke er velegnet til å finne andel ulovlig
+ innhold i bittorrent-katalogene.</p>
+
+<p>En kan motvirke dette store avviket for enkeltmålinger ved å gjøre
+ mange søk og slå sammen resultatet. Jeg har testet ved å
+ gjennomføre 100 enkeltmålinger (dvs. måling av (100x100=) 10 000
+ tilfeldig valgte filmer) som gir mindre, men fortsatt betydelig
+ avvik, i forhold til telling av filmer pr år i hele katalogen.</p>
+
+<p>Målemetoden henter ut de fem øverste i søkeresultatet.
+ Søkeresultatene er sortert på antall bittorrent-klienter registrert
+ som delere i katalogene, hvilket kan gi en slagside mot hvilke
+ filmer som er populære blant de som bruker bittorrent-katalogene,
+ uten at det forteller noe om hvilket innhold som er tilgjengelig
+ eller hvilket innhold som deles med Popcorn Time-klienter. Jeg har
+ forsøkt å måle hvor stor en slik slagside eventuelt er ved å
+ sammenligne fordelingen hvis en tar de 5 nederste i søkeresultatet i
+ stedet. Avviket for disse to metodene for endel kataloger er godt
+ synlig på histogramet. Her er histogram over filmer funnet i den
+ komplette katalogen (grønn strek), og filmer funnet ved søk etter
+ ord i Dale-Chall. Grafer merket 'top' henter fra de 5 første i
+ søkeresultatet, mens de merket 'bottom' henter fra de 5 siste. En
+ kan her se at resultatene påvirkes betydelig av hvorvidt en ser på
+ de første eller de siste filmene i et søketreff.</p>
+
+<p align="center">
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-top.png"/>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-bottom.png"/>
+ <br>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-top.png"/>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-bottom.png"/>
+ <br>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-top.png"/>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-bottom.png"/>
+ <br>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-top.png"/>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-bottom.png"/>
+</p>
+
+<p>Det er verdt å bemerke at de omtalte bittorrent-katalogene ikke er
+ laget for bruk med Popcorn Time. Eksempelvis tilhører katalogen
+ YTS, som brukes av klientet som ble lastes ned fra popcorntime.sh,
+ et selvstendig fildelings-relatert nettsted YTS.AG med et separat
+ brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke
+ (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til
+ innholdet i disse katalogene.</p>
+
+<hr>
+
+<p id="dok-09-13">Metoden fra Økokrims dokument 09,13 i straffesaken
+om DNS-beslag.</p>
+
+<p><strong>1. Evaluation of (il)legality</strong></p>
+
+<p><strong>1.1. Methodology</strong>
+
+<p>Due to its technical configuration, Popcorn Time applications don't
+allow to make a full list of all titles made available. In order to
+evaluate the level of illegal operation of PCT, the following
+methodology was applied:</p>
+
+<ol>
+
+ <li>A random selection of 50 keywords, greater than 3 letters, was
+ made from the Dale-Chall list that contains 3000 simple English
+ words1. The selection was made by using a Random Number
+ Generator2.</li>
+
+ <li>For each keyword, starting with the first randomly selected
+ keyword, a search query was conducted in the movie section of the
+ respective Popcorn Time application. For each keyword, the first
+ five results were added to the title list until the number of 100
+ unique titles was reached (duplicates were removed).</li>
+
+ <li>For one fork, .CH, insufficient titles were generated via this
+ approach to reach 100 titles. This was solved by adding any
+ additional query results above five for each of the 50 keywords.
+ Since this still was not enough, another 42 random keywords were
+ selected to finally reach 100 titles.</li>
+
+ <li>It was verified whether or not there is a reasonable expectation
+ that the work is copyrighted by checking if they are available on
+ IMDb, also verifying the director, the year when the title was
+ released, the release date for a certain market, the production
+ company/ies of the title and the distribution company/ies.</li>
+
+</ol>
+
+<p><strong>1.2. Results</strong></p>
+
+<p>Between 6 and 9 June 2016, four forks of Popcorn Time were
+investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and
+popcorntime.ch. An excel sheet with the results is included in
+Appendix 1. Screenshots were secured in separate Appendixes for each
+respective fork, see Appendix 2-5.</p>
+
+<p>For each fork, out of 100, de-duplicated titles it was possible to
+retrieve data according to the parameters set out above that indicate
+that the title is commercially available. Per fork, there was 1 title
+that presumably falls within the public domain, i.e. the 1928 movie
+"The Circus" by and with Charles Chaplin.</p>
+
+<p>Based on the above it is reasonable to assume that 99% of the movie
+content of each fork is copyright protected and is made available
+illegally.</p>
+
+<p>This exercise was not repeated for TV series, but considering that
+besides production companies and distribution companies also
+broadcasters may have relevant rights, it is reasonable to assume that
+at least a similar level of infringement will be established.</p>
+
+<p>Based on the above it is reasonable to assume that 99% of all the
+content of each fork is copyright protected and are made available
+illegally.</p>
</description>
</item>
projects / homepage.git / blobdiff