<atom:link href="http://people.skolelinux.org/pere/blog/index.rss" rel="self" type="application/rss+xml" />
<item>
- <title>Introducing ical-archiver to split out old iCalendar entries</title>
- <link>http://people.skolelinux.org/pere/blog/Introducing_ical_archiver_to_split_out_old_iCalendar_entries.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Introducing_ical_archiver_to_split_out_old_iCalendar_entries.html</guid>
- <pubDate>Wed, 4 Jan 2017 12:20:00 +0100</pubDate>
- <description><p>Do you have a large <a href="https://icalendar.org/">iCalendar</a>
-file with lots of old entries, and would like to archive them to save
-space and resources? At least those of us using KOrganizer know that
-turning on and off an event set become slower and slower the more
-entries are in the set. While working on migrating our calendars to a
-<a href="http://radicale.org/">Radicale CalDAV server</a> on our
-<a href="https://freedomboxfoundation.org/">Freedombox server</a/>, my
-loved one wondered if I could find a way to split up the calendar file
-she had in KOrganizer, and I set out to write a tool. I spent a few
-days writing and polishing the system, and it is now ready for general
-consumption. The
-<a href="https://github.com/petterreinholdtsen/ical-archiver">code for
-ical-archiver</a> is publicly available from a git repository on
-github. The system is written in Python and depend on the vobject
-Python module.</p>
-
-<p>To use it, locate the iCalendar file you want to operate on and
-give it as an argument to the ical-archiver script. This will
-generate a set of new files, one file per component type per year for
-all components expiring more than two years in the past. The vevent,
-vtodo and vjournal entries are handled by the script. The remaining
-entries are stored in a 'remaining' file.</p>
-
-<p>This is what a test run can look like:
+ <title>Legal to share more than 11,000 movies listed on IMDB?</title>
+ <link>http://people.skolelinux.org/pere/blog/Legal_to_share_more_than_11_000_movies_listed_on_IMDB_.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Legal_to_share_more_than_11_000_movies_listed_on_IMDB_.html</guid>
+ <pubDate>Sun, 7 Jan 2018 23:30:00 +0100</pubDate>
+ <description><p>I've continued to track down list of movies that are legal to
+distribute on the Internet, and identified more than 11,000 title IDs
+in The Internet Movie Database so far. Most of them (57%) are feature
+films from USA published before 1923. I've also tracked down more
+than 24,000 movies I have not yet been able to map to IMDB title ID,
+so the real number could be a lot higher. According to the front web
+page for <a href="https://retrofilmvault.com/">Retro Film Vault</A>,
+there are 44,000 public domain films, so I guess there are still some
+left to identify.</p>
+
+<p>The complete data set is available from
+<a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">a
+public git repository</a>, including the scripts used to create it.
+Most of the data is collected using web scraping, for example from the
+"product catalog" of companies selling copies of public domain movies,
+but any source I find believable is used. I've so far had to throw
+out three sources because I did not trust the public domain status of
+the movies listed.</p>
+
+<p>Anyway, this is the summary of the 28 collected data sources so
+far:</p>
<p><pre>
-% ical-archiver t/2004-2016.ics
-Found 3612 vevents
-Found 6 vtodos
-Found 2 vjournals
-Writing t/2004-2016.ics-subset-vevent-2004.ics
-Writing t/2004-2016.ics-subset-vevent-2005.ics
-Writing t/2004-2016.ics-subset-vevent-2006.ics
-Writing t/2004-2016.ics-subset-vevent-2007.ics
-Writing t/2004-2016.ics-subset-vevent-2008.ics
-Writing t/2004-2016.ics-subset-vevent-2009.ics
-Writing t/2004-2016.ics-subset-vevent-2010.ics
-Writing t/2004-2016.ics-subset-vevent-2011.ics
-Writing t/2004-2016.ics-subset-vevent-2012.ics
-Writing t/2004-2016.ics-subset-vevent-2013.ics
-Writing t/2004-2016.ics-subset-vevent-2014.ics
-Writing t/2004-2016.ics-subset-vjournal-2007.ics
-Writing t/2004-2016.ics-subset-vjournal-2011.ics
-Writing t/2004-2016.ics-subset-vtodo-2012.ics
-Writing t/2004-2016.ics-remaining.ics
-%
+ 2352 entries ( 66 unique) with and 15983 without IMDB title ID in free-movies-archive-org-search.json
+ 2302 entries ( 120 unique) with and 0 without IMDB title ID in free-movies-archive-org-wikidata.json
+ 195 entries ( 63 unique) with and 200 without IMDB title ID in free-movies-cinemovies.json
+ 89 entries ( 52 unique) with and 38 without IMDB title ID in free-movies-creative-commons.json
+ 344 entries ( 28 unique) with and 655 without IMDB title ID in free-movies-fesfilm.json
+ 668 entries ( 209 unique) with and 1064 without IMDB title ID in free-movies-filmchest-com.json
+ 830 entries ( 21 unique) with and 0 without IMDB title ID in free-movies-icheckmovies-archive-mochard.json
+ 19 entries ( 19 unique) with and 0 without IMDB title ID in free-movies-imdb-c-expired-gb.json
+ 6822 entries ( 6669 unique) with and 0 without IMDB title ID in free-movies-imdb-c-expired-us.json
+ 137 entries ( 0 unique) with and 0 without IMDB title ID in free-movies-imdb-externlist.json
+ 1205 entries ( 57 unique) with and 0 without IMDB title ID in free-movies-imdb-pd.json
+ 84 entries ( 20 unique) with and 167 without IMDB title ID in free-movies-infodigi-pd.json
+ 158 entries ( 135 unique) with and 0 without IMDB title ID in free-movies-letterboxd-looney-tunes.json
+ 113 entries ( 4 unique) with and 0 without IMDB title ID in free-movies-letterboxd-pd.json
+ 182 entries ( 100 unique) with and 0 without IMDB title ID in free-movies-letterboxd-silent.json
+ 229 entries ( 87 unique) with and 1 without IMDB title ID in free-movies-manual.json
+ 44 entries ( 2 unique) with and 64 without IMDB title ID in free-movies-openflix.json
+ 291 entries ( 33 unique) with and 474 without IMDB title ID in free-movies-profilms-pd.json
+ 211 entries ( 7 unique) with and 0 without IMDB title ID in free-movies-publicdomainmovies-info.json
+ 1232 entries ( 57 unique) with and 1875 without IMDB title ID in free-movies-publicdomainmovies-net.json
+ 46 entries ( 13 unique) with and 81 without IMDB title ID in free-movies-publicdomainreview.json
+ 698 entries ( 64 unique) with and 118 without IMDB title ID in free-movies-publicdomaintorrents.json
+ 1758 entries ( 882 unique) with and 3786 without IMDB title ID in free-movies-retrofilmvault.json
+ 16 entries ( 0 unique) with and 0 without IMDB title ID in free-movies-thehillproductions.json
+ 63 entries ( 16 unique) with and 141 without IMDB title ID in free-movies-vodo.json
+11583 unique IMDB title IDs in total, 8724 only in one list, 24647 without IMDB title ID
</pre></p>
-<p>As you can see, the original file is untouched and new files are
-written with names derived from the original file. If you are happy
-with their content, the *-remaining.ics file can replace the original
-the the others can be archived or imported as historical calendar
-collections.</p>
-
-<p>The script should probably be improved a bit. The error handling
-when discovering broken entries is not good, and I am not sure yet if
-it make sense to split different entry types into separate files or
-not. The program is thus likely to change. If you find it
-interesting, please get in touch. :)</p>
-
-<p>As usual, if you use Bitcoin and want to show your support of my
-activities, please send Bitcoin donations to my address
-<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b&label=PetterReinholdtsenBlog">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
+<p> I keep finding more data sources. I found the cinemovies source
+just a few days ago, and as you can see from the summary, it extended
+my list with 63 movies. Check out the mklist-* scripts in the git
+repository if you are curious how the lists are created. Many of the
+titles are extracted using searches on IMDB, where I look for the
+title and year, and accept search results with only one movie listed
+if the year matches. This allow me to automatically use many lists of
+movies without IMDB title ID references at the cost of increasing the
+risk of wrongly identify a IMDB title ID as public domain. So far my
+random manual checks have indicated that the method is solid, but I
+really wish all lists of public domain movies would include unique
+movie identifier like the IMDB title ID. It would make the job of
+counting movies in the public domain a lot easier.</p>
</description>
</item>
<item>
- <title>Appstream just learned how to map hardware to packages too!</title>
- <link>http://people.skolelinux.org/pere/blog/Appstream_just_learned_how_to_map_hardware_to_packages_too_.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Appstream_just_learned_how_to_map_hardware_to_packages_too_.html</guid>
- <pubDate>Fri, 23 Dec 2016 10:30:00 +0100</pubDate>
- <description><p>I received a very nice Christmas present today. As my regular
-readers probably know, I have been working on the
-<a href="http://packages.qa.debian.org/isenkram">the Isenkram
-system</a> for many years. The goal of the Isenkram system is to make
-it easier for users to figure out what to install to get a given piece
-of hardware to work in Debian, and a key part of this system is a way
-to map hardware to packages. Isenkram have its own mapping database,
-and also uses data provided by each package using the AppStream
-metadata format. And today,
-<a href="https://tracker.debian.org/pkg/appstream">AppStream</a> in
-Debian learned to look up hardware the same way Isenkram is doing it,
-ie using fnmatch():</p>
-
-<p><pre>
-% appstreamcli what-provides modalias \
- usb:v1130p0202d0100dc00dsc00dp00ic03isc00ip00in00
-Identifier: pymissile [generic]
-Name: pymissile
-Summary: Control original Striker USB Missile Launcher
-Package: pymissile
-% appstreamcli what-provides modalias usb:v0694p0002d0000
-Identifier: libnxt [generic]
-Name: libnxt
-Summary: utility library for talking to the LEGO Mindstorms NXT brick
-Package: libnxt
----
-Identifier: t2n [generic]
-Name: t2n
-Summary: Simple command-line tool for Lego NXT
-Package: t2n
----
-Identifier: python-nxt [generic]
-Name: python-nxt
-Summary: Python driver/interface/wrapper for the Lego Mindstorms NXT robot
-Package: python-nxt
----
-Identifier: nbc [generic]
-Name: nbc
-Summary: C compiler for LEGO Mindstorms NXT bricks
-Package: nbc
-%
-</pre></p>
-
-<p>A similar query can be done using the combined AppStream and
-Isenkram databases using the isenkram-lookup tool:</p>
-
-<p><pre>
-% isenkram-lookup usb:v1130p0202d0100dc00dsc00dp00ic03isc00ip00in00
-pymissile
-% isenkram-lookup usb:v0694p0002d0000
-libnxt
-nbc
-python-nxt
-t2n
-%
-</pre></p>
+ <title>Kommentarer til «Evaluation of (il)legality» for Popcorn Time</title>
+ <link>http://people.skolelinux.org/pere/blog/Kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html</guid>
+ <pubDate>Wed, 20 Dec 2017 11:40:00 +0100</pubDate>
+ <description><p>I går var jeg i Follo tingrett som sakkyndig vitne og presenterte
+ mine undersøkelser rundt
+ <a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">telling
+ av filmverk i det fri</a>, relatert til
+ <a href="https://www.nuug.no/">foreningen NUUG</a>s involvering i
+ <a href="https://www.nuug.no/news/tags/dns-domenebeslag/">saken om
+ Økokrims beslag og senere inndragning av DNS-domenet
+ popcorn-time.no</a>. Jeg snakket om flere ting, men mest om min
+ vurdering av hvordan filmbransjen har målt hvor ulovlig Popcorn Time
+ er. Filmbransjens måling er så vidt jeg kan se videreformidlet uten
+ endringer av norsk politi, og domstolene har lagt målingen til grunn
+ når de har vurdert Popcorn Time både i Norge og i utlandet (tallet
+ 99% er referert også i utenlandske domsavgjørelser).</p>
+
+<p>I forkant av mitt vitnemål skrev jeg et notat, mest til meg selv,
+ med de punktene jeg ønsket å få frem. Her er en kopi av notatet jeg
+ skrev og ga til aktoratet. Merkelig nok ville ikke dommerene ha
+ notatet, så hvis jeg forsto rettsprosessen riktig ble kun
+ histogram-grafen lagt inn i dokumentasjonen i saken. Dommerne var
+ visst bare interessert i å forholde seg til det jeg sa i retten,
+ ikke det jeg hadde skrevet i forkant. Uansett så antar jeg at flere
+ enn meg kan ha glede av teksten, og publiserer den derfor her.
+ Legger ved avskrift av dokument 09,13, som er det sentrale
+ dokumentet jeg kommenterer.</p>
+
+<p><strong>Kommentarer til «Evaluation of (il)legality» for Popcorn
+ Time</strong></p>
+
+<p><strong>Oppsummering</strong></p>
+
+<p>Målemetoden som Økokrim har lagt til grunn når de påstår at 99% av
+ filmene tilgjengelig fra Popcorn Time deles ulovlig har
+ svakheter.</p>
+
+<p>De eller den som har vurdert hvorvidt filmer kan lovlig deles har
+ ikke lyktes med å identifisere filmer som kan deles lovlig og har
+ tilsynelatende antatt at kun veldig gamle filmer kan deles lovlig.
+ Økokrim legger til grunn at det bare finnes èn film, Charlie
+ Chaplin-filmen «The Circus» fra 1928, som kan deles fritt blant de
+ som ble observert tilgjengelig via ulike Popcorn Time-varianter.
+ Jeg finner tre flere blant de observerte filmene: «The Brain That
+ Wouldn't Die» fra 1962, «God’s Little Acre» fra 1958 og «She Wore a
+ Yellow Ribbon» fra 1949. Det er godt mulig det finnes flere. Det
+ finnes dermed minst fire ganger så mange filmer som lovlig kan deles
+ på Internett i datasettet Økokrim har lagt til grunn når det påstås
+ at mindre enn 1 % kan deles lovlig.</p>
+
+<p>Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra
+ ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte
+ filmkatalogene som helhet, hvilket påvirker fordelingen mellom
+ filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I
+ tillegg gir valg av øvre del (de fem første) av søkeresultatene et
+ avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk
+ i det fri i søkeresultatet.</p>
+
+<p>Det som måles er ikke (u)lovligheten knyttet til bruken av Popcorn
+ Time, men (u)lovligheten til innholdet i bittorrent-filmkataloger
+ som vedlikeholdes uavhengig av Popcorn Time.</p>
+
+<p>Omtalte dokumenter: 09,12, <a href="#dok-09-13">09,13</a>, 09,14,
+09,18, 09,19, 09,20.</p>
+
+<p><strong>Utfyllende kommentarer</strong></p>
+
+<p>Økokrim har forklart domstolene at minst 99% av alt som er
+ tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på
+ Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette
+ tallet, og dette notatet er en samling kommentarer rundt målingen
+ Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på
+ saken er at jeg er interessert i å identifisere og telle hvor mange
+ kunstneriske verk som er falt i det fri eller av andre grunner kan
+ lovlig deles på Internett, og dermed var interessert i hvordan en
+ hadde funnet den ene prosenten som kanskje deles lovlig.</p>
+
+<p>Andelen på 99% kommer fra et ukreditert og udatert notatet som tar
+ mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike
+ Popcorn Time-varianter er.</p>
+
+<p>Raskt oppsummert, så forteller metodedokumentet at på grunn av at
+ det ikke er mulig å få tak i komplett liste over alle filmtitler
+ tilgjengelig via Popcorn Time, så lages noe som skal være et
+ representativt utvalg ved å velge 50 søkeord større enn tre tegn fra
+ ordlisten kjent som Dale-Chall. For hvert søkeord gjøres et søk og
+ de første fem filmene i søkeresultatet samles inn inntil 100 unike
+ filmtitler er funnet. Hvis 50 søkeord ikke var tilstrekkelig for å
+ nå 100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt
+ til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut
+ og søkt på flere tilfeldig valgte søkeord inntil 100 unike
+ filmtitler var identifisert.</p>
+
+<p>Deretter ble for hver av filmtitlene «vurdert hvorvidt det var
+ rimelig å forvente om at verket var vernet av copyright, ved å se på
+ om filmen var tilgjengelig i IMDB, samt se på regissør,
+ utgivelsesår, når det var utgitt for bestemte markedsområder samt
+ hvilke produksjons- og distribusjonsselskap som var registrert» (min
+ oversettelse).</p>
+
+<p>Metoden er gjengitt både i de ukrediterte dokumentene 09,13 og
+ 09,19, samt beskrevet fra side 47 i dokument 09,20, lysark datert
+ 2017-02-01. Sistnevnte er kreditert Geerart Bourlon fra Motion
+ Picture Association EMEA. Metoden virker å ha flere svakheter som
+ gir resultatene en slagside. Den starter med å slå fast at det ikke
+ er mulig å hente ut en komplett liste over alle filmtitler som er
+ tilgjengelig, og at dette er bakgrunnen for metodevalget. Denne
+ forutsetningen er ikke i tråd med det som står i dokument 09,12, som
+ ikke heller har oppgitt forfatter og dato. Dokument 09,12 forteller
+ hvordan hele kataloginnholdet ble lasted ned og talt opp. Dokument
+ 09,12 er muligens samme rapport som ble referert til i dom fra Oslo
+ Tingrett 2017-11-03
+ (<a href="https://www.domstol.no/no/Enkelt-domstol/Oslo--tingrett/Nyheter/ma-sperre-for-popcorn-time/">sak
+ 17-093347TVI-OTIR/05</a>) som rapport av 1. juni 2017 av Alexander
+ Kind Petersen, men jeg har ikke sammenlignet dokumentene ord for ord
+ for å kontrollere dette.</p>
+
+<p>IMDB er en forkortelse for The Internet Movie Database, en
+ anerkjent kommersiell nettjeneste som brukes aktivt av både
+ filmbransjen og andre til å holde rede på hvilke spillefilmer (og
+ endel andre filmer) som finnes eller er under produksjon, og
+ informasjon om disse filmene. Datakvaliteten er høy, med få feil og
+ få filmer som mangler. IMDB viser ikke informasjon om
+ opphavsrettslig status for filmene på infosiden for hver film. Som
+ del av IMDB-tjenesten finnes det lister med filmer laget av
+ frivillige som lister opp det som antas å være verk i det fri.</p>
+
+<p>Det finnes flere kilder som kan brukes til å finne filmer som er
+ allemannseie (public domain) eller har bruksvilkår som gjør det
+ lovlig for alleå dele dem på Internett. Jeg har de siste ukene
+ forsøkt å samle og krysskoble disse listene for å forsøke å telle
+ antall filmer i det fri. Ved å ta utgangspunkt i slike lister (og
+ publiserte filmer for Internett-arkivets del), har jeg så langt
+ klart å identifisere over 11 000 filmer, hovedsaklig spillefilmer.
+
+<p>De aller fleste oppføringene er hentet fra IMDB selv, basert på det
+ faktum at alle filmer laget i USA før 1923 er falt i det fri.
+ Tilsvarende tidsgrense for Storbritannia er 1912-07-01, men dette
+ utgjør bare veldig liten del av spillefilmene i IMDB (19 totalt).
+ En annen stor andel kommer fra Internett-arkivet, der jeg har
+ identifisert filmer med referanse til IMDB. Internett-arkivet, som
+ holder til i USA, har som
+ <a href="https://archive.org/about/terms.php">policy å kun publisere
+ filmer som det er lovlig å distribuere</a>. Jeg har under arbeidet
+ kommet over flere filmer som har blitt fjernet fra
+ Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene
+ som kontrollerer Internett-arkivet har et aktivt forhold til å kun
+ ha lovlig innhold der, selv om det i stor grad er drevet av
+ frivillige. En annen stor liste med filmer kommer fra det
+ kommersielle selskapet Retro Film Vault, som selger allemannseide
+ filmer til TV- og filmbransjen, Jeg har også benyttet meg av lister
+ over filmer som hevdes å være allemannseie, det være seg Public
+ Domain Review, Public Domain Torrents og Public Domain Movies (.net
+ og .info), samt lister over filmer med Creative Commons-lisensiering
+ fra Wikipedia, VODO og The Hill Productions. Jeg har gjort endel
+ stikkontroll ved å vurdere filmer som kun omtales på en liste. Der
+ jeg har funnet feil som har gjort meg i tvil om vurderingen til de
+ som har laget listen har jeg forkastet listen fullstendig (gjelder
+ en liste fra IMDB).</p>
+
+<p>Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på
+ Internett (fra blant annet Internett-arkivet, Public Domain
+ Torrents, Public Domain Reivew og Public Domain Movies), og knytte
+ dem til oppføringer i IMDB, så har jeg så langt klart å identifisere
+ over 11 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro
+ kan lovlig distribueres av alle på Internett. Som ekstra kilder er
+ det brukt lister over filmer som antas/påstås å være allemannseie.
+ Disse kildene kommer fra miljøer som jobber for å gjøre tilgjengelig
+ for almennheten alle verk som er falt i det fri eller har
+ bruksvilkår som tillater deling.
+
+<p>I tillegg til de over 11 000 filmene der tittel-ID i IMDB er
+ identifisert, har jeg funnet mer enn 20 000 oppføringer der jeg ennå
+ ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Noen av
+ disse er nok duplikater av de IMDB-oppføringene som er identifisert
+ så langt, men neppe alle. Retro Film Vault hevder å ha 44 000
+ filmverk i det fri i sin katalog, så det er mulig at det reelle
+ tallet er betydelig høyere enn de jeg har klart å identifisere så
+ langt. Konklusjonen er at tallet 11 000 er nedre grense for hvor
+ mange filmer i IMDB som kan lovlig deles på Internett. I følge <a
+ href="http://www.imdb.com/stats">statistikk fra IMDB</a> er det 4.6
+ millioner titler registrert, hvorav 3 millioner er TV-serieepisoder.
+ Jeg har ikke funnet ut hvordan de fordeler seg per år.</p>
+
+<p>Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å lovlig
+ kunne deles på Internett, får en følgende histogram:</p>
+
+<p align="center"><img width="80%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year.png"></p>
+
+<p>En kan i histogrammet se at effekten av manglende registrering
+ eller fornying av registrering er at mange filmer gitt ut i USA før
+ 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere
+ filmer gitt ut de siste årene med bruksvilkår som tillater deling,
+ muligens på grunn av fremveksten av
+ <a href="https://creativecommons.org/">Creative
+ Commons</a>-bevegelsen..</p>
+
+<p>For maskinell analyse av katalogene har jeg laget et lite program
+ som kobler seg til bittorrent-katalogene som brukes av ulike Popcorn
+ Time-varianter og laster ned komplett liste over filmer i
+ katalogene, noe som bekrefter at det er mulig å hente ned komplett
+ liste med alle filmtitler som er tilgjengelig. Jeg har sett på fire
+ bittorrent-kataloger. Den ene brukes av klienten tilgjengelig fra
+ www.popcorntime.sh og er navngitt 'sh' i dette dokumentet. Den
+ andre brukes i følge dokument 09,12 av klienten tilgjengelig fra
+ popcorntime.ag og popcorntime.sh og er navngitt 'yts' i dette
+ dokumentet. Den tredje brukes av websidene tilgjengelig fra
+ popcorntime-online.tv og er navngitt 'apidomain' i dette dokumentet.
+ Den fjerde brukes av klienten tilgjenglig fra popcorn-time.to i
+ følge dokument 09,12, og er navngitt 'ukrfnlge' i dette
+ dokumentet.</p>
+
+<p>Metoden Økokrim legger til grunn skriver i sitt punkt fire at
+ skjønn er en egnet metode for å finne ut om en film kan lovlig deles
+ på Internett eller ikke, og sier at det ble «vurdert hvorvidt det
+ var rimelig å forvente om at verket var vernet av copyright». For
+ det første er det ikke nok å slå fast om en film er «vernet av
+ copyright» for å vite om det er lovlig å dele den på Internett eller
+ ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår
+ som tillater deling på Internett. Eksempler på dette er Creative
+ Commons-lisensierte filmer som Citizenfour fra 2014 og Sintel fra
+ 2010. I tillegg til slike finnes det flere filmer som nå er
+ allemannseie (public domain) på grunn av manglende registrering
+ eller fornying av registrering selv om både regisør,
+ produksjonsselskap og distributør ønsker seg vern. Eksempler på
+ dette er Plan 9 from Outer Space fra 1959 og Night of the Living
+ Dead fra 1968. Alle filmer fra USA som var allemannseie før
+ 1989-03-01 forble i det fri da Bern-konvensjonen, som tok effekt i
+ USA på det tidspunktet, ikke ble gitt tilbakevirkende kraft. Hvis
+ det er noe
+ <a href="http://www.latimes.com/local/lanow/la-me-ln-happy-birthday-song-lawsuit-decision-20150922-story.html">historien
+ om sangen «Happy birthday»</a> forteller oss, der betaling for bruk
+ har vært krevd inn i flere tiår selv om sangen ikke egentlig var
+ vernet av åndsverksloven, så er det at hvert enkelt verk må vurderes
+ nøye og i detalj før en kan slå fast om verket er allemannseie eller
+ ikke, det holder ikke å tro på selverklærte rettighetshavere. Flere
+ eksempel på verk i det fri som feilklassifiseres som vernet er fra
+ dokument 09,18, som lister opp søkeresultater for klienten omtalt
+ som popcorntime.sh og i følge notatet kun inneholder en film (The
+ Circus fra 1928) som under tvil kan antas å være allemannseie.</p>
+
+<p>Ved rask gjennomlesning av dokument 09,18, som inneholder
+ skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt
+ både filmen «The Brain That Wouldn't Die» fra 1962 som er
+ <a href="https://archive.org/details/brain_that_wouldnt_die">tilgjengelig
+ fra Internett-arkivet</a> og som
+ <a href="https://en.wikipedia.org/wiki/List_of_films_in_the_public_domain_in_the_United_States">i
+ følge Wikipedia er allemannseie i USA</a> da den ble gitt ut i
+ 1962 uten 'copyright'-merking, og filmen «God’s Little Acre» fra
+ 1958 <a href="https://en.wikipedia.org/wiki/God%27s_Little_Acre_%28film%29">som
+ er lagt ut på Wikipedia</a>, der det fortelles at
+ sort/hvit-utgaven er allemannseie. Det fremgår ikke fra dokument
+ 09,18 om filmen omtalt der er sort/hvit-utgaven. Av
+ kapasitetsårsaker og på grunn av at filmoversikten i dokument 09,18
+ ikke er maskinlesbart har jeg ikke forsøkt å sjekke alle filmene som
+ listes opp der om mot liste med filmer som er antatt lovlig kan
+ distribueres på Internet.</p>
+
+<p>Ved maskinell gjennomgang av listen med IMDB-referanser under
+ regnearkfanen 'Unique titles' i dokument 09.14, fant jeg i tillegg
+ filmen «She Wore a Yellow Ribbon» fra 1949) som nok også er
+ feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig
+ fra Internett-arkivet og markert som allemannseie der. Det virker
+ dermed å være minst fire ganger så mange filmer som kan lovlig deles
+ på Internett enn det som er lagt til grunn når en påstår at minst
+ 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere
+ undersøkelser kan avdekke flere. Poenget er uansett at metodens
+ punkt om «rimelig å forvente om at verket var vernet av copyright»
+ gjør metoden upålitelig.</p>
+
+<p>Den omtalte målemetoden velger ut tilfeldige søketermer fra
+ ordlisten Dale-Chall. Den ordlisten inneholder 3000 enkle engelske
+ som fjerdeklassinger i USA er forventet å forstå. Det fremgår ikke
+ hvorfor akkurat denne ordlisten er valgt, og det er uklart for meg
+ om den er egnet til å få et representativt utvalg av filmer. Mange
+ av ordene gir tomt søkeresultat. Ved å simulerte tilsvarende søk
+ ser jeg store avvik fra fordelingen i katalogen for enkeltmålinger.
+ Dette antyder at enkeltmålinger av 100 filmer slik målemetoden
+ beskriver er gjort, ikke er velegnet til å finne andel ulovlig
+ innhold i bittorrent-katalogene.</p>
+
+<p>En kan motvirke dette store avviket for enkeltmålinger ved å gjøre
+ mange søk og slå sammen resultatet. Jeg har testet ved å
+ gjennomføre 100 enkeltmålinger (dvs. måling av (100x100=) 10 000
+ tilfeldig valgte filmer) som gir mindre, men fortsatt betydelig
+ avvik, i forhold til telling av filmer pr år i hele katalogen.</p>
+
+<p>Målemetoden henter ut de fem øverste i søkeresultatet.
+ Søkeresultatene er sortert på antall bittorrent-klienter registrert
+ som delere i katalogene, hvilket kan gi en slagside mot hvilke
+ filmer som er populære blant de som bruker bittorrent-katalogene,
+ uten at det forteller noe om hvilket innhold som er tilgjengelig
+ eller hvilket innhold som deles med Popcorn Time-klienter. Jeg har
+ forsøkt å måle hvor stor en slik slagside eventuelt er ved å
+ sammenligne fordelingen hvis en tar de 5 nederste i søkeresultatet i
+ stedet. Avviket for disse to metodene for endel kataloger er godt
+ synlig på histogramet. Her er histogram over filmer funnet i den
+ komplette katalogen (grønn strek), og filmer funnet ved søk etter
+ ord i Dale-Chall. Grafer merket 'top' henter fra de 5 første i
+ søkeresultatet, mens de merket 'bottom' henter fra de 5 siste. En
+ kan her se at resultatene påvirkes betydelig av hvorvidt en ser på
+ de første eller de siste filmene i et søketreff.</p>
+
+<p align="center">
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-top.png"/>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-bottom.png"/>
+ <br>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-top.png"/>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-bottom.png"/>
+ <br>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-top.png"/>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-bottom.png"/>
+ <br>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-top.png"/>
+ <img width="40%" src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-bottom.png"/>
+</p>
+
+<p>Det er verdt å bemerke at de omtalte bittorrent-katalogene ikke er
+ laget for bruk med Popcorn Time. Eksempelvis tilhører katalogen
+ YTS, som brukes av klientet som ble lastes ned fra popcorntime.sh,
+ et selvstendig fildelings-relatert nettsted YTS.AG med et separat
+ brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke
+ (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til
+ innholdet i disse katalogene.</p>
-<p>You can find modalias values relevant for your machine using
-<tt>cat $(find /sys/devices/ -name modalias)</tt>.
-
-<p>If you want to make this system a success and help Debian users
-make the most of the hardware they have, please
-help<a href="https://wiki.debian.org/AppStream/Guidelines">add
-AppStream metadata for your package following the guidelines</a>
-documented in the wiki. So far only 11 packages provide such
-information, among the several hundred hardware specific packages in
-Debian. The Isenkram database on the other hand contain 101 packages,
-mostly related to USB dongles. Most of the packages with hardware
-mapping in AppStream are LEGO Mindstorms related, because I have, as
-part of my involvement in
-<a href="https://wiki.debian.org/LegoDesigners">the Debian LEGO
-team</a> given priority to making sure LEGO users get proposed the
-complete set of packages in Debian for that particular hardware. The
-team also got a nice Christmas present today. The
-<a href="https://tracker.debian.org/pkg/nxt-firmware">nxt-firmware
-package</a> made it into Debian. With this package in place, it is
-now possible to use the LEGO Mindstorms NXT unit with only free
-software, as the nxt-firmware package contain the source and firmware
-binaries for the NXT brick.</p>
+<hr>
-<p>As usual, if you use Bitcoin and want to show your support of my
-activities, please send Bitcoin donations to my address
-<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b&label=PetterReinholdtsenBlog">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
+<p id="dok-09-13">Metoden fra Økokrims dokument 09,13 i straffesaken
+om DNS-beslag.</p>
+
+<p><strong>1. Evaluation of (il)legality</strong></p>
+
+<p><strong>1.1. Methodology</strong>
+
+<p>Due to its technical configuration, Popcorn Time applications don't
+allow to make a full list of all titles made available. In order to
+evaluate the level of illegal operation of PCT, the following
+methodology was applied:</p>
+
+<ol>
+
+ <li>A random selection of 50 keywords, greater than 3 letters, was
+ made from the Dale-Chall list that contains 3000 simple English
+ words1. The selection was made by using a Random Number
+ Generator2.</li>
+
+ <li>For each keyword, starting with the first randomly selected
+ keyword, a search query was conducted in the movie section of the
+ respective Popcorn Time application. For each keyword, the first
+ five results were added to the title list until the number of 100
+ unique titles was reached (duplicates were removed).</li>
+
+ <li>For one fork, .CH, insufficient titles were generated via this
+ approach to reach 100 titles. This was solved by adding any
+ additional query results above five for each of the 50 keywords.
+ Since this still was not enough, another 42 random keywords were
+ selected to finally reach 100 titles.</li>
+
+ <li>It was verified whether or not there is a reasonable expectation
+ that the work is copyrighted by checking if they are available on
+ IMDb, also verifying the director, the year when the title was
+ released, the release date for a certain market, the production
+ company/ies of the title and the distribution company/ies.</li>
+
+</ol>
+
+<p><strong>1.2. Results</strong></p>
+
+<p>Between 6 and 9 June 2016, four forks of Popcorn Time were
+investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and
+popcorntime.ch. An excel sheet with the results is included in
+Appendix 1. Screenshots were secured in separate Appendixes for each
+respective fork, see Appendix 2-5.</p>
+
+<p>For each fork, out of 100, de-duplicated titles it was possible to
+retrieve data according to the parameters set out above that indicate
+that the title is commercially available. Per fork, there was 1 title
+that presumably falls within the public domain, i.e. the 1928 movie
+"The Circus" by and with Charles Chaplin.</p>
+
+<p>Based on the above it is reasonable to assume that 99% of the movie
+content of each fork is copyright protected and is made available
+illegally.</p>
+
+<p>This exercise was not repeated for TV series, but considering that
+besides production companies and distribution companies also
+broadcasters may have relevant rights, it is reasonable to assume that
+at least a similar level of infringement will be established.</p>
+
+<p>Based on the above it is reasonable to assume that 99% of all the
+content of each fork is copyright protected and are made available
+illegally.</p>
</description>
</item>
<item>
- <title>Isenkram updated with a lot more hardware-package mappings</title>
- <link>http://people.skolelinux.org/pere/blog/Isenkram_updated_with_a_lot_more_hardware_package_mappings.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Isenkram_updated_with_a_lot_more_hardware_package_mappings.html</guid>
- <pubDate>Tue, 20 Dec 2016 11:55:00 +0100</pubDate>
- <description><p><a href="http://packages.qa.debian.org/isenkram">The Isenkram
-system</a> I wrote two years ago to make it easier in Debian to find
-and install packages to get your hardware dongles to work, is still
-going strong. It is a system to look up the hardware present on or
-connected to the current system, and map the hardware to Debian
-packages. It can either be done using the tools in isenkram-cli or
-using the user space daemon in the isenkram package. The latter will
-notify you, when inserting new hardware, about what packages to
-install to get the dongle working. It will even provide a button to
-click on to ask packagekit to install the packages.</p>
-
-<p>Here is an command line example from my Thinkpad laptop:</p>
-
-<p><pre>
-% isenkram-lookup
-bluez
-cheese
-ethtool
-fprintd
-fprintd-demo
-gkrellm-thinkbat
-hdapsd
-libpam-fprintd
-pidgin-blinklight
-thinkfan
-tlp
-tp-smapi-dkms
-tp-smapi-source
-tpb
-%
-</pre></p>
-
-<p>It can also list the firware package providing firmware requested
-by the load kernel modules, which in my case is an empty list because
-I have all the firmware my machine need:
-
-<p><pre>
-% /usr/sbin/isenkram-autoinstall-firmware -l
-info: did not find any firmware files requested by loaded kernel modules. exiting
-%
-</pre></p>
-
-<p>The last few days I had a look at several of the around 250
-packages in Debian with udev rules. These seem like good candidates
-to install when a given hardware dongle is inserted, and I found
-several that should be proposed by isenkram. I have not had time to
-check all of them, but am happy to report that now there are 97
-packages packages mapped to hardware by Isenkram. 11 of these
-packages provide hardware mapping using AppStream, while the rest are
-listed in the modaliases file provided in isenkram.</p>
-
-<p>These are the packages with hardware mappings at the moment. The
-<strong>marked packages</strong> are also announcing their hardware
-support using AppStream, for everyone to use:</p>
-
-<p>air-quality-sensor, alsa-firmware-loaders, argyll,
-<strong>array-info</strong>, avarice, avrdude, b43-fwcutter,
-bit-babbler, bluez, bluez-firmware, <strong>brltty</strong>,
-<strong>broadcom-sta-dkms</strong>, calibre, cgminer, cheese, colord,
-<strong>colorhug-client</strong>, dahdi-firmware-nonfree, dahdi-linux,
-dfu-util, dolphin-emu, ekeyd, ethtool, firmware-ipw2x00, fprintd,
-fprintd-demo, <strong>galileo</strong>, gkrellm-thinkbat, gphoto2,
-gpsbabel, gpsbabel-gui, gpsman, gpstrans, gqrx-sdr, gr-fcdproplus,
-gr-osmosdr, gtkpod, hackrf, hdapsd, hdmi2usb-udev, hpijs-ppds, hplip,
-ipw3945-source, ipw3945d, kde-config-tablet, kinect-audio-setup,
-<strong>libnxt</strong>, libpam-fprintd, <strong>lomoco</strong>,
-madwimax, minidisc-utils, mkgmap, msi-keyboard, mtkbabel,
-<strong>nbc</strong>, <strong>nqc</strong>, nut-hal-drivers, ola,
-open-vm-toolbox, open-vm-tools, openambit, pcgminer, pcmciautils,
-pcscd, pidgin-blinklight, printer-driver-splix,
-<strong>pymissile</strong>, python-nxt, qlandkartegt,
-qlandkartegt-garmin, rosegarden, rt2x00-source, sispmctl,
-soapysdr-module-hackrf, solaar, squeak-plugins-scratch, sunxi-tools,
-<strong>t2n</strong>, thinkfan, thinkfinger-tools, tlp, tp-smapi-dkms,
-tp-smapi-source, tpb, tucnak, uhd-host, usbmuxd, viking,
-virtualbox-ose-guest-x11, w1retap, xawtv, xserver-xorg-input-vmmouse,
-xserver-xorg-input-wacom, xserver-xorg-video-qxl,
-xserver-xorg-video-vmware, yubikey-personalization and
-zd1211-firmware</p>
-
-<p>If you know of other packages, please let me know with a wishlist
-bug report against the isenkram-cli package, and ask the package
-maintainer to
-<a href="https://wiki.debian.org/AppStream/Guidelines">add AppStream
-metadata according to the guidelines</a> to provide the information
-for everyone. In time, I hope to get rid of the isenkram specific
-hardware mapping and depend exclusively on AppStream.</p>
-
-<p>Note, the AppStream metadata for broadcom-sta-dkms is matching too
-much hardware, and suggest that the package with with any ethernet
-card. See <a href="http://bugs.debian.org/838735">bug #838735</a> for
-the details. I hope the maintainer find time to address it soon. In
-the mean time I provide an override in isenkram.</p>
+ <title>Cura, the nice 3D print slicer, is now in Debian Unstable</title>
+ <link>http://people.skolelinux.org/pere/blog/Cura__the_nice_3D_print_slicer__is_now_in_Debian_Unstable.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Cura__the_nice_3D_print_slicer__is_now_in_Debian_Unstable.html</guid>
+ <pubDate>Sun, 17 Dec 2017 07:00:00 +0100</pubDate>
+ <description><p>After several months of working and waiting, I am happy to report
+that the nice and user friendly 3D printer slicer software Cura just
+entered Debian Unstable. It consist of five packages,
+<a href="https://tracker.debian.org/pkg/cura">cura</a>,
+<a href="https://tracker.debian.org/pkg/cura-engine">cura-engine</a>,
+<a href="https://tracker.debian.org/pkg/libarcus">libarcus</a>,
+<a href="https://tracker.debian.org/pkg/fdm-materials">fdm-materials</a>,
+<a href="https://tracker.debian.org/pkg/libsavitar">libsavitar</a> and
+<a href="https://tracker.debian.org/pkg/uranium">uranium</a>. The last
+two, uranium and cura, entered Unstable yesterday. This should make
+it easier for Debian users to print on at least the Ultimaker class of
+3D printers. My nearest 3D printer is an Ultimaker 2+, so it will
+make life easier for at least me. :)</p>
+
+<p>The work to make this happen was done by Gregor Riepl, and I was
+happy to assist him in sponsoring the packages. With the introduction
+of Cura, Debian is up to three 3D printer slicers at your service,
+Cura, Slic3r and Slic3r Prusa. If you own or have access to a 3D
+printer, give it a go. :)</p>
+
+<p>The 3D printer software is maintained by the 3D printer Debian
+team, flocking together on the
+<a href="http://lists.alioth.debian.org/cgi-bin/mailman/listinfo/3dprinter-general">3dprinter-general</a>
+mailing list and the
+<a href="irc://irc.debian.org/#debian-3dprinting">#debian-3dprinting</a>
+IRC channel.</p>
+
+<p>The next step for Cura in Debian is to update the cura package to
+version 3.0.3 and then update the entire set of packages to version
+3.1.0 which showed up the last few days.</p>
</description>
</item>
<item>
- <title>Oolite, a life in space as vagabond and mercenary - nice free software</title>
- <link>http://people.skolelinux.org/pere/blog/Oolite__a_life_in_space_as_vagabond_and_mercenary___nice_free_software.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Oolite__a_life_in_space_as_vagabond_and_mercenary___nice_free_software.html</guid>
- <pubDate>Sun, 11 Dec 2016 11:40:00 +0100</pubDate>
- <description><p align="center"><img width="70%" src="http://people.skolelinux.org/pere/blog/images/2016-12-11-nice-oolite.png"/></p>
-
-<p>In my early years, I played
-<a href="http://wiki.alioth.net/index.php/Classic_Elite">the epic game
-Elite</a> on my PC. I spent many months trading and fighting in
-space, and reached the 'elite' fighting status before I moved on. The
-original Elite game was available on Commodore 64 and the IBM PC
-edition I played had a 64 KB executable. I am still impressed today
-that the authors managed to squeeze both a 3D engine and details about
-more than 2000 planet systems across 7 galaxies into a binary so
-small.</p>
-
-<p>I have known about <a href="http://www.oolite.org/">the free
-software game Oolite inspired by Elite</a> for a while, but did not
-really have time to test it properly until a few days ago. It was
-great to discover that my old knowledge about trading routes were
-still valid. But my fighting and flying abilities were gone, so I had
-to retrain to be able to dock on a space station. And I am still not
-able to make much resistance when I am attacked by pirates, so I
-bougth and mounted the most powerful laser in the rear to be able to
-put up at least some resistance while fleeing for my life. :)</p>
-
-<p>When playing Elite in the late eighties, I had to discover
-everything on my own, and I had long lists of prices seen on different
-planets to be able to decide where to trade what. This time I had the
-advantages of the
-<a href="http://wiki.alioth.net/index.php/Main_Page">Elite wiki</a>,
-where information about each planet is easily available with common
-price ranges and suggested trading routes. This improved my ability
-to earn money and I have been able to earn enough to buy a lot of
-useful equipent in a few days. I believe I originally played for
-months before I could get a docking computer, while now I could get it
-after less then a week.</p>
-
-<p>If you like science fiction and dreamed of a life as a vagabond in
-space, you should try out Oolite. It is available for Linux, MacOSX
-and Windows, and is included in Debian and derivatives since 2011.</p>
+ <title>Idea for finding all public domain movies in the USA</title>
+ <link>http://people.skolelinux.org/pere/blog/Idea_for_finding_all_public_domain_movies_in_the_USA.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Idea_for_finding_all_public_domain_movies_in_the_USA.html</guid>
+ <pubDate>Wed, 13 Dec 2017 10:15:00 +0100</pubDate>
+ <description><p>While looking at
+<a href="http://onlinebooks.library.upenn.edu/cce/">the scanned copies
+for the copyright renewal entries for movies published in the USA</a>,
+an idea occurred to me. The number of renewals are so few per year, it
+should be fairly quick to transcribe them all and add references to
+the corresponding IMDB title ID. This would give the (presumably)
+complete list of movies published 28 years earlier that did _not_
+enter the public domain for the transcribed year. By fetching the
+list of USA movies published 28 years earlier and subtract the movies
+with renewals, we should be left with movies registered in IMDB that
+are now in the public domain. For the year 1955 (which is the one I
+have looked at the most), the total number of pages to transcribe is
+21. For the 28 years from 1950 to 1978, it should be in the range
+500-600 pages. It is just a few days of work, and spread among a
+small group of people it should be doable in a few weeks of spare
+time.</p>
+
+<p>A typical copyright renewal entry look like this (the first one
+listed for 1955):</p>
+
+<p><blockquote>
+ ADAM AND EVIL, a photoplay in seven reels by Metro-Goldwyn-Mayer
+ Distribution Corp. (c) 17Aug27; L24293. Loew's Incorporated (PWH);
+ 10Jun55; R151558.
+</blockquote></p>
+
+<p>The movie title as well as registration and renewal dates are easy
+enough to locate by a program (split on first comma and look for
+DDmmmYY). The rest of the text is not required to find the movie in
+IMDB, but is useful to confirm the correct movie is found. I am not
+quite sure what the L and R numbers mean, but suspect they are
+reference numbers into the archive of the US Copyright Office.</p>
+
+<p>Tracking down the equivalent IMDB title ID is probably going to be
+a manual task, but given the year it is fairly easy to search for the
+movie title using for example
+<a href="http://www.imdb.com/find?q=adam+and+evil+1927&s=all">http://www.imdb.com/find?q=adam+and+evil+1927&s=all</a>.
+Using this search, I find that the equivalent IMDB title ID for the
+first renewal entry from 1955 is
+<a href="http://www.imdb.com/title/tt0017588/">http://www.imdb.com/title/tt0017588/</a>.</p>
+
+<p>I suspect the best way to do this would be to make a specialised
+web service to make it easy for contributors to transcribe and track
+down IMDB title IDs. In the web service, once a entry is transcribed,
+the title and year could be extracted from the text, a search in IMDB
+conducted for the user to pick the equivalent IMDB title ID right
+away. By spreading out the work among volunteers, it would also be
+possible to make at least two persons transcribe the same entries to
+be able to discover any typos introduced. But I will need help to
+make this happen, as I lack the spare time to do all of this on my
+own. If you would like to help, please get in touch. Perhaps you can
+draft a web service for crowd sourcing the task?</p>
+
+<p>Note, Project Gutenberg already have some
+<a href="http://www.gutenberg.org/ebooks/search/?query=copyright+office+renewals">transcribed
+copies of the US Copyright Office renewal protocols</a>, but I have
+not been able to find any film renewals there, so I suspect they only
+have copies of renewal for written works. I have not been able to find
+any transcribed versions of movie renewals so far. Perhaps they exist
+somewhere?</p>
+
+<p>I would love to figure out methods for finding all the public
+domain works in other countries too, but it is a lot harder. At least
+for Norway and Great Britain, such work involve tracking down the
+people involved in making the movie and figuring out when they died.
+It is hard enough to figure out who was part of making a movie, but I
+do not know how to automate such procedure without a registry of every
+person involved in making movies and their death year.</p>
<p>As usual, if you use Bitcoin and want to show your support of my
activities, please send Bitcoin donations to my address
-<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b&label=PetterReinholdtsenBlog">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Er lover brutt når personvernpolicy ikke stemmer med praksis?</title>
- <link>http://people.skolelinux.org/pere/blog/Er_lover_brutt_n_r_personvernpolicy_ikke_stemmer_med_praksis_.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Er_lover_brutt_n_r_personvernpolicy_ikke_stemmer_med_praksis_.html</guid>
- <pubDate>Fri, 9 Dec 2016 14:20:00 +0100</pubDate>
- <description><p>Når jeg bruker <a href="https://www.ghostery.com/">Ghostery</a>,
-<a href="https://www.ublock.org/">uBlock</a>,
-<a href="https://github.com/gorhill/uMatrix">uMatrix</a>,
-<a href="https://github.com/andryou/scriptsafe">ScriptSafe</a> og andre
-nettleserverktøy (de passer på hverandre) for å holde styr på hvordan
-nettsteder sprer informasjon om hvilke nettsider jeg leser blir det
-veldig synlig hvilke nettsteder som er satt opp til å utveksle
-informasjon med utlandet og tredjeparter. For en stund siden la jeg
-merke til at det virker å være avvik mellom personvernpolicy og
-praksis endel steder, og tok tak i et par konkrete eksempler og sendte
-spørsmål til Datatilsynets kontaktpunkt for veiledning:</p>
-
-<blockquote>
-
-<p>«Jeg har et spørsmål når det gjelder bruken av Google Analytics og
-personvernpolicy. Er det lovlig for et nettsted å si en ting i
-personvernpolicy og gjøre noe annet i virkeligheten? Spesifikt lurer
-jeg på hvilket lov som er brutt hvis nettstedet i HTML-koden til
-nettsidene ber lesernes nettleser om å kontakte Google Analytics og
-slik overleverer sitt IP-nummer til Google, samtidig som
-personvernpolicien hevder at Google Analytics kun får anonymiserte
-data. Google får jo i slike tilfeller alltid overført fullt
-IP-nummer, og nettstedet kan i URL-en som brukes be Google om å ikke
-lagre deler av IP-adressen (omtalt som anonymisering av Google
-Analytics)</p>
-
-<p>Et eksempel er Nettavisen digi.no.
-<a href="http://www.digi.no/artikler/personvernpolicy/208772">Deres
-personvernpolicy</a> sier følgende:</p>
-
-<blockquote>
- «Tredjeparter (som Google Analytics, Cxense, TNS Gallup) får kun
- anonymiserte data.»
-</blockquote>
-
-<p>Men når en leser artikler der så blir maskiner i Norge, USA,
-Tyskland, Danmark, Storbritannia, Irland og Nederland varslet om
-besøket og får dermed overlevert full IP-adresse, som datatilsynet har
-uttalt er en personopplysning. Nettsidene er satt opp til be
-nettleseren å kontakte 29 ulike maskiner rundt om i verden. Fire av
-dem er er under DNS-domenene digi.no og tek.no som tilhører samme
-eier. I tillegg ber nettsidene ikke
-<a href="https://support.google.com/analytics/answer/2763052?hl=no">Google
-Analytics om å fjerne siste oktett i IP-adressen ved lagring</a>,
-dvs. flagget «aip=1» er ikke satt i URL-en som brukes for å kontakte
-Google Analytics.</p>
-
-<p>Tilsvarende er også tilfelle for andre nettsteder, så digi.no er
-ikke spesiell i så måte (dagbladet.no er et annet eksempel, det
-gjelder flere).»</p>
-
-</blockquote>
-
-<p>Etter noen dager kunne juridisk rådgiver Elisabeth Krauss Amundsen
-hos Datatilsynet fortelle det følgende:</p>
-
-<blockquote>
-«Hei, og takk for din e-post.</p>
-
-<p>Vår svartjeneste gir deg kortfattet rådgivning. Vi vil derfor ikke konkludere
-i saken din, men gi deg råd og veiledning.</p>
-
-<p>Ut ifra det du skriver er det antakelig flere bestemmelser i
-personopplysingsloven som brytes dersom virksomhetens personvernpolicy
-sier noe annet om behandlingen av personopplysninger enn det som
-faktisk skjer. Antakelig vil det være et brudd på informasjonsplikten
-i personopplysingsloven §§ 18 og
-19&lt;<a href="https://lovdata.no/dokument/NL/lov/2000-04-14-31/KAPITTEL_2#§18">https://lovdata.no/dokument/NL/lov/2000-04-14-31/KAPITTEL_2#§18</a>&gt;
-dersom det gis feilinformasjon om at opplysningene utleveres. Det kan
-også stilles spørsmål om grunnkravene for behandling av
-personopplysninger vil være oppfylt ved en utlevering av
-personopplysninger til en tredjepart, dersom dette ikke er inkludert
-behandlingsgrunnlaget og formålet med behandlingen, se
-personopplysingsloven § 11, jf.
-8.&lt;<a href="https://lovdata.no/dokument/NL/lov/2000-04-14-31/KAPITTEL_2#§11">https://lovdata.no/dokument/NL/lov/2000-04-14-31/KAPITTEL_2#§11</a>&gt;»
-</blockquote>
-
-<!-- Her er full URL som digi ba nettleserne bruke for å melde fra til
-Google Analytics:
-https://www.google-analytics.com/r/collect?v=1&_v=j47&a=666919305&t=pageview&_s=1&dl=http%3A%2F%2Fwww.digi.no%2F&ul=nb-no&de=UTF-8&dt=Digi.no%20-%20IT-bransjens%20nettavis&sd=32-bit&sr=1024x768&vp=400x300&je=0&_u=AEAAAMQAK~&jid=592247632&cid=1641512195.1480086725&tid=UA-54426-28&_r=1&z=328520576
--->
-
-<p>Oppdatert med kunnskap om lover og regler tok jeg så kontakt med
-Dagbladet på epostadressen de annonserer på sine
-personvernpolicysider:<p>
-
-<blockquote>
-
-<p>«Jeg lurte litt i forbindelse med en bloggpost jeg skriver på, og lurer
-på om dere hjelpe meg med å finne ut av følgende. Først litt
-bakgrunnsinformasjon.
-<a href="http://www.dagbladet.no/2009/08/18/nyheter/avtale/brukeravtale/plikter/7706966/">Dagbladets
-personvernpolicy</a> forteller følgende:</p>
-
-<blockquote>
- <p>«3. Automatisk innhentet informasjon</p>
-
- <p>For eksempel IP-adressen din (ikke synlig for andre) samt
- statistisk, automatisk produsert informasjon, som når du sist var
- innlogget på tjenesten. Dette er informasjon vi samler for å gjøre
- tjenesten best mulig.»</p>
-
-</blockquote>
-
-
-<p>Men når en besøker nettsidene til Dagbladet,
-f.eks. <a href="http://dagbladet.no/">forsiden</a>, så er nettsidene
-satt opp til å kontakte mange tredjeparter som slik får tilgang til
-både fullt IP-nummer og i de fleste tilfeller nøyaktig hvilken
-artikkel en leser hos Dagbladet ved at Referer-feltet fylles og legges
-ved. Dette gjelder Google Analytics, Cxense, INS Gallup, Doubleclick
-med flere. Totalt ber forsiden nettleseren om å koble seg opp til 60
-nettsteder med 149 separate oppkoblinger. I hver av disse
-oppkoblingene oversendes IP-adressen til leseren, og i følge
-Datatilsynet er
-«<a href="https://www.datatilsynet.no/Teknologi/Internett/Webanalyse/">en
-IP-adresse definert som en personopplysning fordi den kan spores
-tilbake til en bestemt maskinvare og dermed til en enkeltperson</a>».</p>
-
-<p>Datatilsynet har fortalt meg at i følge personopplysingsloven §§ 18
-og 19 skal informasjonen som gis om bruk og utlevering av
-personopplysninger være korrekt. De forteller videre at det er endel
-grunnkrav som må være oppfylt ved utlevering av personopplysninger til
-tredjeparter, nærmere forklart i personopplysingsloven § 11 som
-henviser til § 8.</p>
-
-<p>Mitt spørsmål er dermed som følger:</p>
-
- <blockquote>
-
- <p>Hva mener dere i personpolicyen når dere skriver at IP-adressen ikke
- er synlig for andre?»</p>
-
- </blockquote>
-
-</blockquote>
-
-<p>Etter en uke har jeg fortsatt ikke fått svar fra Dagbladet på mitt
-spørsmål, så neste steg er antagelig å høre om Datatilsynet er
-interessert i å se på saken.</p>
-
-<p>Men Dagbladet er ikke det eneste nettstedet som forteller at de
-ikke deler personopplysninger med andre mens observerbar praksis
-dokumenterer noe annet. Jeg sendte derfor også et spørsmål til
-kontaktadressen til nettavisen Digi.no, og der var responsen mye
-bedre:</p>
-
-<blockquote>
-
-<p>«Jeg lurte på en ting i forbindelse med en bloggpost jeg skriver på,
-og lurer på om dere hjelpe meg. Først litt bakgrunnsinformasjon.
-<a href="http://www.digi.no/artikler/personvernpolicy/208772">Digi.nos
-personvernpolicy</a> forteller følgende:</p>
-
-<blockquote>
- «All personlig informasjon blir lagret i våre systemer, disse er ikke
- tilgjengelig for tredjeparter, og blir ikke lagret i
- informasjonskapsler. Tredjeparter (som Google Analytics, Cxense,
- TNS Gallup) får kun anonymiserte data.»
-</blockquote>
-
-<p>Men når en besøker nettsidene til nettavisen, f.eks.
-<a href="http://www.digi.no/">forsiden</a>, så er nettsidene satt opp
-til å kontakte mange tredjeparter som slik får tilgang til både fullt
-IP-nummer og i de fleste tilfeller nøyaktig hvilken artikkel en leser
-hos Digi.no ved at Referer-feltet fylles og legges ved. Dette gjelder
-både Google Analytics, Cxense blant og INS Gallum. Totalt ber
-forsiden nettleseren om å koble seg opp til 29 nettsteder med 44
-separate oppkoblinger. I hver av disse oppkoblingene sendes
-IP-adressen til leseren over, og i følge Datatilsynet er
-«<a href="https://www.datatilsynet.no/Teknologi/Internett/Webanalyse/">en
-IP-adresse definert som en personopplysning fordi den kan spores
-tilbake til en bestemt maskinvare og dermed til en enkeltperson</a>».
-Det jeg ser virker ikke å være i tråd med personvernpolicyen.</p>
-
-<p>Når en besøker Digi.nos nettsider gjøres det to oppkoblinger til
-Google Analytics, en for å hente ned programkoden som samler
-informasjon fra nettleseren og sender over til Google (analytics.js),
-og en for å overføre det som ble samlet inn. I den siste oppkoblingen
-er det mulig å be Google om å ikke ta vare på hele IP-adressen, men i
-stedet fjerne siste oktett i IP-adressen. Dette omtales ofte litt
-misvisende for «anonymisert» bruk av Google Analytics, i og med at
-fullt IP-nummer blir sendt til Google og det er opp til Google om de
-vil bry seg om ønsket fra de som har laget nettsiden. Ut fra det som
-står i personvernpolicyen ville jeg tro at Digi.no ba google om å ikke
-ta vare på hele IP-nummeret, men når en ser på den andre oppkoblingen
-kan en se at flagget «aio=1» ikke er satt, og at Digi.no ikke ber
-Google om å la være å lagre hele IP-adressen. Dette virker heller
-ikke å være i tråd med personvernpolicyen.</p>
-
-<p>Datatilsynet har fortalt meg at i følge personopplysingsloven §§ 18
-og 19 skal informasjonen som gis om bruk og utlevering av
-personopplysninger være korrekt. De forteller videre at det er endel
-grunnkrav som må være oppfylt ved utlevering av personopplysninger til
-tredjeparter, nærmere forklart i personopplysingsloven § 11 som
-henviser til § 8. Det er uklart for meg om disse kravene er oppfylt
-når IP-adresse og informasjon om hvilke websider som besøkes til
-tredjeparter.</p>
-
-<p>Mitt spørsmål er dermed som følger:</p>
-
-<blockquote>
-
- <p>Hva mener dere i personpolicyen når dere skriver at «Tredjeparter
- får kun anonymiserte data»?»</p>
-
-</blockquote>
-
-</blockquote>
-
-<p>Redaksjonssjef Kurt Lekanger svarte samme dag og forklarte at han
-måtte komme tilbake til meg når han hadde med utviklingsavdelingen.
-Seks dager senere lurte jeg på hva han fant ut, og etter noen timer
-fikk jeg så følgende svar fra direktøren for teknologi og
-forretningsutvikling Øystein W. Høie i Teknisk Ukeblad Media:</p>
-
-<blockquote>
-
-<p>«Takk for godt tips! Det er helt riktig at IP og referrer-adresse
-potensielt kan leses ut av tredjepart.</p>
-
-<p>Retningslinjene våre har vært uklare på dette tidspunktet, og vi
-oppdaterer nå disse så dette kommer tydeligere frem. Ny tekst blir som
-følger:</p>
+ <title>Is the short movie «Empty Socks» from 1927 in the public domain or not?</title>
+ <link>http://people.skolelinux.org/pere/blog/Is_the_short_movie__Empty_Socks__from_1927_in_the_public_domain_or_not_.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Is_the_short_movie__Empty_Socks__from_1927_in_the_public_domain_or_not_.html</guid>
+ <pubDate>Tue, 5 Dec 2017 12:30:00 +0100</pubDate>
+ <description><p>Three years ago, a presumed lost animation film,
+<a href="https://en.wikipedia.org/wiki/Empty_Socks">Empty Socks from
+1927</a>, was discovered in the Norwegian National Library. At the
+time it was discovered, it was generally assumed to be copyrighted by
+The Walt Disney Company, and I blogged about
+<a href="http://people.skolelinux.org/pere/blog/Opphavsretts_status_for__Empty_Socks__fra_1927_.html">my
+reasoning to conclude</a> that it would would enter the Norwegian
+equivalent of the public domain in 2053, based on my understanding of
+Norwegian Copyright Law. But a few days ago, I came across
+<a href="http://www.toonzone.net/forums/threads/exposed-disneys-repurchase-of-oswald-the-rabbit-a-sham.4792291/">a
+blog post claiming the movie was already in the public domain</a>, at
+least in USA. The reasoning is as follows: The film was released in
+November or Desember 1927 (sources disagree), and presumably
+registered its copyright that year. At that time, right holders of
+movies registered by the copyright office received government
+protection for there work for 28 years. After 28 years, the copyright
+had to be renewed if the wanted the government to protect it further.
+The blog post I found claim such renewal did not happen for this
+movie, and thus it entered the public domain in 1956. Yet someone
+claim the copyright was renewed and the movie is still copyright
+protected. Can anyone help me to figure out which claim is correct?
+I have not been able to find Empty Socks in Catalog of copyright
+entries. Ser.3 pt.12-13 v.9-12 1955-1958 Motion Pictures
+<a href="http://onlinebooks.library.upenn.edu/cce/1955r.html#film">available
+from the University of Pennsylvania</a>, neither in
+<a href="https://babel.hathitrust.org/cgi/pt?id=mdp.39015084451130;page=root;view=image;size=100;seq=83;num=45">page
+45 for the first half of 1955</a>, nor in
+<a href="https://babel.hathitrust.org/cgi/pt?id=mdp.39015084451130;page=root;view=image;size=100;seq=175;num=119">page
+119 for the second half of 1955</a>. It is of course possible that
+the renewal entry was left out of the printed catalog by mistake. Is
+there some way to rule out this possibility? Please help, and update
+the wikipedia page with your findings.
-<hr>
-<p>3. Dette bruker vi ikke informasjonen til Informasjon du oppgir til
-oss blir lagret i våre systemer, er ikke tilgjengelig for
-tredjeparter, og blir ikke lagret i informasjonskapsler.
-Informasjonen vil kun benyttes til å gi deg som bruker mer relevant
-informasjon og bedre tjenester.</p>
-
-<p>Tredjeparter (som Google Analytics, Cxense, TNS Gallup) vil kunne
-hente ut IP-adresse og data basert på dine surfemønstre. TU Media AS
-er pliktig å påse at disse tredjepartene behandler data i tråd med
-norsk regelverk.</p>
-<hr>
-
-<p>Ellers har vi nå aktivert anonymisering i Google Analytics
-(aip=1). Kan også nevne at Tek.no-brukere som har kjøpt Tek Ekstra har
-mulighet til å skru av all tracking i kontrollpanelet sitt. Dette er
-noe vi vurderer å rulle ut på alle sidene i vårt nettverk.»</p>
-
-</blockquote>
-
-<p>Det var nyttig å vite at vi er enige om at formuleringen i
-personvernpolicyen er misvisende. Derimot var det nedslående at i
-stedet for å endre praksis for å følge det personvernpolicyen sier om
-å ikke dele personinformasjon med tredjeparter, så velger Digi.no å
-fortsette praksis og i stedet endre personvernpolicyen slik at den å
-dokumentere dagens praksis med spredning av personopplysninger.</p>
-
-<p>Med bakgrunn i at Digi.no ikke har fulgt sin egen personvernpolicy
-spurte jeg hvordan Digi.no kom til å håndtere endringen:</p>
-
-<blockquote>
-
-<p>«Tusen takk for beskjed om endring av personvernpolicy for digi.no.
-Gjelder endringen også andre nettsteder?</p>
-
-<p>Vil tidligere håndteringen av IP-adresser og lesemønster i strid
-med dokumentert personvernpolicy bli varslet til Datatilsynet i tråd
-med
-<a href="https://lovdata.no/forskrift/2000-12-15-1265/§2-6">personopplysningsforskriften
-§ 2-6</a>? Vil leserne bli varslet på en prominent og synlig måte om
-at lesernes IP-adresser og lesemønster har vært utlevert til
-tredjeparter i stid med tidligere formulering om at tredjeparter kun
-får anonymiserte data, og at utleveringen fortsetter etter at
-personvernpolicy er endret for å dokumentere praksis?</p>
-
-<p>Appropos ekstra tilbud til betalende lesere, tilbyr dere en
-mulighet for å betale for å lese som ikke innebærer at en må gjøre det
-mulig å la sine lesevaner blir registeret av tek.no? Betaler gjerne
-for å lese nyheter, men ikke med en bit av privatlivet mitt. :)»</p>
-</blockquote>
-
-<p>Jeg fikk raskt svar tilbake fra direktøren Høie:</p>
-
-<blockquote>
-<p>«Tydeliggjøringen i personvernpolicy gjelder alle våre nettsteder.</p>
-
-<p>Vi kommer til å ta en runde og gå over vår policy i forbindelse med
-dette, og vil i de tilfeller det er påkrevd selvsagt være tydelig
-overfor brukere og tilsyn. Vil samtidig understreke at vår bruk av
-tredjeparts analyseverktøy og annonsetracking er helt på linje med det
-som er normalt for norske kommersielle nettsteder.</p>
-
-<p>Angående spørsmålet ditt:
-<br>Du vil fortsatt vises i våre interne systemer om du blir Ekstra-bruker,
-vi skrur bare av tredjeparts tracking.»</p>
-</blockquote>
-
-<p>Det høres jo ikke bra ut at det er normalt for norske kommersielle
-nettsteder å utlevere lesernes personopplysninger til utlandet. Men
-som en kan lese fra <a href="https://www.nrk.no/norge/kommunen-deler-informasjon-om-deg-med-facebook-og-google-1.13248945">gårdagens oppslag fra NRK</a> gjelder
-det også norske kommuner og andre offentlige aktører, og
-<a href="http://people.skolelinux.org/pere/blog/Snurpenot_overv_kning_av_sensitiv_personinformasjon.html">jeg
-skrev om omfanget av problemet i fjor</a>. Det er uansett ikke en
-praksis jeg tror er i tråd med kravene i personopplysningsloven, og
-heller ikke en praksis jeg som leser synes er greit. Jeg manglet dog
-fortsatt svar på om Digi.no kom til å varsle lesere og Datatilsynet om
-avviket mellom praksis og policy, så jeg forsøkte meg med en ny epost
-i går kveld:</p>
-
-<blockquote>
-
-<p>«Kan du fortelle meg om dere anser det å være påkrevd å varsle
-tilsyn og brukere nå, når dere har oppdaget at praksis ikke har vært i
-tråd med personvernpolicy?»</p>
-
-</blockquote>
-
-<p>Det spørsmålet vet jeg så langt ikke svaret på, men antagelig kan
-Datatilsynet svare på om det er påkrevd å varsle tilsyn og lesere om
-dette. Jeg planlegger å oppdatere denne bloggposten med svaret når
-det kommer.</p>
-
-<p>Jeg synes jo det er spesielt ille når barn får sine
-personopplysninger spredt til utlandet, noe jeg
-<a href="https://www.mimesbronn.no/request/opplysninger_samlet_inn_av_mobil">tok
-opp med NRK i fjor</a>. De to eksemplene jeg nevner er som dere
-forstår ikke unike, men jeg har ikke full oversikt over hvor mange
-nettsteder dette gjelder. Jeg har ikke kapasitet til eller glede av å
-lese alle personvernpolicyer i landet. Kanskje mine lesere kan sende
-meg tips på epost om andre nettsteder med avvik mellom policy og
-praksis? Hvis vi alle går sammen og kontakter de ansvarlige, kanskje
-noen til slutt endrer praksis og slutter å dele lesernes
-personopplysninger med tredjeparter?</p>
-
-<p>Apropos bruken av Google Analytics kan jeg forresten nevne at
-Universitetet i Oslo også har tatt i bruk Google Analytics, men der
-lagres programkoden som overføres til nettleserne lokalt og deler av
-IP-adressen fjernes lokalt på universitetet via en mellomtjener/proxy
-(<a href="https://github.com/unioslo/ipproxy">tilgjengelig via
-github</a>) før informasjon sendes over til Google Analytics. Dermed
-er det mulig for ansvarlige for nettstedet å <em>vite</em> at Google
-ikke har tilgang til komplett IP-adresse. Årsaken til at denne
-metoden brukes er at juristene ved universitetet har konkludert med at
-det er eneste måten en kunne vurdere å bruke Google Analytics uten å
-bryte loven. Risikoen for gjenidentifisering og
-<a href="https://panopticlick.eff.org/">identifisering ved hjelp av
-nettleserinformasjon</a> er fortsatt tilstede, så det er ingen optimal
-løsning, men det er bedre enn å håpe at f.eks. Google og alle som
-lytter på veien skal prioritere norsk lov over sin lokale
-lovgivning.</p>
-
-<p>Oppdatering 2016-12-09: Fikk svar fra direktøren Høie på mitt
-spørsmål litt etter at jeg hadde publisert denne artikkelen:</p>
-
-<blockquote>
-
-<p>Vi kommer til å annonsere en oppdatert policy, og skal undersøke om
-vi er pliktig å varsle Datatilsynet.</p>
-
-<p>Det vi uansett ønsker å gjøre først, er å gå gjennom hele policy
-sammen med utviklerne og advokat, så vi er sikre på at vi går frem
-riktig og at det ikke er flere tvetydigheter som skjuler seg i
-teksten.</p>
-
-<p>Har du andre idéer eller konkrete innspill til hva som kan gjøre
-policy tydeligere, tar vi gjerne imot det. Dette er et felt vi ønsker
-å være ryddige på.</p>
-
-</blockquote>
-
-<p>Vi får se om de liker mine innspill, som i grunnen er å ikke pusse
-på personvernpolicyen men i stedet slutte å spre lesernes
-personopplysninger til eksterne aktører.</p>
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Fri programvare-tilbakeblikk for 2015 og 2016</title>
- <link>http://people.skolelinux.org/pere/blog/Fri_programvare_tilbakeblikk_for_2015_og_2016.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Fri_programvare_tilbakeblikk_for_2015_og_2016.html</guid>
- <pubDate>Thu, 1 Dec 2016 15:30:00 +0100</pubDate>
- <description><p>Jeg er mer en gjennomsnittlig interessert i fri programvare og fri
-kultur, og nå når et nytt år nærmer seg slutten tenkte jeg det var på
-tide med et lite tilbakeblikk på årene som var. Jeg har vært
-involvert i flere prosjekter og løsninger, og her er en liten
-gjennomgang av de jeg kom på i farten.</p>
-
-<p>Den største nyheten for meg fra 2015 var at jeg endelig, etter 2.5
-år med flekkvis innsats, fikk gitt ut en bokmålsutgave av den
-klassiske boken <a href="http://free-culture.cc/">Free Culture</a> av
-Lawrence Lessig. Boken forteller om bakgrunnen for fri
-kultur-bevegelsen, beskriver problemer med dagens opphavsrett og
-skisserer hvordan vi kan bøte på problemene både individuelt og som
-samfunn. Jeg anbefaler alle å lese denne boken, som jeg med god hjelp
-har gitt ut på engelsk, bokmål og fransk. Papirboken kan bestilles i
-nettbokhandler i USA som Lulu
-(<a href="http://www.lulu.com/shop/lawrence-lessig/fri-kultur/paperback/product-22406445.html">Norsk</a>,
-<a href="http://www.lulu.com/shop/lawrence-lessig/culture-libre/paperback/product-22645082.html">Fransk</a>,
-<a href="http://www.lulu.com/shop/lawrence-lessig/free-culture/paperback/product-22402863.html">Engelsk</a>),
-Amazon og Barnes & Noble takket være selvpubliseringsløsningen
-lulu.com og
-<a href="https://github.com/petterreinholdtsen/free-culture-lessig">ebokutgave</a>
-samt alt som trengs for å oppdatere boken er tilgjengelig fra
-github.</p>
-
-<p>Et annet prosjekt jeg er veldig fornøyd med å ha deltatt i
-lanseringen av, er <a href="https://www.mimesbronn.no/">Mimes
-brønn</a>, NUUG-tjenesten for å gjøre det enklere å be om innsyn i
-offentlig forvaltning, og spare offentlig forvaltning for å måtte
-besvare de samme innsynshenvendelsene gang på gang. Etter bare noen
-måneders drift førte
-<a href="https://www.mimesbronn.no/request/forhandlinger_om_bv">en
-henvendelse via tjenesten</a> til
-<a href="https://www.stortinget.no/no/Saker-og-publikasjoner/Sporsmal/Skriftlige-sporsmal-og-svar/Skriftlig-sporsmal/?qid=65047">spørsmål
-fra Stortinget til regjeringen</a>. I dette og andre tilfeller har
-NUUG finansiert utvidet klagesak for henvendelser som vi som står bak
-tjenesten synes fortjener ekstra oppmerksomhet. Så langt har en liten
-håndfull slike klagesaker blitt sendt til Sivilombudsmannen, der vi
-fikk medhold i en saken (om .bv omtalt over) og avslag i en annen
-(oppsummering fra møte i Pentagon om Internet-styring og nasjonal
-sikkerhet).</p>
-
-<p>Etter at jeg i lengre tid har manglet GPG-nøkkel registrert i
-Debian (den opprinnelige ble fjernet på grunn av for kort
-nøkkellengde) fikk jeg endelig fikset ny nøkkel og Debiantilgang i
-slutten av 2015. Aktiviteten i Debian har ikke vært spesielt
-skadelidende mens jeg manglet nøkkel (kjenner flere som er villig til
-å laste opp på mine vegne), men da nøkkelen var på plass steg
-motivasjonen og jeg har blant anne brukt tiden på å bidra til at
-pakker relatert til lyd- og videokodekene fra
-<a href="http://www.xiph.org">Xiph.org-stiftelsen</a> (dvs. Ogg,
-Vorbis, Theora, Opus, etc) er i bedre stand i Debian, og har bidratt
-til å få liv i gruppen som vedlikeholder Xiph-relaterte slik at dette
-forhåpentligvis skal fungere bedre også i fremtiden. Jeg har jobbet
-litt mer systemene Isenkram og appstream, som gjør det enklere å
-håndtere ulike dongler i Debian ved at systemet selv vet og foreslår
-hvilke pakker som bør installeres for å få dongler til å fungere. Har
-også fått inn eller hjulpet til å få inn endel nye programpakker,
-spesielt fornøyd med
-<a href="https://tracker.debian.org/pkg/sonic-pi">Sonic Pi</A>,
-<a href="https://tracker.debian.org/pkg/openalpr">OpenALPR</A> og
-<a href="https://tracker.debian.org/pkg/coz-profiler">Coz</A>.
-
-
-<p>Et Debian-relatert prosjekt jeg følger er
-<a href="https://www.freedombox.org/">FreedomBox</a>, som tar sikte på
-å tilby en løsning (både programvare og maskinvare) der hvem som helst
-kan beholde sin private informasjon hjemme hos seg selv i stedet for å
-dele den med skytjenesteleverandører som Google, Facebook, Twitter,
-Appear.in med flere. I tillegg til generell deltagelse i utvikling av
-prosjektet har jeg jobbet med å få alle Debian-pakkene som brukes av
-Freedombox "reproduserbare" i Debian, dvs. gjøre det mulig å sjekke at
-pakken som brukes i Freedombox ikke inneholder annet enn det som
-kommer fra kildekodepakken i Debian og gir et forutsigbart resultat
-ved bygging. Har også fulgt opp endel feilrapporter relatert til
-Freedombox-spesifikke pakker (som Plinth og freedombox-setup) og
-pakker som utgjør tjenestene i en Freedombox.</p>
-
-<p>I samarbeid med Skolelinuxprosjektet og foreningen NUUG har jeg
-vært med å arrangere flere utviklersamlinger både i 2015 og 2016. Der
-har oversettere og utviklere blitt lært opp og arbeidet med blant
-annet dokumentasjon, feilfiksing og utvikling av Skolelinux og
-Frikanalen. Relatert til dette arbeidet har jeg koordinert norsk
-oversettelse av <a href="http://debian-handbook.info/">Håndbok for
-Debian-administratorer</a> til bokmål, og flyttet
-<a href="https://hosted.weblate.org/projects/debian-edu-documentation/">oversetterarbeidet
-av Skolelinux-håndboken</a> fra Transifex til Weblate. Begge bøkene
-er snart klare for første gangs korrekturlesing og vi drømmer om å
-gjøre dem tilgjengelig på papir.</p>
-
-<p>Gjennom hele perioden har jeg holdt et lite øye med NUUG-prosjektet
-FiksGataMi, som stort sett går av seg selv uten manuelt vedlikehold,
-men av og til er det problemer med enkelte mottakere (eposter i
-retur). NUUG-drift oppgraderte tjenesten i løpet av 2016, og jeg
-bisto Marius Halden litt i forbindelse med dette. Tjenesten får
-stadig flere brukere, og flere kommuner har tatt kontakt for å lære
-mer om hvordan FiksGataMi fungerer.
-
-<p>Den åpne TV-kanalen
-<a href="http://www.frikanalen.no/">Frikanalen</a> har fått en god del
-av min oppmerksomhet. Den var i starten av 2015 tilgjengelig på
-RiksTV kanal 50, web. Kanalen har fått et REST-basert API, og dette
-har jeg tatt i bruk for å fylle sendeplanen med NUUG-, TED- og
-Debian-foredrag samt andre tekniske presentasjoner. Har lastet opp
-mye nytt der og strømlinjeformet prosessen slik at både nye TED- og
-NUUG-foredrag går veldig greit. På høsten tok jeg en titt på
-multikast-spredning av kanalen til Uninett, og dette er nå kommet på
-plass, slik at alle TV-er som bruker Uninetts TV-løsning nå kan se på
-Frikanalen. Det jobbes for tiden med å få distribusjon på Altibox, og
-dette håper vi skal være klart i starten av 2017.</p>
-
-<p>Relatert til Frikanalen har jeg i lengre tid
-<a href="http://people.skolelinux.org/pere/blog/tags/h264/">forsøkt å
-få klarhet i hva som er juridisk status for H.264 i Norge</a>. Det er
-fortsatt uklart for meg om Frikanalen må betale for retten til å
-kringkaste eller ikke, og om vi risikerer å bryte opphavsrettsvilkår
-ved å kringkaste på web med H.264. Har spurt ulike aktører for å
-forsøke å finne ut hvordan de har vurdert situasjonen, uten å bli
-klok.</p>
-
-<p>Et prosjekt som var morsomt å se ta form var Ole Aamots
-<a href="https://www.youtube.com/watch?v=8ftM5fdKgZk">dokumentarprosjekt
-om fri programvare i Norge</a>. Han fikk intervjuet en god del av de
-mest aktive folkene i Norge, og resultatet ble interessant og
-severdig. Et nærmere prosjekt er NUUGs samarbeide med Oslo
-dokumentarfilmfestival om visningen av Citizenfour, der NUUG tok opp
-samtalen i forbindelse med visningen og publiserte opptaket på
-Frikanalen. Jeg er veldig fornøyd med å ha lyktes med å få dette på
-plass, selv om jeg ikke rakk å være med på visningen selv. Et annet
-NUUG-foredrag jeg er spesielt fornøyd med å ha fått på plass er
-besøket fra Bradley Kuhn fra Software Freedom Conservancy. Det tok
-mange måneder å organisere i samarbeid med BLUG, men til slutt klarte
-vi å finne et tidspunkt som passet alle, slik at han kunne besøke Oslo
-og Bergen. Opptaket fra dette er også publisert på Frikanalen.
-Generelt har jeg veldig fornøyd med at Frikanalen nå i praksis er
-Tekno-TV med interessante faktaprogram og presentasjoner nesten hele
-døgnet, hele uka.</p>
-
-<p>Vi har i lengre tid forsøkt å få opp et Mesh-nett i Oslo, under
-navnet dugnadsnett.no, uten at vi så langt har klart å nå kritisk
-masse. Tanken er å gjøre det mulig å kommunisere direkte mellom
-likeverdige parter uten sentrale knutepunkt som enkelt kan avlyttes.
-Prosjektet er ikke dødt, men interessen blant oss som er med har ikke
-vært stor nok til å kunne prioritere dette over alt annet.</p>
-
-<p>En ting som har tatt prioritet for min del er NUUG og EFNs forsøk
-på å få domstolvurdering av om det er greit for politiet å overta et
-DNS-domene uten domstolvurdering. Bakgrunnen er at Økokrim tok beslag
-i popcorn-time.no i mars 2016, med påstand om at nettstedet bidro til
-opphavsrettsbrudd ved å omtale fri programvareløsningen Popcorn Time
-og lenke til nettsteder der det var lenker til nettsteder der en kunne
-laste ned Popcorn Time. For det første mener vi at domstolene bør
-involveres før DNS-domener tas fra sine eiere, og for det andre mener
-vi begrunnelsen er så søkt at domenet ikke burde beslaglegges i første
-omgang. NUUG og EFN forsøkte først å protestere på egne vegne men ble
-avvist av domstolene med at vi ikke hadde rettslig interesse. Mens
-dette pågikk lyktes vi å få kontakt med registrar og regnskapsfører
-som fikk ble raidet av seks stykker fra Økokrim, og i gjeldende runde
-er det registrar og regnskapsfører som protesterer med støtte fra NUUG
-og EFN. Advokattimene renner ut og vi håper vi holder ut til saken
-har fått prøvd saken.</p>
-
-<p>Et annet prosjekt, relatert til fri kultur og åndsverksvern, som
-jeg har brukt endel tid på er å maskinelt kunne identifisere verk som
-er falt i det fri i Norge. Jeg ønsker å vite hvor mange kunstuttrykk
-som blir røvet fra fellesskapet hver gang vernetiden i åndsverksloven
-blir utvidet, f.eks. nå sist når vernetiden for musikk ble utvidet med
-20 år fra 50 til 70 år med tilbakevirkende kraft, som om de som laget
-musikk for 60 år siden skulle bli mer motivert til å lage musikk av
-utvidet vernetid. Har sett på å kombinere informasjon fra
-Nasjonalbiblioteket, Deichmanske bibliotek, Wikipedia, Store Norske
-Leksikon og WorldCat, og gleder meg til Nasjonalbibliotekets initiativ
-for autorativ database over verk tar form.</p>
-
-<p>Dårlig konkurranse på drivstoffmarkedet har irritert meg en stund,
-og jeg laget for flere år siden en skraper som samlet inn prisdata fra
-ulike kilder. Jeg ble derfor veldig glad da en økonomistudent tok
-kontakt i starten av 2015 og lurte på om jeg kunne bidra med data til
-hans masteroppgave om konkurransevilkårene i drivstoffmarkedet. Jeg
-bidro med glede, og resultatet er <a
-href="https://brage.bibsys.no/xmlui//browse?value=Jakobsen%2C+Tor+%C3%98yvind&type=author">publisert
-i fulltekst som "Hemmeligheten bak bensinprisen : en empirisk analyse
-av pumpeprisens drivkrefter" på BIBSYS Brage</a>.</p>
-
-<p>I tilegg til det jeg har gjort her har jeg rapportert og fikset en
-rekke små og store feil i fri programvare, og hjulpet
-Debian-bidragsytere og upstream-utviklerne med å forbedre forskjellig
-fri programvare og få det inn i Debian.</p>
-
-<p>Mye av det jeg har fått gjort rundt fri programvare og fri kultur
-har vært mulig takket være at jeg får dekket 20% av arbeidstiden min
-på Universitetet i Oslo fra
-<a href="http://www.nuugfoundation.no/">NUUG Foundation</a> for å jobbe
-med og koordinere fri programvareaktiviteter. Jeg er svært takknemlig
-til dem og min arbeidsgiver USIT for at jeg har fått muligheten. Uten
-dette hadde jeg ikke rukket over like mye etter hvert som ungene ble
-større.</p>
+ <title>Metadata proposal for movies on the Internet Archive</title>
+ <link>http://people.skolelinux.org/pere/blog/Metadata_proposal_for_movies_on_the_Internet_Archive.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Metadata_proposal_for_movies_on_the_Internet_Archive.html</guid>
+ <pubDate>Tue, 28 Nov 2017 12:00:00 +0100</pubDate>
+ <description><p>It would be easier to locate the movie you want to watch in
+<a href="https://www.archive.org/">the Internet Archive</a>, if the
+metadata about each movie was more complete and accurate. In the
+archiving community, a well known saying state that good metadata is a
+love letter to the future. The metadata in the Internet Archive could
+use a face lift for the future to love us back. Here is a proposal
+for a small improvement that would make the metadata more useful
+today. I've been unable to find any document describing the various
+standard fields available when uploading videos to the archive, so
+this proposal is based on my best quess and searching through several
+of the existing movies.</p>
+
+<p>I have a few use cases in mind. First of all, I would like to be
+able to count the number of distinct movies in the Internet Archive,
+without duplicates. I would further like to identify the IMDB title
+ID of the movies in the Internet Archive, to be able to look up a IMDB
+title ID and know if I can fetch the video from there and share it
+with my friends.</p>
+
+<p>Second, I would like the Butter data provider for The Internet
+archive
+(<a href="https://github.com/butterproviders/butter-provider-archive">available
+from github</a>), to list as many of the good movies as possible. The
+plugin currently do a search in the archive with the following
+parameters:</p>
+
+<p><pre>
+collection:moviesandfilms
+AND NOT collection:movie_trailers
+AND -mediatype:collection
+AND format:"Archive BitTorrent"
+AND year
+</pre></p>
+
+<p>Most of the cool movies that fail to show up in Butter do so
+because the 'year' field is missing. The 'year' field is populated by
+the year part from the 'date' field, and should be when the movie was
+released (date or year). Two such examples are
+<a href="https://archive.org/details/SidneyOlcottsBen-hur1905">Ben Hur
+from 1905</a> and
+<a href="https://archive.org/details/Caminandes2GranDillama">Caminandes
+2: Gran Dillama from 2013</a>, where the year metadata field is
+missing.</p>
+
+So, my proposal is simply, for every movie in The Internet Archive
+where an IMDB title ID exist, please fill in these metadata fields
+(note, they can be updated also long after the video was uploaded, but
+as far as I can tell, only by the uploader):
+
+<dl>
+
+<dt>mediatype</dt>
+<dd>Should be 'movie' for movies.</dd>
+
+<dt>collection</dt>
+<dd>Should contain 'moviesandfilms'.</dd>
+
+<dt>title</dt>
+<dd>The title of the movie, without the publication year.</dd>
+
+<dt>date</dt>
+<dd>The data or year the movie was released. This make the movie show
+up in Butter, as well as make it possible to know the age of the
+movie and is useful to figure out copyright status.</dd>
+
+<dt>director</dt>
+<dd>The director of the movie. This make it easier to know if the
+correct movie is found in movie databases.</dd>
+
+<dt>publisher</dt>
+<dd>The production company making the movie. Also useful for
+identifying the correct movie.</dd>
+
+<dt>links</dt>
+
+<dd>Add a link to the IMDB title page, for example like this: &lt;a
+href="http://www.imdb.com/title/tt0028496/"&gt;Movie in
+IMDB&lt;/a&gt;. This make it easier to find duplicates and allow for
+counting of number of unique movies in the Archive. Other external
+references, like to TMDB, could be added like this too.</dd>
+
+</dl>
+
+<p>I did consider proposing a Custom field for the IMDB title ID (for
+example 'imdb_title_url', 'imdb_code' or simply 'imdb', but suspect it
+will be easier to simply place it in the links free text field.</p>
+
+<p>I created
+<a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">a
+list of IMDB title IDs for several thousand movies in the Internet
+Archive</a>, but I also got a list of several thousand movies without
+such IMDB title ID (and quite a few duplicates). It would be great if
+this data set could be integrated into the Internet Archive metadata
+to be available for everyone in the future, but with the current
+policy of leaving metadata editing to the uploaders, it will take a
+while before this happen. If you have uploaded movies into the
+Internet Archive, you can help. Please consider following my proposal
+above for your movies, to ensure that movie is properly
+counted. :)</p>
+
+<p>The list is mostly generated using wikidata, which based on
+Wikipedia articles make it possible to link between IMDB and movies in
+the Internet Archive. But there are lots of movies without a
+Wikipedia article, and some movies where only a collection page exist
+(like for <a href="https://en.wikipedia.org/wiki/Caminandes">the
+Caminandes example above</a>, where there are three movies but only
+one Wikidata entry).</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Fortsatt ingen sikkerhetsoppdateringer for billettautomatene til kollektivtrafikken i Oslo?</title>
- <link>http://people.skolelinux.org/pere/blog/Fortsatt_ingen_sikkerhetsoppdateringer_for_billettautomatene_til_kollektivtrafikken_i_Oslo_.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Fortsatt_ingen_sikkerhetsoppdateringer_for_billettautomatene_til_kollektivtrafikken_i_Oslo_.html</guid>
- <pubDate>Tue, 29 Nov 2016 09:05:00 +0100</pubDate>
- <description><p><a href="http://people.skolelinux.org/pere/blog/Er_billettautomatene_til_kollektivtrafikken_i_Oslo_uten_sikkerhetsoppdateringer_.html">For
-fire og et halvt år siden</a> lot jeg meg overraske over at Ruters
-billettautomater for kollektivtrafikken i Oslo kjørte
-<a href="http://en.wikipedia.org/wiki/Windows_2000">Windows 2000
-Professional</a>, et og et halvt år etter at Microsoft hadde gitt
-beskjed om at det ikke lenger kom sikkerhetsoppdateringer til
-systemet. Støtten fra Microsoft
-<a href="http://support.microsoft.com/lifecycle/search/?sort=PN&alpha=Windows+2000&Filter=FilterNO">tok
-slutt 2010-07-13 i følge Wikipedia og Microsoft selv</a>.</p>
-
-<p>For fem dager siden passerte jeg på nytt en slik billettautomat som
-hadde brutt sammen, og den annonserte fortsatt at den kjører Windows
-2000 Professional, nå mer enn seks år siden Microsoft sluttet å komme
-med sikkerhetspatcher til produktet. Sikret meg et bilde av
-krasjmeldingen på skjermen.
-
-<p><a href="http://people.skolelinux.org/pere/blog/images/2016-11-29-ruter-win2000pro.jpeg"><img width="40%" src="http://people.skolelinux.org/pere/blog/images/2016-11-29-ruter-win2000pro.jpeg" alt="[foto av billettautomat]"></a></p>
-
-<p>Mon tro om de mangler kildekoden til systemet som kjører på
-automaten, og dermed ikke uten videre kan oppgradere?</p>
-
-<p>Jeg ser jo fra
-<a href="https://www.mimesbronn.no/request/ruterbillett_app">en
-innsynshenvendelse om kildekoden til billett-Appen til Ruter på Mimes
-brønn</a> at Ruter tilsynelatende ikke legger sikkerheten i
-sertifikater, nøkler og passord, men i stedet baserer seg på at
-logikken i programvaren holdes hemmelig. Det borger ikke godt for
-sikkerheten i Ruters datasystemer.
-
-<p>Det er nå tre og et halvt år siden
-<a href="http://www.aftenposten.no/osloby/Ingen-nye-Ruter-automater-for-sommeren-118460b.html">Ruter
-fortalte Aftenposten at nye automater ble minst seks måneder
-forsinket</a>, da leverandøren ikke hadde god nok kontroll. Det kan
-virke som om leverandøren ikke er alene om å ikke ha god nok
-kontroll.</p>
-
-<p>Bildet er tilgjengelig for bruk med bruksvilkårene til
-<a href="http://creativecommons.org/licenses/by/3.0/no/">Creative
-Commons Navngivelse 3.0 Norge (CC BY 3.0)</a>.</p>
-
-<p>Oppdatering 2016-12-01: Saken har fått omtale på
-<a href="http://www.digi.no/artikler/petter-advarte-selskapet-allerede-i-2012-da-systemkraesjen-dukket-opp-igjen-pa-tirsdag-ble-han-svaert-overrasket/365613">digi.no</a>
-og
-<a href="https://nrkbeta.no/2016/12/01/mener-oslos-billettsystem-er-en-tikkende-bombe/">NRK
-Beta</a>.</p>
+ <title>Legal to share more than 3000 movies listed on IMDB?</title>
+ <link>http://people.skolelinux.org/pere/blog/Legal_to_share_more_than_3000_movies_listed_on_IMDB_.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Legal_to_share_more_than_3000_movies_listed_on_IMDB_.html</guid>
+ <pubDate>Sat, 18 Nov 2017 21:20:00 +0100</pubDate>
+ <description><p>A month ago, I blogged about my work to
+<a href="http://people.skolelinux.org/pere/blog/Locating_IMDB_IDs_of_movies_in_the_Internet_Archive_using_Wikidata.html">automatically
+check the copyright status of IMDB entries</a>, and try to count the
+number of movies listed in IMDB that is legal to distribute on the
+Internet. I have continued to look for good data sources, and
+identified a few more. The code used to extract information from
+various data sources is available in
+<a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">a
+git repository</a>, currently available from github.</p>
+
+<p>So far I have identified 3186 unique IMDB title IDs. To gain
+better understanding of the structure of the data set, I created a
+histogram of the year associated with each movie (typically release
+year). It is interesting to notice where the peaks and dips in the
+graph are located. I wonder why they are placed there. I suspect
+World War II caused the dip around 1940, but what caused the peak
+around 2010?</p>
+
+<p align="center"><img src="http://people.skolelinux.org/pere/blog/images/2017-11-18-verk-i-det-fri-filmer.png" /></p>
+
+<p>I've so far identified ten sources for IMDB title IDs for movies in
+the public domain or with a free license. This is the statistics
+reported when running 'make stats' in the git repository:</p>
+
+<pre>
+ 249 entries ( 6 unique) with and 288 without IMDB title ID in free-movies-archive-org-butter.json
+ 2301 entries ( 540 unique) with and 0 without IMDB title ID in free-movies-archive-org-wikidata.json
+ 830 entries ( 29 unique) with and 0 without IMDB title ID in free-movies-icheckmovies-archive-mochard.json
+ 2109 entries ( 377 unique) with and 0 without IMDB title ID in free-movies-imdb-pd.json
+ 291 entries ( 122 unique) with and 0 without IMDB title ID in free-movies-letterboxd-pd.json
+ 144 entries ( 135 unique) with and 0 without IMDB title ID in free-movies-manual.json
+ 350 entries ( 1 unique) with and 801 without IMDB title ID in free-movies-publicdomainmovies.json
+ 4 entries ( 0 unique) with and 124 without IMDB title ID in free-movies-publicdomainreview.json
+ 698 entries ( 119 unique) with and 118 without IMDB title ID in free-movies-publicdomaintorrents.json
+ 8 entries ( 8 unique) with and 196 without IMDB title ID in free-movies-vodo.json
+ 3186 unique IMDB title IDs in total
+</pre>
+
+<p>The entries without IMDB title ID are candidates to increase the
+data set, but might equally well be duplicates of entries already
+listed with IMDB title ID in one of the other sources, or represent
+movies that lack a IMDB title ID. I've seen examples of all these
+situations when peeking at the entries without IMDB title ID. Based
+on these data sources, the lower bound for movies listed in IMDB that
+are legal to distribute on the Internet is between 3186 and 4713.
+
+<p>It would be great for improving the accuracy of this measurement,
+if the various sources added IMDB title ID to their metadata. I have
+tried to reach the people behind the various sources to ask if they
+are interested in doing this, without any replies so far. Perhaps you
+can help me get in touch with the people behind VODO, Public Domain
+Torrents, Public Domain Movies and Public Domain Review to try to
+convince them to add more metadata to their movie entries?</p>
+
+<p>Another way you could help is by adding pages to Wikipedia about
+movies that are legal to distribute on the Internet. If such page
+exist and include a link to both IMDB and The Internet Archive, the
+script used to generate free-movies-archive-org-wikidata.json should
+pick up the mapping as soon as wikidata is updates.</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Quicker Debian installations using eatmydata</title>
- <link>http://people.skolelinux.org/pere/blog/Quicker_Debian_installations_using_eatmydata.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Quicker_Debian_installations_using_eatmydata.html</guid>
- <pubDate>Fri, 25 Nov 2016 14:50:00 +0100</pubDate>
- <description><p>Two years ago, I did some experiments with eatmydata and the Debian
-installation system, observing how using
-<a href="http://people.skolelinux.org/pere/blog/Speeding_up_the_Debian_installer_using_eatmydata_and_dpkg_divert.html">eatmydata
-could speed up the installation</a> quite a bit. My testing measured
-speedup around 20-40 percent for Debian Edu, where we install around
-1000 packages from within the installer. The eatmydata package
-provide a way to disable/delay file system flushing. This is a bit
-risky in the general case, as files that should be stored on disk will
-stay only in memory a bit longer than expected, causing problems if a
-machine crashes at an inconvenient time. But for an installation, if
-the machine crashes during installation the process is normally
-restarted, and avoiding disk operations as much as possible to speed
-up the process make perfect sense.
-
-<p>I added code in the Debian Edu specific installation code to enable
-<a href="https://tracker.debian.org/pkg/libeatmydata">eatmydata</a>,
-but did not have time to push it any further. But a few months ago I
-picked it up again and worked with the libeatmydata package maintainer
-Mattia Rizzolo to make it easier for everyone to get this installation
-speedup in Debian. Thanks to our cooperation There is now an
-eatmydata-udeb package in Debian testing and unstable, and simply
-enabling/installing it in debian-installer (d-i) is enough to get the
-quicker installations. It can be enabled using preseeding. The
-following untested kernel argument should do the trick:</p>
-
-<blockquote><pre>
-preseed/early_command="anna-install eatmydata-udeb"
-</pre></blockquote>
-
-<p>This should ask d-i to install the package inside the d-i
-environment early in the installation sequence. Having it installed
-in d-i in turn will make sure the relevant scripts are called just
-after debootstrap filled /target/ with the freshly installed Debian
-system to configure apt to run dpkg with eatmydata. This is enough to
-speed up the installation process. There is a proposal to
-<a href="https://bugs.debian.org/841153">extend the idea a bit further
-by using /etc/ld.so.preload instead of apt.conf</a>, but I have not
-tested its impact.</p>
+ <title>Some notes on fault tolerant storage systems</title>
+ <link>http://people.skolelinux.org/pere/blog/Some_notes_on_fault_tolerant_storage_systems.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Some_notes_on_fault_tolerant_storage_systems.html</guid>
+ <pubDate>Wed, 1 Nov 2017 15:35:00 +0100</pubDate>
+ <description><p>If you care about how fault tolerant your storage is, you might
+find these articles and papers interesting. They have formed how I
+think of when designing a storage system.</p>
+
+<ul>
+
+<li>USENIX :login; <a
+href="https://www.usenix.org/publications/login/summer2017/ganesan">Redundancy
+Does Not Imply Fault Tolerance. Analysis of Distributed Storage
+Reactions to Single Errors and Corruptions</a> by Aishwarya Ganesan,
+Ramnatthan Alagappan, Andrea C. Arpaci-Dusseau, and Remzi
+H. Arpaci-Dusseau</li>
+
+<li>ZDNet
+<a href="http://www.zdnet.com/article/why-raid-5-stops-working-in-2009/">Why
+RAID 5 stops working in 2009</a> by Robin Harris</li>
+
+<li>ZDNet
+<a href="http://www.zdnet.com/article/why-raid-6-stops-working-in-2019/">Why
+RAID 6 stops working in 2019</a> by Robin Harris</li>
+
+<li>USENIX FAST'07
+<a href="http://research.google.com/archive/disk_failures.pdf">Failure
+Trends in a Large Disk Drive Population</a> by Eduardo Pinheiro,
+Wolf-Dietrich Weber and Luiz André Barroso</li>
+
+<li>USENIX ;login: <a
+href="https://www.usenix.org/system/files/login/articles/hughes12-04.pdf">Data
+Integrity. Finding Truth in a World of Guesses and Lies</a> by Doug
+Hughes</li>
+
+<li>USENIX FAST'08
+<a href="https://www.usenix.org/events/fast08/tech/full_papers/bairavasundaram/bairavasundaram_html/">An
+Analysis of Data Corruption in the Storage Stack</a> by
+L. N. Bairavasundaram, G. R. Goodson, B. Schroeder, A. C.
+Arpaci-Dusseau, and R. H. Arpaci-Dusseau</li>
+
+<li>USENIX FAST'07 <a
+href="https://www.usenix.org/legacy/events/fast07/tech/schroeder/schroeder_html/">Disk
+failures in the real world: what does an MTTF of 1,000,000 hours mean
+to you?</a> by B. Schroeder and G. A. Gibson.</li>
+
+<li>USENIX ;login: <a
+href="https://www.usenix.org/events/fast08/tech/full_papers/jiang/jiang_html/">Are
+Disks the Dominant Contributor for Storage Failures? A Comprehensive
+Study of Storage Subsystem Failure Characteristics</a> by Weihang
+Jiang, Chongfeng Hu, Yuanyuan Zhou, and Arkady Kanevsky</li>
+
+<li>SIGMETRICS 2007
+<a href="http://research.cs.wisc.edu/adsl/Publications/latent-sigmetrics07.pdf">An
+analysis of latent sector errors in disk drives</a> by
+L. N. Bairavasundaram, G. R. Goodson, S. Pasupathy, and J. Schindler</li>
+
+</ul>
+
+<p>Several of these research papers are based on data collected from
+hundred thousands or millions of disk, and their findings are eye
+opening. The short story is simply do not implicitly trust RAID or
+redundant storage systems. Details matter. And unfortunately there
+are few options on Linux addressing all the identified issues. Both
+ZFS and Btrfs are doing a fairly good job, but have legal and
+practical issues on their own. I wonder how cluster file systems like
+Ceph do in this regard. After all, there is an old saying, you know
+you have a distributed system when the crash of a computer you have
+never heard of stops you from getting any work done. The same holds
+true if fault tolerance do not work.</p>
+
+<p>Just remember, in the end, it do not matter how redundant, or how
+fault tolerant your storage is, if you do not continuously monitor its
+status to detect and replace failed disks.</p>
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Oversette bokmål til nynorsk, enklere enn du tror takket være Apertium</title>
- <link>http://people.skolelinux.org/pere/blog/Oversette_bokm_l_til_nynorsk__enklere_enn_du_tror_takket_v_re_Apertium.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Oversette_bokm_l_til_nynorsk__enklere_enn_du_tror_takket_v_re_Apertium.html</guid>
- <pubDate>Thu, 24 Nov 2016 10:50:00 +0100</pubDate>
- <description><p>I Norge er det mange som trenger å skrive både bokmål og nynorsk.
-Eksamensoppgaver, offentlige brev og nyheter er eksempler på tekster
-der det er krav om skriftspråk. I tillegg til alle skoleoppgavene som
-elever over det ganske land skal levere inn hvert år. Det mange ikke
-vet er at selv om de kommersielle alternativene
-<a href="https://translate.google.com/">Google Translate</a> og
-<a href="https://www.bing.com/translator/">Bing Translator</a> ikke kan
-bidra med å oversette mellom bokmål og nynorsk, så finnes det et
-utmerket fri programvarealternativ som kan. Oversetterverktøyet
-Apertium har støtte for en rekke språkkombinasjoner, og takket være
-den utrettelige innsatsen til blant annet Kevin Brubeck Unhammer, kan
-en bruke webtjenesten til å fylle inn en tekst på bokmål eller
-nynorsk, og få den automatoversatt til det andre skriftspråket.
-Resultatet er ikke perfekt, men et svært godt utgangspunkt. Av og til
-er resultatet så bra at det kan benyttes uten endringer. Jeg vet
-f.eks. at store deler av Joomla ble oversatt til nynorsk ved hjelp
-Apertium. Høres det ut som noe du kan ha bruk for? Besøk i så fall
-<a href="https://www.apertium.org/">Apertium.org</a> og fyll inn
-teksten din i webskjemaet der.
-
-<p>Hvis du trenger maskinell tilgang til den bakenforliggende
-teknologien kan du enten installere pakken
-<a href="https://tracker.debian.org/apertium-nno-nob">apertium-nno-nob</a>
-på en Debian-maskin eller bruke web-API-et tilgjengelig fra
-api.apertium.org. Se
-<a href="http://wiki.apertium.org/wiki/Apertium-apy">API-dokumentasjonen</a>
-for detaljer om web-API-et. Her kan du se hvordan resultatet blir for
-denne teksten som ble skrevet på bokmål over maskinoversatt til
-nynorsk.</p>
-
-<hr/>
-
-<p>I Noreg er det mange som treng å skriva både bokmål og nynorsk.
-Eksamensoppgåver, offentlege brev og nyhende er døme på tekster der
-det er krav om skriftspråk. I tillegg til alle skuleoppgåvene som
-elevar over det ganske land skal levera inn kvart år. Det mange ikkje
-veit er at sjølv om dei kommersielle alternativa
-<a href="https://translate.google.com/">Google *Translate</a> og
-<a href="https://www.bing.com/translator/">Bing *Translator</a> ikkje
-kan bidra med å omsetja mellom bokmål og nynorsk, så finst det eit
-utmerka fri programvarealternativ som kan. Omsetjarverktøyet
-*Apertium har støtte for ei rekkje språkkombinasjonar, og takka vera
-den utrøyttelege innsatsen til blant anna Kevin Brubeck Unhammer, kan
-ein bruka *webtjenesten til å fylla inn ei tekst på bokmål eller
-nynorsk, og få den *automatoversatt til det andre skriftspråket.
-Resultatet er ikkje perfekt, men eit svært godt utgangspunkt. Av og
-til er resultatet så bra at det kan nyttast utan endringar. Eg veit
-t.d. at store delar av *Joomla vart omsett til nynorsk ved hjelp
-*Apertium. Høyrast det ut som noko du kan ha bruk for? Besøk i så
-fall <a href="https://www.apertium.org/">*Apertium.org</a> og fyll inn
-teksta di i *webskjemaet der.
-
-<p>Viss du treng *maskinell tilgjenge til den *bakenforliggende
-teknologien kan du anten installera pakken
-<a href="https://tracker.debian.org/apertium-nno-nob">*apertium-*nno-*nob</a>
-på ein *Debian-maskin eller bruka *web-*API-eit tilgjengeleg frå
-*api.*apertium.org. Sjå
-<a href="http://wiki.apertium.org/wiki/Apertium-apy">*API-dokumentasjonen</a>
-for detaljar om *web-*API-eit. Her kan du sjå korleis resultatet vert
-for denne teksta som vart skreva på bokmål over *maskinoversatt til
-nynorsk.</p>
+ <title>Web services for writing academic LaTeX papers as a team</title>
+ <link>http://people.skolelinux.org/pere/blog/Web_services_for_writing_academic_LaTeX_papers_as_a_team.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Web_services_for_writing_academic_LaTeX_papers_as_a_team.html</guid>
+ <pubDate>Tue, 31 Oct 2017 21:00:00 +0100</pubDate>
+ <description><p>I was surprised today to learn that a friend in academia did not
+know there are easily available web services available for writing
+LaTeX documents as a team. I thought it was common knowledge, but to
+make sure at least my readers are aware of it, I would like to mention
+these useful services for writing LaTeX documents. Some of them even
+provide a WYSIWYG editor to ease writing even further.</p>
+
+<p>There are two commercial services available,
+<a href="https://sharelatex.com">ShareLaTeX</a> and
+<a href="https://overleaf.com">Overleaf</a>. They are very easy to
+use. Just start a new document, select which publisher to write for
+(ie which LaTeX style to use), and start writing. Note, these two
+have announced their intention to join forces, so soon it will only be
+one joint service. I've used both for different documents, and they
+work just fine. While
+<a href="https://github.com/sharelatex/sharelatex">ShareLaTeX is free
+software</a>, while the latter is not. According to <a
+href="https://www.overleaf.com/help/17-is-overleaf-open-source">a
+announcement from Overleaf</a>, they plan to keep the ShareLaTeX code
+base maintained as free software.</p>
+
+But these two are not the only alternatives.
+<a href="https://app.fiduswriter.org/">Fidus Writer</a> is another free
+software solution with <a href="https://github.com/fiduswriter">the
+source available on github</a>. I have not used it myself. Several
+others can be found on the nice
+<a href="https://alternativeto.net/software/sharelatex/">alterntiveTo
+web service</a>.
+
+<p>If you like Google Docs or Etherpad, but would like to write
+documents in LaTeX, you should check out these services. You can even
+host your own, if you want to. :)</p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
<item>
- <title>Hyperions magasin Pegasus går for Creative Commons</title>
- <link>http://people.skolelinux.org/pere/blog/Hyperions_magasin_Pegasus_g_r_for_Creative_Commons.html</link>
- <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Hyperions_magasin_Pegasus_g_r_for_Creative_Commons.html</guid>
- <pubDate>Tue, 22 Nov 2016 20:10:00 +0100</pubDate>
- <description><p>For noen dager siden ble jeg tipset av min venn Andreas
-Aanerud om at <a href="http://magasinetpegasus.no">magasinet
-Pegasus</a> skulle ta i bruk
-<a href="https://creativecommons.org/">Creative
-Commons</a>-lisensiering på sine artikler. Han fortalte at den
-direkte årsaken var at han hadde blitt inspirert av å lese
-<a href=" http://www.lulu.com/shop/http://www.lulu.com/shop/lawrence-lessig/fri-kultur/paperback/product-22441576.html">boken
-Fri kultur</a>
-(<a href="https://github.com/petterreinholdtsen/free-culture-lessig">github</a>)
-og foreslått endringen. Jeg ble veldig glad for å høre
-dette, da det er det første konkrete tilfellet jeg har hørt om der den
-norske oversettelsen av <a href="http://www.free-culture.cc/">
-Lawrence Lessigs bok Free Culture</a> som jeg ga ut i fjor høst hadde
-fått noen til å ta i bruk Creative Commons.</p>
-
-<p>Andreas fikk boken av meg som takk for at han inviterte meg til
-<a href="http://www.gathering.org/">The Gathering</a>, og jeg er veldig
-glad for at den falt i smak. Jeg ble nysgjerrig på hva som var
-bakgrunnen for denne policy-endringen hos Hyperion og han sa seg
-villig til å la seg intervjue til bloggen min. </p>
-
-<blockquote>
-
-<p><strong>Hvilke tanker gjorde du deg da boken lå i hånden første
-gang?</strong></p>
-
-<p>Jeg husker da jeg fikk boken, etter en omvisning på The Gathering i
-2016, der jeg var Core Organizer. The Gathering er jo et sted hvor en
-fremmer delingskultur, i alt fra kode, til løsninger og «hacks», så en
-kan vel si at boken er veldig relevant!</p>
-
-<p>Mine første tanker om boken, var at den trengte et grafisk løft.
-Selv har jeg dysleksi og er ikke verdens beste i å lese, men for meg
-så skal ikke det bety at jeg ikke klarer å lese. Jeg har jo også mine
-egne tanker om «Fri kultur», ettersom jeg har jobbet med noen norske
-filmer via NRK og TV2 og nå sitter som en teknisk leder i
-filmavdelingen til Schjærven Reklamebyrå.</p>
-
-<p><strong>Har du lest boken, og hva tenker du om den nå?</strong></p>
-
-<p>Jeg har lest boken, og for meg er det jo veldig moro å kunne si at
-Disney var en pirat og nå ha bevisene. Men det å gå fra Disney via
-RIAA, og så igjennom en jungel av teknikk og programmering og ende opp
-med spørsmålet om vi alle piratkopierer litt, er enda bedre. For ja,
-boken klarer å få frem en diskusjon om åndsverk på en god måte
-gjennom en samling historier, men den viste meg også et bilde, hvor
-teknologi blir kneblet, og ikke får lov til å utvikle seg, ettersom
-«opphavsrettsinnehaverne» bryr seg mer om sin industri enn om verden
-går fremover. Ta f.eks. internettradio! Hvorfor tuller vi med DAB+
-og alt det der, når radio kan være en app på alle telefoner i dag.
-Men den største tanken som jeg satt igjen med, er at vi må få færre
-advokater og flere tenkere som kan dra oss vekk fra de feilene vi er i
-ferd med å ende opp i.</p>
-
-<p><strong>Har budskapet i boken påvirker deg og det du holder på
-med?</strong></p>
-
-<p>The Gathering sin moderforening er
-<a href="http://www.kandu.no/">KANDU</a>, som er et stolt medlem av <a
-href="http://n4f.no/">Hyperion</a>. Hyperion har et mandat igjennom
-sitt interne magasin Pegasus å fremme Hyperion sine
-medlemsarrangementer og kultur. Dette tror jeg er veldig viktig, og en
-av de viktigste virkemidlene det magasinet nå har fått, er pålegget om
-å publisere alt under de forskjellige Creative Commons
-retningslinjer. Grunnen til at Pegasus kan velge fritt blant lisensene
-til Creative Commons er deres bruk av freelancere m.m. som også må få
-sine rettigheter dekket.</p>
-
-<p>Det er et steg i riktig retning som jeg håper, vil gi lokalaviser,
-nasjonale aviser, bloggere m.m. muligheten til å referere til Pegasus
-sitt innhold uten å måtte be om tillatelse først, som i bunnen vil
-hjelpe oss å spre vår kultur i Hyperion.</p>
-
-<p><strong>Hva fikk Pegasus til å vedta retninglinjer om bruk av
-Creative Commons, og hvordan kom dere frem til en slik
-policy?</strong></p>
-
-<p>Dette skjedde på Hyperion sitt landsting, hvor jeg ønsket å fremme
-Creative Commons som en retning som flere mener magasinet burde ta,
-hvordan Pegasus tar det i bruk er mer opp til redaksjonen. Det som var
-trist er at en del har misforstått hva Creative Commons er. Vi fikk
-en veldig het «debatt» på facebook i etterkant hvor noen blant annet
-mener at dette vedtaket har drept Pegasus.</p>
-
-<p>Personlig syntes jeg disse reaksjonene er rare, ettersom Pegasus er
-et medlemsmagasin og magasinet sitt mål er å spre vår fantastiske
-kultur. Jeg mener at Ceative Commons-bruksvilkår på artikler skaper
-en veldig god mulighet til å spre denne kulturen. Det gjør at større
-og mindre aviser kan låne artikler fra medlemsmagasinet og publisere
-det hos seg, slik at effekten nettopp er fremme vår kultur.</p>
-
-<p>Jeg gleder meg til å se hvordan redaksjonen håndhever bruken av
-Creative Commons.</p>
-
-<p><strong>Hvem tror du kunne ha mest nytte av å lese Fri
-kultur?</strong></p>
-
-<p>Jeg tror at boken Fri kultur bør leses av de som ønsker en debatt
-om nye medier, samt de som jobber med medier og føler seg «truet» av
-utviklingen. Kanskje det kan være et lysglimt om at vi må heller være
-med å utvikle oss, enn å stoppe opp og «beskytte» våre eier-, penge-
-og materielle interesser.</p>
-
-<p>Spørsmålet for redaksjoner vil vel være om de «tjener» på klikk og
-sine artikler via annonser, i så fall ville jeg tenkt litt rundt
-spredningen. Nettavisen Digi.no gjorde en analyse i 2015 som var
-veldig fin. Hvor de måtte konkludere med at de fikk ut budskapet
-bedre, men de mistet inntekter på annonsevisning.</p>
-
-<p>Derfor for et magasin som skal «spre» kultur, så burde Creative
-Commons være en no-brainer, en kunne også kanskje argumentere med at
-NRK også burde gjøre dette, ettersom de ikke lever av reklame, og vi
-betaler for innholdet deres.</p>
-
-<p><strong>Kommer du til å anbefale boken til noen du
-kjenner?</strong></p>
-
-<p>Absolutt! Jeg har faktisk tenkt å gi den videre som en vandrebok,
-til redaksjonen i Pegasus slik at de kan lese den og få noen ider og
-tanker om fri kultur.</p>
-
-<p><strong>Du sier at boken klarer å få frem viktig en diskusjon om
- vern av åndsverk. Boken er jo skrevet med bakgrunn i USAs
- Copyright-lovgiving og ikke den norske åndsverksloven. Hva gjør at
- du mener boken er relevant for den norske debatten?</strong></p>
-
-<p>En av tingene boken pekte på var tanken om hvor opphavsretten skal
-ligge. Skal den ligge hos den som skriver sangen, den som fremfører
-eller den som tar opp sangen. Og når spørsmålet kom tilbake i en
-software-utgave, «hvordan kan Adobe styre opphavsretten i sin eBook
-Publisher» så føler jeg at vi kommer inn på spennende tanker som jeg
-mener vi glemmer i norsk åndsverksdebatt. USA har rett å slett et
-«større bilde» som kanskje vi kan ta lærdom av.</p>
-
-</blockquote>
-
-<p>Jeg er veldig spent på hvordan redaksjonen i Pegasus kommer til å
-ta i bruk Creative Commons, og gleder meg til neste tegn på at
-bokutgivelsen har fått noen til å tenke mer på problemene med dagens
-åndsverksvern.</p>
+ <title>Locating IMDB IDs of movies in the Internet Archive using Wikidata</title>
+ <link>http://people.skolelinux.org/pere/blog/Locating_IMDB_IDs_of_movies_in_the_Internet_Archive_using_Wikidata.html</link>
+ <guid isPermaLink="true">http://people.skolelinux.org/pere/blog/Locating_IMDB_IDs_of_movies_in_the_Internet_Archive_using_Wikidata.html</guid>
+ <pubDate>Wed, 25 Oct 2017 12:20:00 +0200</pubDate>
+ <description><p>Recently, I needed to automatically check the copyright status of a
+set of <a href="http://www.imdb.com/">The Internet Movie database
+(IMDB)</a> entries, to figure out which one of the movies they refer
+to can be freely distributed on the Internet. This proved to be
+harder than it sounds. IMDB for sure list movies without any
+copyright protection, where the copyright protection has expired or
+where the movie is lisenced using a permissive license like one from
+Creative Commons. These are mixed with copyright protected movies,
+and there seem to be no way to separate these classes of movies using
+the information in IMDB.</p>
+
+<p>First I tried to look up entries manually in IMDB,
+<a href="https://www.wikipedia.org/">Wikipedia</a> and
+<a href="https://www.archive.org/">The Internet Archive</a>, to get a
+feel how to do this. It is hard to know for sure using these sources,
+but it should be possible to be reasonable confident a movie is "out
+of copyright" with a few hours work per movie. As I needed to check
+almost 20,000 entries, this approach was not sustainable. I simply
+can not work around the clock for about 6 years to check this data
+set.</p>
+
+<p>I asked the people behind The Internet Archive if they could
+introduce a new metadata field in their metadata XML for IMDB ID, but
+was told that they leave it completely to the uploaders to update the
+metadata. Some of the metadata entries had IMDB links in the
+description, but I found no way to download all metadata files in bulk
+to locate those ones and put that approach aside.</p>
+
+<p>In the process I noticed several Wikipedia articles about movies
+had links to both IMDB and The Internet Archive, and it occured to me
+that I could use the Wikipedia RDF data set to locate entries with
+both, to at least get a lower bound on the number of movies on The
+Internet Archive with a IMDB ID. This is useful based on the
+assumption that movies distributed by The Internet Archive can be
+legally distributed on the Internet. With some help from the RDF
+community (thank you DanC), I was able to come up with this query to
+pass to <a href="https://query.wikidata.org/">the SPARQL interface on
+Wikidata</a>:
+
+<p><pre>
+SELECT ?work ?imdb ?ia ?when ?label
+WHERE
+{
+ ?work wdt:P31/wdt:P279* wd:Q11424.
+ ?work wdt:P345 ?imdb.
+ ?work wdt:P724 ?ia.
+ OPTIONAL {
+ ?work wdt:P577 ?when.
+ ?work rdfs:label ?label.
+ FILTER(LANG(?label) = "en").
+ }
+}
+</pre></p>
+
+<p>If I understand the query right, for every film entry anywhere in
+Wikpedia, it will return the IMDB ID and The Internet Archive ID, and
+when the movie was released and its English title, if either or both
+of the latter two are available. At the moment the result set contain
+2338 entries. Of course, it depend on volunteers including both
+correct IMDB and The Internet Archive IDs in the wikipedia articles
+for the movie. It should be noted that the result will include
+duplicates if the movie have entries in several languages. There are
+some bogus entries, either because The Internet Archive ID contain a
+typo or because the movie is not available from The Internet Archive.
+I did not verify the IMDB IDs, as I am unsure how to do that
+automatically.</p>
+
+<p>I wrote a small python script to extract the data set from Wikidata
+and check if the XML metadata for the movie is available from The
+Internet Archive, and after around 1.5 hour it produced a list of 2097
+free movies and their IMDB ID. In total, 171 entries in Wikidata lack
+the refered Internet Archive entry. I assume the 70 "disappearing"
+entries (ie 2338-2097-171) are duplicate entries.</p>
+
+<p>This is not too bad, given that The Internet Archive report to
+contain <a href="https://archive.org/details/feature_films">5331
+feature films</a> at the moment, but it also mean more than 3000
+movies are missing on Wikipedia or are missing the pair of references
+on Wikipedia.</p>
+
+<p>I was curious about the distribution by release year, and made a
+little graph to show how the amount of free movies is spread over the
+years:<p>
+
+<p><img src="http://people.skolelinux.org/pere/blog/images/2017-10-25-verk-i-det-fri-filmer.png"></p>
+
+<p>I expect the relative distribution of the remaining 3000 movies to
+be similar.</p>
+
+<p>If you want to help, and want to ensure Wikipedia can be used to
+cross reference The Internet Archive and The Internet Movie Database,
+please make sure entries like this are listed under the "External
+links" heading on the Wikipedia article for the movie:</p>
+
+<p><pre>
+* {{Internet Archive film|id=FightingLady}}
+* {{IMDb title|id=0036823|title=The Fighting Lady}}
+</pre></p>
+
+<p>Please verify the links on the final page, to make sure you did not
+introduce a typo.</p>
+
+<p>Here is the complete list, if you want to correct the 171
+identified Wikipedia entries with broken links to The Internet
+Archive: <a href="http://www.wikidata.org/entity/Q1140317">Q1140317</a>,
+<a href="http://www.wikidata.org/entity/Q458656">Q458656</a>,
+<a href="http://www.wikidata.org/entity/Q458656">Q458656</a>,
+<a href="http://www.wikidata.org/entity/Q470560">Q470560</a>,
+<a href="http://www.wikidata.org/entity/Q743340">Q743340</a>,
+<a href="http://www.wikidata.org/entity/Q822580">Q822580</a>,
+<a href="http://www.wikidata.org/entity/Q480696">Q480696</a>,
+<a href="http://www.wikidata.org/entity/Q128761">Q128761</a>,
+<a href="http://www.wikidata.org/entity/Q1307059">Q1307059</a>,
+<a href="http://www.wikidata.org/entity/Q1335091">Q1335091</a>,
+<a href="http://www.wikidata.org/entity/Q1537166">Q1537166</a>,
+<a href="http://www.wikidata.org/entity/Q1438334">Q1438334</a>,
+<a href="http://www.wikidata.org/entity/Q1479751">Q1479751</a>,
+<a href="http://www.wikidata.org/entity/Q1497200">Q1497200</a>,
+<a href="http://www.wikidata.org/entity/Q1498122">Q1498122</a>,
+<a href="http://www.wikidata.org/entity/Q865973">Q865973</a>,
+<a href="http://www.wikidata.org/entity/Q834269">Q834269</a>,
+<a href="http://www.wikidata.org/entity/Q841781">Q841781</a>,
+<a href="http://www.wikidata.org/entity/Q841781">Q841781</a>,
+<a href="http://www.wikidata.org/entity/Q1548193">Q1548193</a>,
+<a href="http://www.wikidata.org/entity/Q499031">Q499031</a>,
+<a href="http://www.wikidata.org/entity/Q1564769">Q1564769</a>,
+<a href="http://www.wikidata.org/entity/Q1585239">Q1585239</a>,
+<a href="http://www.wikidata.org/entity/Q1585569">Q1585569</a>,
+<a href="http://www.wikidata.org/entity/Q1624236">Q1624236</a>,
+<a href="http://www.wikidata.org/entity/Q4796595">Q4796595</a>,
+<a href="http://www.wikidata.org/entity/Q4853469">Q4853469</a>,
+<a href="http://www.wikidata.org/entity/Q4873046">Q4873046</a>,
+<a href="http://www.wikidata.org/entity/Q915016">Q915016</a>,
+<a href="http://www.wikidata.org/entity/Q4660396">Q4660396</a>,
+<a href="http://www.wikidata.org/entity/Q4677708">Q4677708</a>,
+<a href="http://www.wikidata.org/entity/Q4738449">Q4738449</a>,
+<a href="http://www.wikidata.org/entity/Q4756096">Q4756096</a>,
+<a href="http://www.wikidata.org/entity/Q4766785">Q4766785</a>,
+<a href="http://www.wikidata.org/entity/Q880357">Q880357</a>,
+<a href="http://www.wikidata.org/entity/Q882066">Q882066</a>,
+<a href="http://www.wikidata.org/entity/Q882066">Q882066</a>,
+<a href="http://www.wikidata.org/entity/Q204191">Q204191</a>,
+<a href="http://www.wikidata.org/entity/Q204191">Q204191</a>,
+<a href="http://www.wikidata.org/entity/Q1194170">Q1194170</a>,
+<a href="http://www.wikidata.org/entity/Q940014">Q940014</a>,
+<a href="http://www.wikidata.org/entity/Q946863">Q946863</a>,
+<a href="http://www.wikidata.org/entity/Q172837">Q172837</a>,
+<a href="http://www.wikidata.org/entity/Q573077">Q573077</a>,
+<a href="http://www.wikidata.org/entity/Q1219005">Q1219005</a>,
+<a href="http://www.wikidata.org/entity/Q1219599">Q1219599</a>,
+<a href="http://www.wikidata.org/entity/Q1643798">Q1643798</a>,
+<a href="http://www.wikidata.org/entity/Q1656352">Q1656352</a>,
+<a href="http://www.wikidata.org/entity/Q1659549">Q1659549</a>,
+<a href="http://www.wikidata.org/entity/Q1660007">Q1660007</a>,
+<a href="http://www.wikidata.org/entity/Q1698154">Q1698154</a>,
+<a href="http://www.wikidata.org/entity/Q1737980">Q1737980</a>,
+<a href="http://www.wikidata.org/entity/Q1877284">Q1877284</a>,
+<a href="http://www.wikidata.org/entity/Q1199354">Q1199354</a>,
+<a href="http://www.wikidata.org/entity/Q1199354">Q1199354</a>,
+<a href="http://www.wikidata.org/entity/Q1199451">Q1199451</a>,
+<a href="http://www.wikidata.org/entity/Q1211871">Q1211871</a>,
+<a href="http://www.wikidata.org/entity/Q1212179">Q1212179</a>,
+<a href="http://www.wikidata.org/entity/Q1238382">Q1238382</a>,
+<a href="http://www.wikidata.org/entity/Q4906454">Q4906454</a>,
+<a href="http://www.wikidata.org/entity/Q320219">Q320219</a>,
+<a href="http://www.wikidata.org/entity/Q1148649">Q1148649</a>,
+<a href="http://www.wikidata.org/entity/Q645094">Q645094</a>,
+<a href="http://www.wikidata.org/entity/Q5050350">Q5050350</a>,
+<a href="http://www.wikidata.org/entity/Q5166548">Q5166548</a>,
+<a href="http://www.wikidata.org/entity/Q2677926">Q2677926</a>,
+<a href="http://www.wikidata.org/entity/Q2698139">Q2698139</a>,
+<a href="http://www.wikidata.org/entity/Q2707305">Q2707305</a>,
+<a href="http://www.wikidata.org/entity/Q2740725">Q2740725</a>,
+<a href="http://www.wikidata.org/entity/Q2024780">Q2024780</a>,
+<a href="http://www.wikidata.org/entity/Q2117418">Q2117418</a>,
+<a href="http://www.wikidata.org/entity/Q2138984">Q2138984</a>,
+<a href="http://www.wikidata.org/entity/Q1127992">Q1127992</a>,
+<a href="http://www.wikidata.org/entity/Q1058087">Q1058087</a>,
+<a href="http://www.wikidata.org/entity/Q1070484">Q1070484</a>,
+<a href="http://www.wikidata.org/entity/Q1080080">Q1080080</a>,
+<a href="http://www.wikidata.org/entity/Q1090813">Q1090813</a>,
+<a href="http://www.wikidata.org/entity/Q1251918">Q1251918</a>,
+<a href="http://www.wikidata.org/entity/Q1254110">Q1254110</a>,
+<a href="http://www.wikidata.org/entity/Q1257070">Q1257070</a>,
+<a href="http://www.wikidata.org/entity/Q1257079">Q1257079</a>,
+<a href="http://www.wikidata.org/entity/Q1197410">Q1197410</a>,
+<a href="http://www.wikidata.org/entity/Q1198423">Q1198423</a>,
+<a href="http://www.wikidata.org/entity/Q706951">Q706951</a>,
+<a href="http://www.wikidata.org/entity/Q723239">Q723239</a>,
+<a href="http://www.wikidata.org/entity/Q2079261">Q2079261</a>,
+<a href="http://www.wikidata.org/entity/Q1171364">Q1171364</a>,
+<a href="http://www.wikidata.org/entity/Q617858">Q617858</a>,
+<a href="http://www.wikidata.org/entity/Q5166611">Q5166611</a>,
+<a href="http://www.wikidata.org/entity/Q5166611">Q5166611</a>,
+<a href="http://www.wikidata.org/entity/Q324513">Q324513</a>,
+<a href="http://www.wikidata.org/entity/Q374172">Q374172</a>,
+<a href="http://www.wikidata.org/entity/Q7533269">Q7533269</a>,
+<a href="http://www.wikidata.org/entity/Q970386">Q970386</a>,
+<a href="http://www.wikidata.org/entity/Q976849">Q976849</a>,
+<a href="http://www.wikidata.org/entity/Q7458614">Q7458614</a>,
+<a href="http://www.wikidata.org/entity/Q5347416">Q5347416</a>,
+<a href="http://www.wikidata.org/entity/Q5460005">Q5460005</a>,
+<a href="http://www.wikidata.org/entity/Q5463392">Q5463392</a>,
+<a href="http://www.wikidata.org/entity/Q3038555">Q3038555</a>,
+<a href="http://www.wikidata.org/entity/Q5288458">Q5288458</a>,
+<a href="http://www.wikidata.org/entity/Q2346516">Q2346516</a>,
+<a href="http://www.wikidata.org/entity/Q5183645">Q5183645</a>,
+<a href="http://www.wikidata.org/entity/Q5185497">Q5185497</a>,
+<a href="http://www.wikidata.org/entity/Q5216127">Q5216127</a>,
+<a href="http://www.wikidata.org/entity/Q5223127">Q5223127</a>,
+<a href="http://www.wikidata.org/entity/Q5261159">Q5261159</a>,
+<a href="http://www.wikidata.org/entity/Q1300759">Q1300759</a>,
+<a href="http://www.wikidata.org/entity/Q5521241">Q5521241</a>,
+<a href="http://www.wikidata.org/entity/Q7733434">Q7733434</a>,
+<a href="http://www.wikidata.org/entity/Q7736264">Q7736264</a>,
+<a href="http://www.wikidata.org/entity/Q7737032">Q7737032</a>,
+<a href="http://www.wikidata.org/entity/Q7882671">Q7882671</a>,
+<a href="http://www.wikidata.org/entity/Q7719427">Q7719427</a>,
+<a href="http://www.wikidata.org/entity/Q7719444">Q7719444</a>,
+<a href="http://www.wikidata.org/entity/Q7722575">Q7722575</a>,
+<a href="http://www.wikidata.org/entity/Q2629763">Q2629763</a>,
+<a href="http://www.wikidata.org/entity/Q2640346">Q2640346</a>,
+<a href="http://www.wikidata.org/entity/Q2649671">Q2649671</a>,
+<a href="http://www.wikidata.org/entity/Q7703851">Q7703851</a>,
+<a href="http://www.wikidata.org/entity/Q7747041">Q7747041</a>,
+<a href="http://www.wikidata.org/entity/Q6544949">Q6544949</a>,
+<a href="http://www.wikidata.org/entity/Q6672759">Q6672759</a>,
+<a href="http://www.wikidata.org/entity/Q2445896">Q2445896</a>,
+<a href="http://www.wikidata.org/entity/Q12124891">Q12124891</a>,
+<a href="http://www.wikidata.org/entity/Q3127044">Q3127044</a>,
+<a href="http://www.wikidata.org/entity/Q2511262">Q2511262</a>,
+<a href="http://www.wikidata.org/entity/Q2517672">Q2517672</a>,
+<a href="http://www.wikidata.org/entity/Q2543165">Q2543165</a>,
+<a href="http://www.wikidata.org/entity/Q426628">Q426628</a>,
+<a href="http://www.wikidata.org/entity/Q426628">Q426628</a>,
+<a href="http://www.wikidata.org/entity/Q12126890">Q12126890</a>,
+<a href="http://www.wikidata.org/entity/Q13359969">Q13359969</a>,
+<a href="http://www.wikidata.org/entity/Q13359969">Q13359969</a>,
+<a href="http://www.wikidata.org/entity/Q2294295">Q2294295</a>,
+<a href="http://www.wikidata.org/entity/Q2294295">Q2294295</a>,
+<a href="http://www.wikidata.org/entity/Q2559509">Q2559509</a>,
+<a href="http://www.wikidata.org/entity/Q2559912">Q2559912</a>,
+<a href="http://www.wikidata.org/entity/Q7760469">Q7760469</a>,
+<a href="http://www.wikidata.org/entity/Q6703974">Q6703974</a>,
+<a href="http://www.wikidata.org/entity/Q4744">Q4744</a>,
+<a href="http://www.wikidata.org/entity/Q7766962">Q7766962</a>,
+<a href="http://www.wikidata.org/entity/Q7768516">Q7768516</a>,
+<a href="http://www.wikidata.org/entity/Q7769205">Q7769205</a>,
+<a href="http://www.wikidata.org/entity/Q7769988">Q7769988</a>,
+<a href="http://www.wikidata.org/entity/Q2946945">Q2946945</a>,
+<a href="http://www.wikidata.org/entity/Q3212086">Q3212086</a>,
+<a href="http://www.wikidata.org/entity/Q3212086">Q3212086</a>,
+<a href="http://www.wikidata.org/entity/Q18218448">Q18218448</a>,
+<a href="http://www.wikidata.org/entity/Q18218448">Q18218448</a>,
+<a href="http://www.wikidata.org/entity/Q18218448">Q18218448</a>,
+<a href="http://www.wikidata.org/entity/Q6909175">Q6909175</a>,
+<a href="http://www.wikidata.org/entity/Q7405709">Q7405709</a>,
+<a href="http://www.wikidata.org/entity/Q7416149">Q7416149</a>,
+<a href="http://www.wikidata.org/entity/Q7239952">Q7239952</a>,
+<a href="http://www.wikidata.org/entity/Q7317332">Q7317332</a>,
+<a href="http://www.wikidata.org/entity/Q7783674">Q7783674</a>,
+<a href="http://www.wikidata.org/entity/Q7783704">Q7783704</a>,
+<a href="http://www.wikidata.org/entity/Q7857590">Q7857590</a>,
+<a href="http://www.wikidata.org/entity/Q3372526">Q3372526</a>,
+<a href="http://www.wikidata.org/entity/Q3372642">Q3372642</a>,
+<a href="http://www.wikidata.org/entity/Q3372816">Q3372816</a>,
+<a href="http://www.wikidata.org/entity/Q3372909">Q3372909</a>,
+<a href="http://www.wikidata.org/entity/Q7959649">Q7959649</a>,
+<a href="http://www.wikidata.org/entity/Q7977485">Q7977485</a>,
+<a href="http://www.wikidata.org/entity/Q7992684">Q7992684</a>,
+<a href="http://www.wikidata.org/entity/Q3817966">Q3817966</a>,
+<a href="http://www.wikidata.org/entity/Q3821852">Q3821852</a>,
+<a href="http://www.wikidata.org/entity/Q3420907">Q3420907</a>,
+<a href="http://www.wikidata.org/entity/Q3429733">Q3429733</a>,
+<a href="http://www.wikidata.org/entity/Q774474">Q774474</a></p>
+
+<p>As usual, if you use Bitcoin and want to show your support of my
+activities, please send Bitcoin donations to my address
+<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p>
</description>
</item>
projects / homepage.git / blobdiff