+ <div class="title"><a href="http://people.skolelinux.org/pere/blog/Oppdaterte_kommentarer_til__Evaluation_of__il_legality__for_Popcorn_Time.html">Oppdaterte kommentarer til «Evaluation of (il)legality» for Popcorn Time</a></div>
+ <div class="date">16th January 2019</div>
+ <div class="body"><p>I forrige uke var jeg i Borgarting lagmannsrett som partshjelper og
+ sakkyndig vitne og presenterte mine oppdaterte undersøkelser rundt
+ <a href="https://github.com/petterreinholdtsen/public-domain-free-imdb">telling
+ av filmverk i det fri</a>, relatert til
+ <a href="https://www.nuug.no/">foreningen NUUG</a>s involvering i <a
+ href="https://www.nuug.no/news/tags/dns-domenebeslag/">saken om
+ Økokrims beslag og senere inndragning av DNS-domenet
+ popcorn-time.no</a>. I forkant hadde jeg oppdatert mitt notat med
+ kommentarer til et av aktors bevis, som forsøkte å måle hvor stor
+ andel ulovligheter som var tilgjengelig via Popcorn Time-avspillere.
+ Jeg mistenker flere kan ha glede av å lese dette notatet, som jeg
+ publiserte en tidligere versjon av i fjor, så her er det. Legger
+ også ved avskrift av dokument 09,13, som er det sentrale dokumentet
+ jeg kommenterer.</p>
+
+<p><strong>Oppdaterte kommentarer til «Evaluation of (il)legality» for
+Popcorn Time</strong></p>
+
+<p><strong>Oppsummering</strong></p>
+
+<p>Målemetoden som Økokrim har lagt til grunn når de påstår at 99% av
+ filmene tilgjengelig fra Popcorn Time deles ulovlig har svakheter
+ som gjør resultatet upålitelig.</p>
+
+<p>De eller den som har vurdert hvorvidt filmer kan lovlig deles er
+ ikke i stand til å identifisere filmer som kan deles lovlig eller er
+ falt i det fri og har tilsynelatende antatt at kun veldig gamle
+ filmer kan deles lovlig. Økokrim legger til grunn at det bare finnes
+ èn film, Charlie Chaplin-filmen «The Circus» fra 1928, som kan deles
+ fritt blant de som ble observert tilgjengelig via ulike Popcorn
+ Time-varianter. Med min begrensede og ufullstendige oversikt finner
+ jeg tre flere blant de observerte filmene: «The Brain That Wouldn't
+ Die» fra 1962, «God’s Little Acre» fra 1958 og «She Wore a Yellow
+ Ribbon» fra 1949. Det er godt mulig det finnes flere. Det finnes
+ dermed minst fire ganger så mange filmer som lovlig kan deles på
+ Internett i datasettet Økokrim har lagt til grunn når det påstås at
+ mindre enn 1 % kan deles lovlig.</p>
+
+<p>Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra
+ ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte
+ filmkatalogene som helhet, hvilket påvirker fordelingen mellom
+ filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I
+ tillegg gir valg av øvre del (de fem første) av søkeresultatene et
+ avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk
+ i det fri i søkeresultatet.</p>
+
+<p>Til sist er det viktig å merke seg at det som måles er ikke
+ (u)lovligheten knyttet til <strong>bruken</strong> av Popcorn Time,
+ men (u)lovligheten til innholdet i ulike bittorrent-filmkataloger
+ som vedlikeholdes av ulike miljøer uavhengig av Popcorn Time, og som
+ ulike Popcorn Time-varianter har benyttet seg av.</p>
+
+<p>Omtalte dokumenter: 09,12, <a href="#dok-09-13">09,13</a>, 09,14,
+ 09,18, 09,19, 09,20.</p>
+
+<p><strong>Utfyllende kommentarer</strong></p>
+
+<p>Økokrim har forklart domstolene at minst 99% av alt som er
+ tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på
+ Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette
+ tallet, og dette notatet er en samling kommentarer rundt målingen
+ Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på
+ saken er at jeg er interessert i å identifisere og telle hvor mange
+ kunstneriske verk som er falt i det fri eller av andre grunner kan
+ lovlig deles på Internett, og dermed var interessert i hvordan en
+ hadde funnet den ene prosenten som kanskje deles lovlig.</p>
+
+<p>Andelen på 99% kommer fra et ukreditert og udatert notatet som tar
+ mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike
+ Popcorn Time-varianter er.</p>
+
+<p>Raskt oppsummert, så forteller metodedokumentet at fordi det ikke
+ er mulig å få tak i komplett liste over alle filmtitler tilgjengelig
+ via Popcorn Time, så lages noe som skal være et representativt
+ utvalg ved å velge 50 tilfeldige søkeord større enn tre tegn fra en
+ ordliste kjent som Dale-Chall. For hvert søkeord gjøres et søk og de
+ første fem filmene i søkeresultatet samles inn inntil 100 unike
+ filmtitler er funnet. Hvis 50 søkeord ikke var tilstrekkelig for å
+ nå 100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt
+ til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut
+ og søkt på flere tilfeldig valgte søkeord inntil 100 unike
+ filmtitler var identifisert.</p>
+
+<p>Deretter ble for hver av filmtitlene «vurdert hvorvidt det var
+ rimelig å forvente om at verket var vernet av copyright, ved å se på
+ om filmen var tilgjengelig i IMDB, samt se på regissør,
+ utgivelsesår, når det var utgitt for bestemte markedsområder samt
+ hvilke produksjons- og distribusjonsselskap som var registrert» (min
+ oversettelse).</p>
+
+<p>Metoden er gjengitt både i de ukrediterte dokumentene 09,13 og
+ 09,19, samt beskrevet fra side 47 i dokument 09,20, lysark datert
+ 2017-02-01. Sistnevnte er kreditert Geerart Bourlon fra Motion
+ Picture Association EMEA.</p>
+
+<p>Metoden virker å ha flere svakheter som gir resultatene en
+ slagside. Den starter med å slå fast at det ikke er mulig å hente ut
+ en komplett liste over alle filmtitler som er tilgjengelig, og at
+ dette er bakgrunnen for metodevalget. Denne forutsetningen er ikke i
+ tråd med det som står i dokument 09,12, som ikke heller har oppgitt
+ forfatter og dato. Dokument 09,12 forteller hvordan hele
+ kataloginnholdet i en bittorrent-katalog ble lasted ned og talt
+ opp. Dokument 09,12 er muligens samme rapport som det ble referert
+ til i dom fra Oslo Tingrett 2017-11-03
+ (<a href="https://www.domstol.no/no/Enkelt-domstol/Oslo--tingrett/Nyheter/ma-sperre-for-popcorn-time/">sak
+ 17-093347TVI-OTIR/05</a>) under navnet rapport av 1. juni 2017 av
+ Alexander Kind Petersen. De ligner, men jeg har ikke sammenlignet
+ dokumentene ord for ord for å kontrollere om de er identiske.</p>
+
+<p>Det finnes flere kilder som kan brukes til å finne filmer som er
+ allemannseie (public domain) eller har bruksvilkår som gjør det
+ lovlig for alle å dele dem på Internett. Jeg har det siste året
+ forsøkt å samle og krysskoble disse listene ved hjelp av tittel-ID i
+ IMDB for å forsøke å telle antall filmer i det fri. Ved å ta
+ utgangspunkt i slike lister (og publiserte filmer for
+ Internett-arkivets del), har jeg så langt klart å identifisere over
+ 14 000 filmer, hovedsaklig spillefilmer. Noen filmer er gått tapt
+ ved at de eneste kjente eksemplarene er blitt ødelagt. Jeg har ikke
+ forsøkt å finne ut hvilke filmer som er gått tapt, ut over å se
+ hvilke filmer som er tilgjengelig på filmdelings-nettsteder.</p>
+
+<p>IMDB er en forkortelse for The Internet Movie Database, en
+ anerkjent kommersiell nettjeneste som brukes aktivt av både
+ filmbransjen og andre til å holde rede på hvilke spillefilmer (og
+ endel andre filmer) som finnes eller er under produksjon, samt
+ informasjon om disse filmene. Datakvaliteten er høy, med få feil og
+ få filmer som mangler. IMDB viser ikke informasjon om
+ opphavsrettslig status for filmene på infosiden for hver film, men
+ frivillige har lagt ut på IMDB-tjenesten lister med filmer som antas
+ å være verk i det fri. Disse listene er en liten del av kildene for
+ min telling av verk som kan lovlig deles på Internett.</p>
+
+<p>De aller fleste oppføringene over verk i det fri er hentet fra IMDB
+ selv, basert på det faktum at alle filmer laget i USA før 1923 er
+ falt i det fri. Tilsvarende tidsgrense for Storbritannia er
+ 1912-07-01, men dette utgjør bare veldig liten del av spillefilmene
+ i IMDB (19 totalt). En annen stor andel kommer fra
+ Internett-arkivet, der jeg har identifisert filmer som har referanse
+ til IMDB. Internett-arkivet, som holder til i USA, har
+ som <a href="https://archive.org/about/terms.php">policy å kun
+ publisere filmer som det er lovlig å distribuere</a>. Jeg har under
+ arbeidet kommet over flere filmer som har blitt fjernet fra
+ Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene
+ som kontrollerer Internett-arkivet har et aktivt forhold til kun å
+ ha lovlig innhold der, selv om det i stor grad er drevet av
+ frivillige. Internett-arkivet har publisert 4.6 millioner
+ videofilmer som samtlige er tilgjengelig også med
+ Bittorrent-protokollen. En annen stor liste med filmer kommer fra
+ det kommersielle selskapet Retro Film Vault, som selger
+ allemannseide filmer til TV- og filmbransjen, Jeg har også benyttet
+ meg av lister over filmer som hevdes å være allemannseie, det være
+ seg Public Domain Review, Public Domain Torrents og Public Domain
+ Movies (to ulike tjenester med samme navn, på .net og .info), samt
+ lister over filmer med Creative Commons-lisensiering fra Wikipedia,
+ VODO og The Hill Productions. Jeg har gjort endel stikkontroll ved å
+ vurdere filmer som kun omtales på en liste. Der jeg har funnet feil
+ som har gjort meg i tvil om vurderingen til de som har laget listen
+ har jeg forkastet listen fullstendig (gjelder for eksemel en av
+ listene fra IMDB).</p>
+
+<p>Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på
+ Internett (fra blant annet Internett-arkivet, Public Domain
+ Torrents, Public Domain Reivew og Public Domain Movies), og knytte
+ dem til oppføringer i IMDB, så har jeg så langt klart å identifisere
+ over 14 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro
+ kan lovlig distribueres av alle på Internett. Som ekstra kilder er
+ det brukt lister over filmer som antas/påstås å være
+ allemannseie. Disse kildene kommer fra miljøer som jobber for å
+ gjøre tilgjengelig for almennheten alle verk som er falt i det fri
+ eller har bruksvilkår som tillater deling.</p>
+
+<p>I tillegg til de over 14 000 filmene der tittel-ID i IMDB er
+ identifisert, har jeg funnet mer enn 26 000 oppføringer der jeg ennå
+ ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Jeg har
+ sett at noen av disse er duplikater av de IMDB-oppføringene som er
+ identifisert så langt, men de fleste jeg har hatt tid til å
+ undersøke så langt har vist seg å ikke være duplikater. Retro Film
+ Vault hevder å ha 44 000 filmverk i det fri i sin katalog, så det er
+ mulig at det reelle tallet er betydelig høyere enn de jeg har klart
+ å identifisere så langt. Konklusjonen en kan trekke fra dette er at
+ tallet 14 000 er nedre grense for hvor mange filmer i IMDB som kan
+ lovlig deles på Internett. I
+ følge <a href="https://www.imdb.com/stats">statistikk fra IMDB</a>
+ er det 4.6 millioner titler registrert, hvorav 3 millioner er
+ TV-serieepisoder.</p>
+
+<p>Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å deles
+ lovlig på Internett, får en følgende histogram:</p>
+
+<p align="center"><img src="http://people.skolelinux.org/pere/blog/images/2019-01-16-dns-beslag-verkidetfri-2018-11-26-histogram-year.png"
+ alt="histogram over frie filmer per år" width="80%"/></p>
+
+<p>En kan i histogrammet se at effekten av manglende registrering
+ eller fornying av registrering er at mange filmer gitt ut i USA før
+ 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere
+ filmer gitt ut de siste årene med bruksvilkår som tillater deling,
+ muligens på grunn av fremveksten
+ av <a href="https://creativecommons.org/">Creative
+ Commons</a>-bevegelsen.</p>
+
+<p>IMDB har lagt ut <a href="https://www.imdb.com/interfaces/">en
+ maskinlesbare liste</a> over alle registreringene i sin database, og
+ ved hjelp av denne har jeg oppsummert antall titler per år i
+ kategoriene «movies» og «short», som er det jeg fokuserer på i min
+ telling. Inn i oversikten er det tegnet hvor stor prosentandel
+ antallet filmer som hevdes å kunne deles lovlig på Internett utgjør
+ av IMDB-totalen. Ut fra oversikten får man en ide om hvor stor andel
+ av totalen som kan mangle i min telling, for eksempel ved å merke
+ seg at få prosenter av filmene utgitt tidlig på 1900-tallet er med i
+ min telling.</p>
+
+<p align="center"><img src="http://people.skolelinux.org/pere/blog/images/2019-01-16-dns-beslag-verkidetfri-2018-11-26-histogram-year-imdb.png"
+ alt="histogram over filmer og frie filmer per år" width="80%" /></p>
+
+<p>For maskinell analyse av katalogene laget jeg et lite program som
+ kobler seg til bittorrent-katalogene som brukes av ulike Popcorn
+ Time-varianter og laster ned komplett liste over filmer i
+ katalogene. Dette bekrefter at det er mulig å hente ut komplett
+ liste med alle filmtitler som er tilgjengelig i katalogene, i strid
+ med påstanden i dokumentene 09,13, 09,19 og 09,20. Jeg har sett på
+ fire bittorrent-kataloger. Den ene ble brukt av klienten
+ tilgjengelig fra www.popcorntime.sh 2017-12-18 og er navngitt «sh» i
+ dette dokumentet. Den andre brukes i følge dokument 09,12 av
+ klienten tilgjengelig fra popcorntime.ag og popcorntime.sh på ukjent
+ tidspunkt og er navngitt «yts» i dette dokumentet. Den tredje ble
+ brukt av websidene tilgjengelig fra popcorntime-online.tv 2017-12-18
+ og er navngitt «apidomain» i dette dokumentet. Den fjerde ble brukt
+ av klienten tilgjengelig fra popcorn-time.to i følge dokument 09,12
+ på ukjent tidspunkt, og er navngitt «ukrfnlge» i dette
+ dokumentet. Hvilke kataloger som brukes av ulike Popcorn
+ Time-klienter endrer seg over tid, da Popcorn Time-klientene i
+ praksis er nettlesere som viser frem ulike nettsider og disse
+ nettsidene bytter datakilder når nettsidens eier ønsker det.</p>
+
+<p>Metoden som Økokrim legger til grunn, skriver i sitt punkt fire at
+ skjønn er en egnet metode for å finne ut om en film kan lovlig deles
+ på Internett eller ikke, og sier at det ble «vurdert hvorvidt det
+ var rimelig å forvente om at verket var vernet av copyright». For
+ det første er det ikke nok å slå fast om en film er «vernet av
+ copyright» for å vite om det er lovlig å dele den på Internett eller
+ ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår
+ som tillater deling på Internett. Eksempler på dette er Creative
+ Commons-lisensierte filmer som Citizenfour fra 2014 og Sintel fra
+ 2010. I tillegg til slike finnes det flere filmer som nå er
+ allemannseie (public domain) på grunn av manglende registrering
+ eller fornying av registrering selv om både regisør,
+ produksjonsselskap og distributør ønsker seg vern. Eksempler på
+ dette er Plan 9 from Outer Space fra 1959 og Night of the Living
+ Dead fra 1968. Alle filmer fra USA som var allemannseie før
+ 1989-03-01 forble i det fri da Bern-konvensjonen, som tok effekt i
+ USA på det tidspunktet, ikke ble gitt tilbakevirkende
+ kraft. <a href="https://www.latimes.com/local/lanow/la-me-ln-happy-birthday-song-lawsuit-decision-20150922-story.html">Historien
+ om sangen «Happy birthday»</a>, der betaling for bruk har vært krevd
+ inn i flere tiår selv om sangen ikke var vernet av åndsverksloven,
+ forteller oss at hvert enkelt verk må vurderes nøye og i detalj før
+ en kan slå fast om verket er allemannseie eller ikke, det holder
+ ikke å tro på selverklærte rettighetshavere. Flere eksempel på verk
+ i det fri som feilklassifiseres som vernet er fra dokument 09,18,
+ som lister opp søkeresultater for pklienten omtalt som
+ popcorntime.sh og i følge notatet kun inneholder en film (The Circus
+ fra 1928) som under tvil kan antas å være allemannseie.</p>
+
+<p>Ved rask gjennomlesning av dokument 09,18, som inneholder
+ skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt
+ både filmen «The Brain That Wouldn't Die» fra 1962 som
+ er <a href="https://archive.org/details/brain_that_wouldnt_die">tilgjengelig
+ fra Internett-arkivet</a> og
+ som <a href="https://en.wikipedia.org/wiki/List_of_films_in_the_public_domain_in_the_United_States">i
+ følge Wikipedia er allemannseie i USA</a> da den ble gitt ut i 1962
+ uten «copyright»-merking, og filmen «God’s Little Acre» fra
+ 1958 <a href="https://en.wikipedia.org/wiki/God%27s_Little_Acre_%28film%29">som
+ er lagt ut på Wikipedia</a>, der det fortelles at sort/hvit-utgaven
+ er allemannseie. Det fremgår ikke fra dokument 09,18 om filmen
+ omtalt der er sort/hvit-utgaven. Av kapasitetsårsaker og på grunn av
+ at filmoversikten i dokument 09,18 ikke er maskinlesbart har jeg
+ ikke forsøkt å sjekke alle filmene som listes opp der om mot liste
+ med filmer som er antatt lovlig kan distribueres på Internet.</p>
+
+<p>Ved maskinell gjennomgang av listen med IMDB-referanser under
+ regnearkfanen «Unique titles» i dokument 09.14, fant jeg i tillegg
+ filmen «She Wore a Yellow Ribbon» fra 1949) som nok også er
+ feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig
+ fra Internett-arkivet og markert som allemannseie der. Det virker
+ dermed å være minst fire ganger så mange filmer som kan lovlig deles
+ på Internett enn det som er lagt til grunn når en påstår at minst
+ 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere
+ undersøkelser kan avdekke flere. Poenget er uansett ikke hvor mange
+ filmer i listen som er lovlig å dele på Internet, men at metodens
+ punkt med vurdering av «rimelig å forvente om at verket var vernet
+ av copyright» gjør metoden upålitelig.</p>
+
+<p>Den omtalte målemetoden velger ut tilfeldige søketermer fra
+ ordlisten Dale-Chall. Den ordlisten inneholder 3000 enkle engelske
+ ord som fjerdeklassinger i USA er forventet å forstå. Det fremgår
+ ikke hvorfor akkurat denne ordlisten er valgt, og det er uklart for
+ meg om den er egnet til å få et representativt utvalg av
+ filmer. Mange av ordene gir tomt søkeresultat. Ved å simulerte
+ tilsvarende søk ser jeg store avvik fra fordelingen i katalogen for
+ enkeltmålinger. Dette antyder at enkeltmålinger av 100 filmer slik
+ målemetoden beskriver er gjort, ikke er velegnet til å finne andel
+ ulovlig innhold i bittorrent-katalogene.</p>
+
+<p>En kan motvirke dette store avviket for enkeltmålinger ved å gjøre
+ mange søk og slå sammen resultatet. Jeg har testet ved å gjennomføre
+ 100 enkeltmålinger (dvs. måling av (100x100=) 10 000 tilfeldig
+ valgte filmer) som gir mindre, men fortsatt betydelig avvik, i
+ forhold til telling av filmer pr år i hele katalogen.</p>
+
+<p>Målemetoden henter ut de fem øverste i
+ søkeresultatet. Søkeresultatene er sortert på antall
+ bittorrent-klienter registrert som delere i katalogene, hvilket kan
+ gi en slagside mot hvilke filmer som er populære blant de som bruker
+ bittorrent-katalogene, uten at det forteller noe om hvilket innhold
+ som er tilgjengelig eller hvilket innhold som deles med Popcorn
+ Time-klienter. Jeg har forsøkt å måle hvor stor en slik slagside
+ eventuelt er ved å sammenligne fordelingen hvis en tar de 5 nederste
+ i søkeresultatet i stedet. Avviket for disse to metodene for flere
+ av katalogene er godt synlig på histogramet. Her er histogram over
+ filmer funnet i den komplette katalogen (grønn strek), og filmer
+ funnet ved søk etter ord i Dale-Chall. Grafer merket «top» henter
+ fra de 5 første i søkeresultatet, mens de merket «bottom» henter fra
+ de 5 siste. En kan her se at resultatene påvirkes betydelig av
+ hvorvidt en ser på de første eller de siste filmene i et
+ søketreff.</p>
+
+<p align="center">
+ <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-top.png" width="40%" />
+ <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-sh-bottom.png" width="40%" />
+ <br/>
+ <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-top.png" width="40%" />
+ <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-yts-bottom.png" width="40%" />
+ <br/>
+ <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-top.png" width="40%" />
+ <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-ukrfnlge-bottom.png" width="40%" />
+ <br/>
+ <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-top.png" width="40%" />
+ <img src="http://people.skolelinux.org/pere/blog/images/2017-12-20-histogram-year-apidomain-bottom.png" width="40%" />
+</p>
projects / homepage.git / blobdiff