X-Git-Url: http://pere.pagekite.me/gitweb/homepage.git/blobdiff_plain/db4d7a331e13d9f644d72f3c10c6e2fdec1f7a38..0ecdb02a40200c6afdaa69867317396bb10f85bd:/blog/index.html diff --git a/blog/index.html b/blog/index.html index fd8545b70b..712020be71 100644 --- a/blog/index.html +++ b/blog/index.html @@ -20,83 +20,59 @@
-
Some notes on fault tolerant storage systems
-
1st November 2017
-

If you care about how fault tolerant your storage is, you might -find these articles and papers interesting. They have formed how I -think of when designing a storage system.

- - - -

Several of these research papers are based on data collected from -hundred thousands or millions of disk, and their findings are eye -opening. The short story is simply do not implicitly trust RAID or -redundant storage systems. Details matter. And unfortunately there -are few options on Linux addressing all the identified issues. Both -ZFS and Btrfs are doing a fairly good job, but have legal and -practical issues on their own. I wonder how cluster file systems like -Ceph do in this regard. After all, there is an old saying, you know -you have a distributed system when the crash of a compyter you have -never heard of stops you from getting any work done. The same holds -true if fault tolerance do not work.

- -

Just remember, in the end, it do not matter how redundant, or how -fault tolerant your storage is, if you do not continuously monitor its -status to detect and replace failed disks.

+
MIME type "text/vnd.sosi" for SOSI map data
+
20th May 2019
+

As part of my involvement in the work to +standardise +a REST based API for Noark 5, the Norwegian archiving standard, I +spent some time the last few months to try to register a +MIME type +and PRONOM +code for the SOSI file format. The background is that there is a +set of formats approved for long term storage and archiving in Norway, +and among these formats, SOSI is the only format missing a MIME type +and PRONOM code.

+ +

What is SOSI, you might ask? To quote Wikipedia: SOSI is short for +Samordnet Opplegg for Stedfestet Informasjon (literally "Coordinated +Approach for Spatial Information", but more commonly expanded in +English to Systematic Organization of Spatial Information). It is a +text based file format for geo-spatial vector information used in +Norway. Information about the SOSI format can be found in English +from Wikipedia. The +specification is available in Norwegian from +the +Norwegian mapping authority. The SOSI standard, which originated +in the beginning of ninety eighties, was the inspiration and formed the +basis for the XML based +Geography +Markup Language.

+ +

I have so far written +a pattern matching +rule for the file(1) unix tool to recognize SOSI files, submitted +a request to the PRONOM project to have a PRONOM ID assigned to the +format (reference TNA1555078202S60), and today send a request to IANA +to register the "text/vnd.sosi" MIME type for this format +[IANA +#1143144]. If all go well, in a few months, anyone implementing +the Noark 5 Tjenestegrensesnitt API spesification should be able to +use an official MIME type and PRONOM code for SOSI files. In +addition, anyone using SOSI files on Linux should be able to +automatically recognise the format and web sites handing out SOSI +files can begin providing a more specific MIME type. So far, SOSI +files has been handed out from web sites using the +"application/octet-stream" MIME type, which is just a nice way of +stating "I do not know". Soon, we will know. :)

+ +

As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

- Tags: english, raid, sysadmin. + Tags: english, kart, noark5, standard.
@@ -104,46 +80,155 @@ status to detect and replace failed disks.

-
Web services for writing academic LaTeX papers as a team
-
31st October 2017
-

I was surprised today to learn that a friend in academia did not -know there are easily available web services available for writing -LaTeX documents as a team. I thought it was common knowledge, but to -make sure at least my readers are aware of it, I would like to mention -these useful services for writing LaTeX documents. Some of them even -provide a WYSIWYG editor to ease writing even further.

- -

There are two commercial services available, -ShareLaTeX and -Overleaf. They are very easy to -use. Just start a new document, select which publisher to write for -(ie which LaTeX style to use), and start writing. Note, these two -have announced their intention to join forces, so soon it will only be -one joint service. I've used both for different documents, and they -work just fine. While -ShareLaTeX is free -software, while the latter is not. According to a -announcement from Overleaf, they plan to keep the ShareLaTeX code -base maintained as free software.

- -But these two are not the only alternatives. -Fidus Writer is another free -software solution with the -source available on github. I have not used it myself. Several -others can be found on the nice -alterntiveTo -web service. - -

If you like Google Docs or Etherpad, but would like to write -documents in LaTeX, you should check out these services. You can even -host your own, if you want to. :)

- +
PlantUML for text based UML diagram modelling - nice free software
+
25th March 2019
+

As part of my involvement with the +Nikita +Noark 5 core project, I have been proposing improvements to the +API specification created by The +National Archives of Norway and helped migrating the text from a +version control system unfriendly binary format (docx) to Markdown in +git. Combined with the migration to a public git repository (on +github), this has made it possible for anyone to suggest improvement +to the text.

+ +

The specification is filled with UML diagrams. I believe the +original diagrams were modelled using Sparx Systems Enterprise +Architect, and exported as EMF files for import into docx. This +approach make it very hard to track changes using a version control +system. To improve the situation I have been looking for a good text +based UML format with associated command line free software tools on +Linux and Windows, to allow anyone to send in corrections to the UML +diagrams in the specification. The tool must be text based to work +with git, and command line to be able to run it automatically to +generate the diagram images. Finally, it must be free software to +allow anyone, even those that can not accept a non-free software +license, to contribute.

+ +

I did not know much about free software UML modelling tools when I +started. I have used dia and inkscape for simple modelling in the +past, but neither are available on Windows, as far as I could tell. I +came across a nice +list +of text mode uml tools, and tested out a few of the tools listed +there. The PlantUML tool seemed +most promising. After verifying that the packages +is available in +Debian and found its +Java source under a GPL license on github, I set out to test if it +could represent the diagrams we needed, ie the ones currently in +the +Noark 5 Tjenestegrensesnitt specification. I am happy to report +that it could represent them, even thought it have a few warts here +and there.

+ +

After a few days of modelling I completed the task this weekend. A +temporary link to the complete set of diagrams (original and from +PlantUML) is available in +the +github issue discussing the need for a text based UML format, but +please note I lack a sensible tool to convert EMF files to PNGs, so +the "original" rendering is not as good as the original was in the +publised PDF.

+ +

Here is an example UML diagram, showing the core classes for +keeping metadata about archived documents:

+ +
+@startuml
+skinparam classAttributeIconSize 0
+
+!include media/uml-class-arkivskaper.iuml
+!include media/uml-class-arkiv.iuml
+!include media/uml-class-klassifikasjonssystem.iuml
+!include media/uml-class-klasse.iuml
+!include media/uml-class-arkivdel.iuml
+!include media/uml-class-mappe.iuml
+!include media/uml-class-merknad.iuml
+!include media/uml-class-registrering.iuml
+!include media/uml-class-basisregistrering.iuml
+!include media/uml-class-dokumentbeskrivelse.iuml
+!include media/uml-class-dokumentobjekt.iuml
+!include media/uml-class-konvertering.iuml
+!include media/uml-datatype-elektronisksignatur.iuml
+
+Arkivstruktur.Arkivskaper "+arkivskaper 1..*" <-o "+arkiv 0..*" Arkivstruktur.Arkiv
+Arkivstruktur.Arkiv o--> "+underarkiv 0..*" Arkivstruktur.Arkiv
+Arkivstruktur.Arkiv "+arkiv 1" o--> "+arkivdel 0..*" Arkivstruktur.Arkivdel
+Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" <--o "+arkivdel 1..*" Arkivstruktur.Arkivdel
+Arkivstruktur.Klassifikasjonssystem "+klassifikasjonssystem [0..1]" o--> "+klasse 0..*" Arkivstruktur.Klasse
+Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe
+Arkivstruktur.Arkivdel "+arkivdel 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
+Arkivstruktur.Klasse "+klasse 0..1" o--> "+mappe 0..*" Arkivstruktur.Mappe
+Arkivstruktur.Klasse "+klasse 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
+Arkivstruktur.Mappe --> "+undermappe 0..*" Arkivstruktur.Mappe
+Arkivstruktur.Mappe "+mappe 0..1" o--> "+registrering 0..*" Arkivstruktur.Registrering
+Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Mappe
+Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Dokumentbeskrivelse
+Arkivstruktur.Basisregistrering -|> Arkivstruktur.Registrering
+Arkivstruktur.Merknad "+merknad 0..*" <--* Arkivstruktur.Basisregistrering
+Arkivstruktur.Registrering "+registrering 1..*" o--> "+dokumentbeskrivelse 0..*" Arkivstruktur.Dokumentbeskrivelse
+Arkivstruktur.Dokumentbeskrivelse "+dokumentbeskrivelse 1" o-> "+dokumentobjekt 0..*" Arkivstruktur.Dokumentobjekt
+Arkivstruktur.Dokumentobjekt *-> "+konvertering 0..*" Arkivstruktur.Konvertering
+Arkivstruktur.ElektroniskSignatur -[hidden]-> Arkivstruktur.Dokumentobjekt
+@enduml
+
+ +

The format is quite +compact, with little redundant information. The text expresses +entities and relations, and there is little layout related fluff. One +can reuse content by using include files, allowing for consistent +naming across several diagrams. The include files can be standalone +PlantUML too. Here is the content of +media/uml-class-arkivskaper.iuml:

+ +
+@startuml
+class Arkivstruktur.Arkivskaper  {
+  +arkivskaperID : string
+  +arkivskaperNavn : string
+  +beskrivelse : string [0..1]
+}
+@enduml
+
+ +

This is what the complete diagram for the PlantUML notation above +look like:

+ +

+ +

A cool feature of PlantUML is that the generated PNG files include +the entire original source diagram as text. The source (with include +statements expanded) can be extracted using for example +exiftool. Another cool feature is that parts of the entities +can be hidden after inclusion. This allow to use include files with +all attributes listed, even for UML diagrams that should not list any +attributes.

+ +

The diagram also show some of the warts. Some times the layout +engine place text labels on top of each other, and some times it place +the class boxes too close to each other, not leaving room for the +labels on the relationship arrows. The former can be worked around by +placing extra newlines in the labes (ie "\n"). I did not do it here +to be able to demonstrate the issue. I have not found a good way +around the latter, so I normally try to reduce the problem by changing +from vertical to horizontal links to improve the layout.

+ +

All in all, I am quite happy with PlantUML, and very impressed with +how quickly its lead developer responds to questions. So far I got an +answer to my questions in a few hours when I send an email. I +definitely recommend looking at PlantUML if you need to make UML +diagrams. Note, PlantUML can draw a lot more than class relations. +Check out the documention for a complete list. :)

+ +

As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

- Tags: english. + Tags: english, nice free software, noark5, nuug, standard.
@@ -151,288 +236,56 @@ host your own, if you want to. :)

-
Locating IMDB IDs of movies in the Internet Archive using Wikidata
-
25th October 2017
-

Recently, I needed to automatically check the copyright status of a -set of The Internet Movie database -(IMDB) entries, to figure out which one of the movies they refer -to can be freely distributed on the Internet. This proved to be -harder than it sounds. IMDB for sure list movies without any -copyright protection, where the copyright protection has expired or -where the movie is lisenced using a permissive license like one from -Creative Commons. These are mixed with copyright protected movies, -and there seem to be no way to separate these classes of movies using -the information in IMDB.

- -

First I tried to look up entries manually in IMDB, -Wikipedia and -The Internet Archive, to get a -feel how to do this. It is hard to know for sure using these sources, -but it should be possible to be reasonable confident a movie is "out -of copyright" with a few hours work per movie. As I needed to check -almost 20,000 entries, this approach was not sustainable. I simply -can not work around the clock for about 6 years to check this data -set.

- -

I asked the people behind The Internet Archive if they could -introduce a new metadata field in their metadata XML for IMDB ID, but -was told that they leave it completely to the uploaders to update the -metadata. Some of the metadata entries had IMDB links in the -description, but I found no way to download all metadata files in bulk -to locate those ones and put that approach aside.

- -

In the process I noticed several Wikipedia articles about movies -had links to both IMDB and The Internet Archive, and it occured to me -that I could use the Wikipedia RDF data set to locate entries with -both, to at least get a lower bound on the number of movies on The -Internet Archive with a IMDB ID. This is useful based on the -assumption that movies distributed by The Internet Archive can be -legally distributed on the Internet. With some help from the RDF -community (thank you DanC), I was able to come up with this query to -pass to the SPARQL interface on -Wikidata: - -

-SELECT ?work ?imdb ?ia ?when ?label
-WHERE
-{
-  ?work wdt:P31/wdt:P279* wd:Q11424.
-  ?work wdt:P345 ?imdb.
-  ?work wdt:P724 ?ia.
-  OPTIONAL {
-        ?work wdt:P577 ?when.
-        ?work rdfs:label ?label.
-        FILTER(LANG(?label) = "en").
-  }
-}
-

- -

If I understand the query right, for every film entry anywhere in -Wikpedia, it will return the IMDB ID and The Internet Archive ID, and -when the movie was released and its English title, if either or both -of the latter two are available. At the moment the result set contain -2338 entries. Of course, it depend on volunteers including both -correct IMDB and The Internet Archive IDs in the wikipedia articles -for the movie. It should be noted that the result will include -duplicates if the movie have entries in several languages. There are -some bogus entries, either because The Internet Archive ID contain a -typo or because the movie is not available from The Internet Archive. -I did not verify the IMDB IDs, as I am unsure how to do that -automatically.

- -

I wrote a small python script to extract the data set from Wikidata -and check if the XML metadata for the movie is available from The -Internet Archive, and after around 1.5 hour it produced a list of 2097 -free movies and their IMDB ID. In total, 171 entries in Wikidata lack -the refered Internet Archive entry. I assume the 70 "disappearing" -entries (ie 2338-2097-171) are duplicate entries.

- -

This is not too bad, given that The Internet Archive report to -contain 5331 -feature films at the moment, but it also mean more than 3000 -movies are missing on Wikipedia or are missing the pair of references -on Wikipedia.

- -

I was curious about the distribution by release year, and made a -little graph to show how the amount of free movies is spread over the -years:

- -

- -

I expect the relative distribution of the remaining 3000 movies to -be similar.

- -

If you want to help, and want to ensure Wikipedia can be used to -cross reference The Internet Archive and The Internet Movie Database, -please make sure entries like this are listed under the "External -links" heading on the Wikipedia article for the movie:

- -

-* {{Internet Archive film|id=FightingLady}}
-* {{IMDb title|id=0036823|title=The Fighting Lady}}
-

- -

Please verify the links on the final page, to make sure you did not -introduce a typo.

- -

Here is the complete list, if you want to correct the 171 -identified Wikipedia entries with broken links to The Internet -Archive: Q1140317, -Q458656, -Q458656, -Q470560, -Q743340, -Q822580, -Q480696, -Q128761, -Q1307059, -Q1335091, -Q1537166, -Q1438334, -Q1479751, -Q1497200, -Q1498122, -Q865973, -Q834269, -Q841781, -Q841781, -Q1548193, -Q499031, -Q1564769, -Q1585239, -Q1585569, -Q1624236, -Q4796595, -Q4853469, -Q4873046, -Q915016, -Q4660396, -Q4677708, -Q4738449, -Q4756096, -Q4766785, -Q880357, -Q882066, -Q882066, -Q204191, -Q204191, -Q1194170, -Q940014, -Q946863, -Q172837, -Q573077, -Q1219005, -Q1219599, -Q1643798, -Q1656352, -Q1659549, -Q1660007, -Q1698154, -Q1737980, -Q1877284, -Q1199354, -Q1199354, -Q1199451, -Q1211871, -Q1212179, -Q1238382, -Q4906454, -Q320219, -Q1148649, -Q645094, -Q5050350, -Q5166548, -Q2677926, -Q2698139, -Q2707305, -Q2740725, -Q2024780, -Q2117418, -Q2138984, -Q1127992, -Q1058087, -Q1070484, -Q1080080, -Q1090813, -Q1251918, -Q1254110, -Q1257070, -Q1257079, -Q1197410, -Q1198423, -Q706951, -Q723239, -Q2079261, -Q1171364, -Q617858, -Q5166611, -Q5166611, -Q324513, -Q374172, -Q7533269, -Q970386, -Q976849, -Q7458614, -Q5347416, -Q5460005, -Q5463392, -Q3038555, -Q5288458, -Q2346516, -Q5183645, -Q5185497, -Q5216127, -Q5223127, -Q5261159, -Q1300759, -Q5521241, -Q7733434, -Q7736264, -Q7737032, -Q7882671, -Q7719427, -Q7719444, -Q7722575, -Q2629763, -Q2640346, -Q2649671, -Q7703851, -Q7747041, -Q6544949, -Q6672759, -Q2445896, -Q12124891, -Q3127044, -Q2511262, -Q2517672, -Q2543165, -Q426628, -Q426628, -Q12126890, -Q13359969, -Q13359969, -Q2294295, -Q2294295, -Q2559509, -Q2559912, -Q7760469, -Q6703974, -Q4744, -Q7766962, -Q7768516, -Q7769205, -Q7769988, -Q2946945, -Q3212086, -Q3212086, -Q18218448, -Q18218448, -Q18218448, -Q6909175, -Q7405709, -Q7416149, -Q7239952, -Q7317332, -Q7783674, -Q7783704, -Q7857590, -Q3372526, -Q3372642, -Q3372816, -Q3372909, -Q7959649, -Q7977485, -Q7992684, -Q3817966, -Q3821852, -Q3420907, -Q3429733, -Q774474

+
Release 0.3 of free software archive API system Nikita announced
+
24th March 2019
+

Yesterday, a new release of +Nikita +Noark 5 core project was +announced +on the project mailing list. The free software solution is an +implementation of the Norwegian archive standard Noark 5 used by +government offices in Norway. These were the changes in version 0.3 +since version 0.2.1 (from NEWS.md):

+ +
    +
  • Improved ClassificationSystem and Class behaviour.
    • +
  • Tidied up known inconsistencies between domain model and hateaos links.
    • +
  • Added experimental code for blockchain integration.
    • +
  • Make token expiry time configurable at upstart from properties file.
    • +
  • Continued work on OData search syntax.
    • +
  • Started work on pagination for entities, partly implemented for Saksmappe.
    • +
  • Finalise ClassifiedCode Metadata entity.
    • +
  • Implement mechanism to check if authentication token is still + valid. This allow the GUI to return a more sensible message to the + user if the token is expired.
    • +
  • Reintroduce browse.html page to allow user to browse JSON API using + hateoas links.
    • +
  • Fix bug in handling file/mappe sequence number. Year change was + not properly handled.
    • +
  • Update application yml files to be in sync with current development.
    • +
  • Stop 'converting' everything to PDF using libreoffice. Only + convert the file formats doc, ppt, xls, docx, pptx, xlsx, odt, odp + and ods.
    • +
  • Continued code style fixing, making code more readable.
    • +
  • Minor bug fixes.
    • + +
+ +

If free and open standardized archiving API sound interesting to +you, please contact us on IRC +(#nikita on +irc.freenode.net) or email +(nikita-noark +mailing list).

+ +

As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

- Tags: english, opphavsrett. + Tags: english, noark5, nuug, offentlig innsyn, standard.
@@ -440,26 +293,183 @@ Archive: Q1140317,
-
A one-way wall on the border?
-
14th October 2017
-

I find it fascinating how many of the people being locked inside -the proposed border wall between USA and Mexico support the idea. The -proposal to keep Mexicans out reminds me of -the -propaganda twist from the East Germany government calling the wall -the “Antifascist Bulwark” after erecting the Berlin Wall, claiming -that the wall was erected to keep enemies from creeping into East -Germany, while it was obvious to the people locked inside it that it -was erected to keep the people from escaping.

- -

Do the people in USA supporting this wall really believe it is a -one way wall, only keeping people on the outside from getting in, -while not keeping people in the inside from getting out?

+
Åpen og gjennomsiktig vedlikehold av spesifikasjonen for Noark 5 Tjenestegrensesnitt
+
11th March 2019
+

Et virksomhetsarkiv for meg, er et arbeidsverktøy der en enkelt kan +finne informasjonen en trenger når en trenger det, og der +virksomhetens samlede kunnskap er tilgjengelig. Det må være greit å +finne frem i, litt som en bibliotek. Men der et bibliotek gjerne tar +vare på offentliggjort informasjon som er tilgjengelig flere steder, +tar et arkiv vare på virksomhetsintern og til tider personlig +informasjon som ofte kun er tilgjengelig fra et sted.

+ +

Jeg mistenker den eneste måten å sikre at arkivet inneholder den +samlede kunnskapen i en virksomhet, er å bruke det som virksomhetens +kunnskapslager. Det innebærer å automatisk kopiere (brev, epost, +SMS-er etc) inn i arkivet når de sendes og mottas, og der filtrere +vekk det en ikke vil ta vare på, og legge på metadata om det som er +samlet inn for enkel gjenfinning. En slik bruk av arkivet innebærer at +arkivet er en del av daglig virke, ikke at det er siste hvilested for +informasjon ingen lenger har daglig bruk for. For å kunne være en del +av det daglige virket må arkivet enkelt kunne integreres med andre +systemer. I disse dager betyr det å tilby arkivet som en +nett-tjeneste til hele virksomheten, tilgjengelig for både mennesker +og datamaskiner. Det betyr i tur å både tilby nettsider og et +maskinlesbart grensesnitt.

+ +

For noen år siden erkjente visjonære arkivarer fordelene med et +standardisert maskinlesbart grensesnitt til organisasjonens arkiv. De +gikk igang med å lage noe de kalte +Noark +5 Tjenestegrensesnitt. Gjort riktig, så åpner slike maskinlesbare +grensesnitt for samvirke på tvers av uavhengige programvaresystemer. +Gjort feil, vil det blokkere for samvirke og bidra til +leverandørinnlåsing. For å gjøre det riktig så må grensesnittet være +klart og entydig beskrevet i en spesifikasjon som gjør at +spesifikasjonen tolkes på samme måte uavhengig av hvem som leser den, +og uavhengig av hvem som tar den i bruk.

+ +

For å oppnå klare og entydige beskrivelser i en spesifikasjon, som +trengs for å kunne få en fri og åpen standard (se +Digistan-definisjon), +så trengs det en åpen og gjennomsiktig inngangsport med lav terskel, +der de som forsøker å ta den i bruk enkelt kan få inn korreksjoner, +etterlyse klargjøringer og rapportere uklarheter i spesifikasjonen. +En trenger også automatiserte datasystemer som måler og sjekker at et +gitt grensesnitt fungerer i tråd med spesifikasjonen.

+ +

For Noark 5 Tjenestegrensesnittet er det nå etablert en slik åpen +og gjennomsiktig inngangsport på prosjekttjenesten github. Denne +inngangsporten består først og fremst av en åpen portal som lar enhver +se hva som er gjort av endringer i spesifikasjonsteksten over tid, men +det hører også med et åpent "diskusjonsforum" der en kan +komme med endringsforslag og forespørsler om klargjøringer. Alle +registrerte brukere på github kan bidra med innspill til disse +henvendelsene.

+ +

I samarbeide med Arkivverket har jeg fått opprettet et git-depot +med spesifikasjonsteksten for tjenestegrensesnittet, der det er lagt +inn historikk for endringer i teksten de siste årene, samt lagt inn +endringsforslag og forespørsler om klargjøring av teksten. Bakgrunnen +for at jeg bidro med dette er at jeg er involvert i +Nikita-prosjektet, +som lager en fri programvare-utgave av Noark 5 Tjenestegrensesnitt. +Det er først når en forsøker å lage noe i tråd med en spesifikasjon at +en oppdager hvor mange detaljer som må beskrives i spesifikasjonen for +å sikre samhandling.

+ +

Spesifikasjonen vedlikeholdes i et rent tekstformat, for å ha et +format egnet for versjonskontroll via versjontrollsystemet git. Dette +gjør det både enkelt å se konkret hvilke endringer som er gjort når, +samt gjør det praktisk mulig for enhver med github-konto å sende inn +endringsforslag med formuleringer til spesifikasjonsteksten. Dette +tekstformatet vises frem som nettsider på github, slik at en ikke +trenger spesielle verktøy for å se på siste utgave av +spesifikasjonen.

+ +

Fra dette rene tekstformatet kan det så avledes ulike formater, som +HTML for websider, PDF for utskrift på papir og ePub for lesing med +ebokleser. Avlednings-systemet (byggesystemet) bruker i dag +verktøyene pandoc, latex, docbook-xsl og GNU make til +transformasjonen. Tekstformatet som brukes dag er +Markdown, men det vurderes +å +endre +til formatet RST i fremtiden for bedre styring av utseende på +PDF-utgaven.

+ +

Versjonskontrollsystemet git ble valgt da det er både fleksibelt, +avansert og enkelt å ta i bruk. Github ble valgt (foran f.eks. Gitlab +som vi bruker i Nikita), da Arkivverket allerede hadde tatt i bruk +Github i andre sammenhenger.

+ +

Enkle endringer i teksten kan gjøres av priviligerte brukere +direkte i nettsidene til Github, ved å finne aktuell fil som skal +endres (f.eks. kapitler/03-konformitet.md), klikke på den lille +bokstaven i høyre hjørne over teksten. Det kommer opp en nettside der +en kan endre teksten slik en ønsker. Når en er fornøyd med endringen +så må endringen "sjekkes inn" i historikken. Det gjøres ved +å gi en kort beskrivelse av endringen (beskriv helst hvorfor endringen +trengs, ikke hva som er endret), under overskriften "Commit +changes". En kan og bør legge inn en lengre forklaring i det +større skrivefeltet, før en velger om endringen skal sendes direkte +til 'master'-grenen (dvs. autorativ utgave av spesifikasjonen) eller +om en skal lage en ny gren for denne endringen og opprette en +endringsforespørsel (aka "Pull Request"/PR). Når alt dette +er gjort kan en velge "Commit changes" for å sende inn +endringen. Hvis den er lagt inn i "master"-grenen så er den +en offisiell del av spesifikasjonen med en gang. Hvis den derimot er +en endringsforespørsel, så legges den inn i +listen +over forslag til endringer som venter på korrekturlesing og +godkjenning.

+ +

Større endringer (for eksempel samtidig endringer i flere filer) +gjøres enklest ved å hente ned en kopi av git-depoet lokalt og gjøre +endringene der før endringsforslaget sendes inn. Denne prosessen er +godt beskrivet i dokumentasjon fra github. Git-prosjektet som skal +"klones" er +https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/.

+ +

For å registrere nye utfordringer (issues) eller kommentere på +eksisterende utfordringer benyttes nettsiden +https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/issues. +I skrivende stund er det 48 åpne og 11 avsluttede utfordringer. Et +forslag til hva som bør være med når en beskriver en utfordring er +tilgjengelig som utfordring +#14.

+ +

For å bygge en PDF-utgave av spesifikasjonen så bruker jeg i dag en +Debian GNU/Linux-maskin med en rekke programpakker installert. Når +dette er på plass, så holder det å kjøre kommandoen 'make pdf html' på +kommandolinjen, vente ca. 20 sekunder, før spesifikasjon.pdf og +spesifikasjon.html ligger klar på disken. Verktøyene for bygging av +PDF, HTML og ePub-utgave er også tilgjengelig på Windows og +MacOSX.

+ +

Github bidrar med rammeverket. Men for at åpent vedlikehold av +spesifikasjonen skal fungere, så trengs det folk som bidrar med sin +tid og kunnskap. Arkivverket har sagt de skal bidra med innspill og +godkjenne forslag til endringer, men det blir størst suksess hvis alle +som bruker og lager systemer basert på Noark 5 Tjenestegrensesnitt +bidrar med sin kunnskap og kommer med forslag til forebedringer. Jeg +stiller. Blir du med?

+ +

Det er viktig å legge til rette for åpen diskusjon blant alle +interesserte, som ikke krever at en må godta lange kontrakter med +vilkår for deltagelse. Inntil Arkivverket dukker opp på IRC har vi +laget en IRC-kanal der interesserte enkelt kan orientere seg og +diskutere tjenestegrensesnittet. Alle er velkommen til å ta turen +innom +#nikita +(f.eks. via irc.freenode.net) for å møte likesinnede.

+ +

Det holder dog ikke å ha en god spesifikasjon, hvis ikke de som tar +den i bruk gjør en like god jobb. For å automatisk teste om et konkret +tjenestegrensesnitt følger (min) forståelse av +spesifikasjonsdokumentet, har jeg skrevet et program som kobler seg +opp til et Noark 5v4 REST-tjeneste og tester alt den finner for å se +om det er i henhold til min tolkning av spesifikasjonen. Dette +verktøyet er tilgjengelig fra +https://github.com/petterreinholdtsen/noark5-tester, +og brukes daglig mens vi utvikler Nikita for å sikre at vi ikke +introduserer nye feil. Hvis en skal sikre samvirke på tvers av ulike +systemer er det helt essensielt å kunne raskt og automatisk sjekke at +tjenestegrensesnittet oppfører seg som forventet. Jeg håper andre som +lager sin utgave av tjenestegrensesnittet vi bruke dette verktøyet, +slik at vi tidlig og raskt kan oppdage hvor vi har tolket +spesifikasjonen ulikt, og dermed få et godt grunnlag for å gjøre +spesifikasjonsteksten enda klarere og bedre.

+ +

Dagens beskrivelse av Noark 5 Tjenestegrensesnitt er et svært godt +utgangspunkt for å gjøre virksomhetens arkiv til et dynamisk og +sentralt arbeidsverktøy i organisasjonen. Blir du med å gjøre den +enda bedre?

- Tags: english. + Tags: digistan, noark5, norsk, standard.
@@ -467,48 +477,50 @@ while not keeping people in the inside from getting out?

-
Generating 3D prints in Debian using Cura and Slic3r(-prusa)
-
9th October 2017
-

At my nearby maker space, -Sonen, I heard the story that it -was easier to generate gcode files for theyr 3D printers (Ultimake 2+) -on Windows and MacOS X than Linux, because the software involved had -to be manually compiled and set up on Linux while premade packages -worked out of the box on Windows and MacOS X. I found this annoying, -as the software involved, -Cura, is free software -and should be trivial to get up and running on Linux if someone took -the time to package it for the relevant distributions. I even found -a request for adding into -Debian from 2013, which had seem some activity over the years but -never resulted in the software showing up in Debian. So a few days -ago I offered my help to try to improve the situation.

- -

Now I am very happy to see that all the packages required by a -working Cura in Debian are uploaded into Debian and waiting in the NEW -queue for the ftpmasters to have a look. You can track the progress -on -the -status page for the 3D printer team.

- -

The uploaded packages are a bit behind upstream, and was uploaded -now to get slots in the NEW -queue while we work up updating the packages to the latest -upstream version.

- -

On a related note, two competitors for Cura, which I found harder -to use and was unable to configure correctly for Ultimaker 2+ in the -short time I spent on it, are already in Debian. If you are looking -for 3D printer "slicers" and want something already available in -Debian, check out -slic3r and -slic3r-prusa. -The latter is a fork of the former.

+
DÃ¥rlig med sikkerhetsoppdateringer for Ruters billettautomater i Oslo?
+
13th February 2019
+

For +syv år siden oppdaget jeg at billettautomater for +kollektivtrafikken i Oslo kjørte +Windows 2000 +Professional. Operativsystemet har ikke fått sikkerhetsfikser fra +Microsoft siden 2010-07-13 i følge dem selv. Den samme versjonen av +operativsystemet var i bruk +for +to og et halvt år siden, og jammen er det ikke også i bruk den dag +i dag:

+ +

[Bilde av Ruters billettautomat med Windows 2000-feilmelding]

+ +

Bildet er tatt i dag av Kirill Miazine og tilgjengelig for bruk med +bruksvilkårene til +Creative +Commons Attribution 4.0 International (CC BY 4.0).

+ +

Kanskje det hadde vært +bedre +med gratis kollektivtrafikk, slik at vi slapp å stole på +datakompetansen til Ruter for å verne våre privatliv samt holde +personopplysninger og betalingsinformasjon unna uvedkommende. Eneste +måten å sikre at hvor en befinner seg ikke kan hentes ut fra Ruters +systemer er å betale enkeltbilletter med kontanter. Jeg vet at Ruter +har en god historie om hvor personvernvennlige mobil-app og +RFID-kortene er, men den historien er ikke mulig å uavhengig +kontrollere uten priviligert tilgang til interne system og blir dermed +bare nok en god historie basert på tillit til de som forteller +historien. Det er ikke slik en sikrer privatsfæren. Det gjør en ved +å sikre at det ikke (kan) registreres informasjon om ens person.

+ +

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. +Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: 3d-printer, debian, english. + Tags: betalkontant, norsk, ruter.
@@ -516,30 +528,49 @@ The latter is a fork of the former.

-
Mangler du en skrue, eller har du en skrue løs?
-
4th October 2017
-
Når jeg holder på med ulike prosjekter, så trenger jeg stadig ulike -skruer. Det siste prosjektet jeg holder på med er å lage -en boks til en -HDMI-touch-skjerm som skal brukes med Raspberry Pi. Boksen settes -sammen med skruer og bolter, og jeg har vært i tvil om hvor jeg kan -få tak i de riktige skruene. Clas Ohlson og Jernia i nærheten har -sjelden hatt det jeg trenger. Men her om dagen fikk jeg et fantastisk -tips for oss som bor i Oslo. -Zachariassen Jernvare AS i -Hegermannsgate -23A på Torshov har et fantastisk utvalg, og åpent mellom 09:00 og -17:00. De selger skruer, muttere, bolter, skiver etc i løs vekt, og -så langt har jeg fått alt jeg har lett etter. De har i tillegg det -meste av annen jernvare, som verktøy, lamper, ledninger, etc. Jeg -håper de har nok kunder til å holde det gående lenge, da dette er en -butikk jeg kommer til å besøke ofte. Butikken er et funn å ha i -nabolaget for oss som liker å bygge litt selv. :)

+
Stortinget vedtar maskinlesbart register over 20% av selskapseierne i Norge
+
7th February 2019
+

Jeg registrerer med glede at Stortinget i dag har +vedtatt +at det skal vedlikeholdes et åpent og maskinlesbart register over +reelle rettighetshavere i Norge. Her kan en kanskje få et +register som kan brukes til å analysere eierskap og kontroll i Norge +maskinelt og knytte det til internasjonale databaser som +OpenCorporates. Det liker +jeg.

+ +

Den vedtatte grense på 25 prosents eierandel fikk stor +oppmerksomhet i debatten. Jeg ser fra enkel analyse av skatteetatens +eierskapsregister at 80.4% av alle selskapseiere i registeret har +mindre enn 25% eierandel, mot 73.8% som har mindre enn 5% eierandel. +En grense på 25% vil altså utelukke 80.4% av selskapseierne fra det +vedtatte registeret, og en grense på 5% vil skjule 73.8%. En må helt +ned i registrering av eierandeler over circa 0.002% for å få mer enn +halvparten av selskapseierne i Norge. Mon tro hvor langt ned en må i +eierprosent for å få med alle eierskapene til politisk valgte +representanter?

+ +

Jeg biter meg også merke i at Sivert Bjørnstad fra FrP +tilsynelatende tror at aksjonærregisteret er et eksisterende åpent +register, på tross av at det så vidt jeg vet kun deles ved personlig +oppmøte hos skatteetaten og ikke er tilgjengelig i maskinlesbart +format for enhver, og dermed så langt ikke er importert inn i +OpenCorporates. Det anser jeg ikke for et spesielt åpent register. +Debatten ga ellers lite håp om at situasjonen bedrer seg, da +finansministeren bare henviste til en fraværende næringsministeren og +ikke ville uttale seg om et skikkelig aksjonærregister snart dukker +opp.

+ +

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. +Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: norsk. + Tags: norsk, offentlig innsyn.
@@ -547,64 +578,71 @@ nabolaget for oss som liker å bygge litt selv. :)

-
Visualizing GSM radio chatter using gr-gsm and Hopglass
-
29th September 2017
-

Every mobile phone announce its existence over radio to the nearby -mobile cell towers. And this radio chatter is available for anyone -with a radio receiver capable of receiving them. Details about the -mobile phones with very good accuracy is of course collected by the -phone companies, but this is not the topic of this blog post. The -mobile phone radio chatter make it possible to figure out when a cell -phone is nearby, as it include the SIM card ID (IMSI). By paying -attention over time, one can see when a phone arrive and when it leave -an area. I believe it would be nice to make this information more -available to the general public, to make more people aware of how -their phones are announcing their whereabouts to anyone that care to -listen.

- -

I am very happy to report that we managed to get something -visualizing this information up and running for -Oslo Skaperfestival 2017 -(Oslo Makers Festival) taking place today and tomorrow at Deichmanske -library. The solution is based on the -simple -recipe for listening to GSM chatter I posted a few days ago, and -will show up at the stand of Åpen -Sone from the Computer Science department of the University of -Oslo. The presentation will show the nearby mobile phones (aka -IMSIs) as dots in a web browser graph, with lines to the dot -representing mobile base station it is talking to. It was working in -the lab yesterday, and was moved into place this morning.

- -

We set up a fairly powerful desktop machine using Debian -Buster/Testing with several (five, I believe) RTL2838 DVB-T receivers -connected and visualize the visible cell phone towers using an -English version of -Hopglass. A fairly powerfull machine is needed as the -grgsm_livemon_headless processes from -gr-gsm converting -the radio signal to data packages is quite CPU intensive.

- -

The frequencies to listen to, are identified using a slightly -patched scan-and-livemon (to set the --args values for each receiver), -and the Hopglass data is generated using the -patches -in my meshviewer-output branch. For some reason we could not get -more than four SDRs working. There is also a geographical map trying -to show the location of the base stations, but I believe their -coordinates are hardcoded to some random location in Germany, I -believe. The code should be replaced with code to look up location in -a text file, a sqlite database or one of the online databases -mentioned in -the github -issue for the topic. - -

If this sound interesting, visit the stand at the festival!

+
Websocket from Kraken in Valutakrambod
+
1st February 2019
+

Yesterday, the Kraken virtual currency exchange announced +their +Websocket service, providing a stream of exchange updates to its +clients. Getting updated rates quickly is a good idea, so I used +their API +documentation and added Websocket support to the Kraken service in +Valutakrambod today. The python library can now get updates +from Kraken several times per second, instead of every time the +information is polled from the REST API.

+ +

If this sound interesting to you, the code for valutakrambod is +available from +github. +Here is example output from the example client displaying rates in a +curses view:

+ +

+           Name Pair   Bid         Ask         Spr    Ftcd    Age
+ BitcoinsNorway BTCEUR   2959.2800   3021.0500   2.0%   36    nan    nan
+       Bitfinex BTCEUR   3087.9000   3088.0000   0.0%   36     37    nan
+        Bitmynt BTCEUR   3001.8700   3135.4600   4.3%   36     52    nan
+         Bitpay BTCEUR   3003.8659         nan   nan%   35    nan    nan
+       Bitstamp BTCEUR   3008.0000   3010.2300   0.1%    0      1      1
+           Bl3p BTCEUR   3000.6700   3010.9300   0.3%    1    nan    nan
+       Coinbase BTCEUR   2992.1800   3023.2500   1.0%   34    nan    nan
+         Kraken+BTCEUR   3005.7000   3006.6000   0.0%    0      1      0
+        Paymium BTCEUR   2940.0100   2993.4400   1.8%    0   2688    nan
+ BitcoinsNorway BTCNOK  29000.0000  29360.7400   1.2%   36    nan    nan
+        Bitmynt BTCNOK  29115.6400  29720.7500   2.0%   36     52    nan
+         Bitpay BTCNOK  29029.2512         nan   nan%   36    nan    nan
+       Coinbase BTCNOK  28927.6000  29218.5900   1.0%   35    nan    nan
+        MiraiEx BTCNOK  29097.7000  29741.4200   2.2%   36    nan    nan
+ BitcoinsNorway BTCUSD   3385.4200   3456.0900   2.0%   36    nan    nan
+       Bitfinex BTCUSD   3538.5000   3538.6000   0.0%   36     45    nan
+         Bitpay BTCUSD   3443.4600         nan   nan%   34    nan    nan
+       Bitstamp BTCUSD   3443.0100   3445.0500   0.1%    0      2      1
+       Coinbase BTCUSD   3428.1600   3462.6300   1.0%   33    nan    nan
+         Gemini BTCUSD   3445.8800   3445.8900   0.0%   36    326    nan
+         Hitbtc BTCUSD   3473.4700   3473.0700  -0.0%    0      0      0
+         Kraken+BTCUSD   3444.4000   3445.6000   0.0%    0      1      0
+  Exchangerates EURNOK      9.6685      9.6685   0.0%   36  22226    nan
+     Norgesbank EURNOK      9.6685      9.6685   0.0%   36  22226    nan
+       Bitstamp EURUSD      1.1440      1.1462   0.2%    0      1      2
+  Exchangerates EURUSD      1.1471      1.1471   0.0%   36  22226    nan
+ BitcoinsNorway LTCEUR      1.0009     22.6538  95.6%   35    nan    nan
+ BitcoinsNorway LTCNOK    259.0900    264.9300   2.2%   35    nan    nan
+ BitcoinsNorway LTCUSD      0.0000     29.0000 100.0%   35    nan    nan
+     Norgesbank USDNOK      8.4286      8.4286   0.0%   36  22226    nan
+

+ +

Yes, I notice the strange negative spread on Hitbtc. I've seen the +same on Kraken. Another strange observation is that Kraken some times +announce trade orders a fraction of a second in the future. I really +wonder what is going on there.

+ +

As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

- Tags: debian, english, personvern, surveillance. + Tags: bitcoin, english.
@@ -612,83 +650,34 @@ issue for the topic.
-
Easier recipe to observe the cell phones around you
-
24th September 2017
-

A little more than a month ago I wrote -how -to observe the SIM card ID (aka IMSI number) of mobile phones talking -to nearby mobile phone base stations using Debian GNU/Linux and a -cheap USB software defined radio, and thus being able to pinpoint -the location of people and equipment (like cars and trains) with an -accuracy of a few kilometer. Since then we have worked to make the -procedure even simpler, and it is now possible to do this without any -manual frequency tuning and without building your own packages.

- -

The gr-gsm -package is now included in Debian testing and unstable, and the -IMSI-catcher code no longer require root access to fetch and decode -the GSM data collected using gr-gsm.

- -

Here is an updated recipe, using packages built by Debian and a git -clone of two python scripts:

- -
    - -
  1. Start with a Debian machine running the Buster version (aka - testing).
    2. - -
  2. Run 'apt install gr-gsm python-numpy python-scipy - python-scapy' as root to install required packages.
    3. - -
  3. Fetch the code decoding GSM packages using 'git clone - github.com/Oros42/IMSI-catcher.git'.
    4. - -
  4. Insert USB software defined radio supported by GNU Radio.
    5. - -
  5. Enter the IMSI-catcher directory and run 'python - scan-and-livemon' to locate the frequency of nearby base - stations and start listening for GSM packages on one of them.
    6. - -
  6. Enter the IMSI-catcher directory and run 'python - simple_IMSI-catcher.py' to display the collected information.
    7. - -
- -

Note, due to a bug somewhere the scan-and-livemon program (actually -its underlying -program grgsm_scanner) do not work with the HackRF radio. It does -work with RTL 8232 and other similar USB radio receivers you can get -very cheaply -(for example -from ebay), so for now the solution is to scan using the RTL radio -and only use HackRF for fetching GSM data.

- -

As far as I can tell, a cell phone only show up on one of the -frequencies at the time, so if you are going to track and count every -cell phone around you, you need to listen to all the frequencies used. -To listen to several frequencies, use the --numrecv argument to -scan-and-livemon to use several receivers. Further, I am not sure if -phones using 3G or 4G will show as talking GSM to base stations, so -this approach might not see all phones around you. I typically see -0-400 IMSI numbers an hour when looking around where I live.

- -

I've tried to run the scanner on a -Raspberry Pi 2 and 3 -running Debian Buster, but the grgsm_livemon_headless process seem -to be too CPU intensive to keep up. When GNU Radio print 'O' to -stdout, I am told there it is caused by a buffer overflow between the -radio and GNU Radio, caused by the program being unable to read the -GSM data fast enough. If you see a stream of 'O's from the terminal -where you started scan-and-livemon, you need a give the process more -CPU power. Perhaps someone are able to optimize the code to a point -where it become possible to set up RPi3 based GSM sniffers? I tried -using Raspbian instead of Debian, but there seem to be something wrong -with GNU Radio on raspbian, causing glibc to abort().

+
Strategispillet Unknown Horizons nå tilgjengelig på bokmål
+
23rd January 2019
+

I høst ble jeg inspirert til å bidra til oversettelsen av +strategispillet Unknown +Horizons, og oversatte de nesten 200 strengene i prosjektet til +bokmål. Deretter har jeg gått å ventet på at det kom en ny utgave som +inneholdt disse oversettelsene. Nå er endelig ventetiden over. Den +nye versjonen kom på nyåret, og ble +lastet opp i +Debian for noen få dager siden. I går kveld fikk jeg testet det ut, og +må innrømme at oversettelsene fungerer fint. Fant noen få tekster som +måtte justeres, men ikke noe alvorlig. Har oppdatert +oversettelsen på +Weblate, slik at neste utgave vil være enda bedre. :)

+ +

Spillet er et ressursstyringsspill ala Civilization, og er morsomt +Ã¥ spille for oss som liker slikt. :)

+ +

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. +Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: debian, english, personvern, surveillance. + Tags: debian, norsk.
@@ -696,54 +685,50 @@ with GNU Radio on raspbian, causing glibc to abort().

-
Datalagringsdirektivet kaster skygger over Høyre og Arbeiderpartiet
-
7th September 2017
-

For noen dager siden publiserte Jon Wessel-Aas en bloggpost om -«Konklusjonen om datalagring som -EU-kommisjonen ikke ville at vi skulle få se». Det er en -interessant gjennomgang av EU-domstolens syn på snurpenotovervåkning -av befolkningen, som er klar på at det er i strid med -EU-lovgivingen.

- -

Valgkampen går for fullt i Norge, og om noen få dager er siste -frist for å avgi stemme. En ting er sikkert, Høyre og Arbeiderpartiet -får ikke min stemme -denne -gangen heller. Jeg har ikke glemt at de tvang igjennom loven som -skulle pålegge alle data- og teletjenesteleverandører å overvåke alle -sine kunder. En lov som er vedtatt, og aldri opphevet igjen.

- -

Det er tydelig fra diskusjonen rundt grenseløs digital overvåkning -(eller "Digital Grenseforsvar" som det kalles i Orvellisk nytale) at -hverken Høyre og Arbeiderpartiet har noen prinsipielle sperrer mot å -overvåke hele befolkningen, og diskusjonen så langt tyder på at flere -av de andre partiene heller ikke har det. Mange av -de som stemte -for Datalagringsdirektivet i Stortinget (64 fra Arbeiderpartiet, -25 fra Høyre) er fortsatt aktive og argumenterer fortsatt for å radere -vekk mer av innbyggernes privatsfære.

- -

Når myndighetene demonstrerer sin mistillit til folket, tror jeg -folket selv bør legge litt innsats i å verne sitt privatliv, ved å ta -i bruk ende-til-ende-kryptert kommunikasjon med sine kjente og kjære, -og begrense hvor mye privat informasjon som deles med uvedkommende. -Det er jo ingenting som tyder på at myndighetene kommer til å være vår -privatsfære. -Det -er mange muligheter. Selv har jeg litt sans for -Ring, som er basert på p2p-teknologi -uten sentral kontroll, er fri programvare, og støtter meldinger, tale -og video. Systemet er tilgjengelig ut av boksen fra -Debian og -Ubuntu, og det -finnes pakker for Android, MacOSX og Windows. Foreløpig er det få -brukere med Ring, slik at jeg også bruker -Signal som nettleserutvidelse.

+
Debian now got everything you need to program Micro:bit
+
22nd January 2019
+

I am amazed and very pleased to discover that since a few days ago, +everything you need to program the BBC +micro:bit is available from the Debian archive. All this is +thanks to the hard work of Nick Morrott and the Debian python +packaging team. The micro:bit project recommend the mu-editor to +program the microcomputer, as this editor will take care of all the +machinery required to injekt/flash micropython alongside the program +into the micro:bit, as long as the pieces are available.

+ +

There are three main pieces involved. The first to enter Debian +was +python-uflash, +which was accepted into the archive 2019-01-12. The next one was +mu-editor, which +showed up 2019-01-13. The final and hardest part to to into the +archive was +firmware-microbit-micropython, +which needed to get its build system and dependencies into Debian +before it was accepted 2019-01-20. The last one is already in Debian +Unstable and should enter Debian Testing / Buster in three days. This +all allow any user of the micro:bit to get going by simply running +'apt install mu-editor' when using Testing or Unstable, and once +Buster is released as stable, all the users of Debian stable will be +catered for.

+ +

As a minor final touch, I added rules to +the isenkram +package for recognizing micro:bit and recommend the mu-editor +package. This make sure any user of the isenkram desktop daemon will +get a popup suggesting to install mu-editor then the USB cable from +the micro:bit is inserted for the first time.

+ +

This should make it easier to have fun.

+ +

As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.

- Tags: dld, norsk, personvern, stortinget, surveillance, valg. + Tags: debian, english, robot.
@@ -751,96 +736,438 @@ brukere med Ring, slik at jeg også bruker
-
Simpler recipe on how to make a simple $7 IMSI Catcher using Debian
-
9th August 2017
-

On friday, I came across an interesting article in the Norwegian -web based ICT news magazine digi.no on -how -to collect the IMSI numbers of nearby cell phones using the cheap -DVB-T software defined radios. The article refered to instructions -and a recipe by -Keld Norman on Youtube on how to make a simple $7 IMSI Catcher, and I decided to test them out.

- -

The instructions said to use Ubuntu, install pip using apt (to -bypass apt), use pip to install pybombs (to bypass both apt and pip), -and the ask pybombs to fetch and build everything you need from -scratch. I wanted to see if I could do the same on the most recent -Debian packages, but this did not work because pybombs tried to build -stuff that no longer build with the most recent openssl library or -some other version skew problem. While trying to get this recipe -working, I learned that the apt->pip->pybombs route was a long detour, -and the only piece of software dependency missing in Debian was the -gr-gsm package. I also found out that the lead upstream developer of -gr-gsm (the name stand for GNU Radio GSM) project already had a set of -Debian packages provided in an Ubuntu PPA repository. All I needed to -do was to dget the Debian source package and built it.

- -

The IMSI collector is a python script listening for packages on the -loopback network device and printing to the terminal some specific GSM -packages with IMSI numbers in them. The code is fairly short and easy -to understand. The reason this work is because gr-gsm include a tool -to read GSM data from a software defined radio like a DVB-T USB stick -and other software defined radios, decode them and inject them into a -network device on your Linux machine (using the loopback device by -default). This proved to work just fine, and I've been testing the -collector for a few days now.

- -

The updated and simpler recipe is thus to

+
Oppdaterte kommentarer til «Evaluation of (il)legality» for Popcorn Time
+
16th January 2019
+

I forrige uke var jeg i Borgarting lagmannsrett som partshjelper og + sakkyndig vitne og presenterte mine oppdaterte undersøkelser rundt + telling + av filmverk i det fri, relatert til + foreningen NUUGs involvering i saken om + Økokrims beslag og senere inndragning av DNS-domenet + popcorn-time.no. I forkant hadde jeg oppdatert mitt notat med + kommentarer til et av aktors bevis, som forsøkte å måle hvor stor + andel ulovligheter som var tilgjengelig via Popcorn Time-avspillere. + Jeg mistenker flere kan ha glede av å lese dette notatet, som jeg + publiserte en tidligere versjon av i fjor, så her er det. Legger + også ved avskrift av dokument 09,13, som er det sentrale dokumentet + jeg kommenterer.

+ +

Oppdaterte kommentarer til «Evaluation of (il)legality» for +Popcorn Time

+ +

Oppsummering

+ +

Målemetoden som Økokrim har lagt til grunn når de påstår at 99% av + filmene tilgjengelig fra Popcorn Time deles ulovlig har svakheter + som gjør resultatet upålitelig.

+ +

De eller den som har vurdert hvorvidt filmer kan lovlig deles er + ikke i stand til å identifisere filmer som kan deles lovlig eller er + falt i det fri og har tilsynelatende antatt at kun veldig gamle + filmer kan deles lovlig. Økokrim legger til grunn at det bare finnes + èn film, Charlie Chaplin-filmen «The Circus» fra 1928, som kan deles + fritt blant de som ble observert tilgjengelig via ulike Popcorn + Time-varianter. Med min begrensede og ufullstendige oversikt finner + jeg tre flere blant de observerte filmene: «The Brain That Wouldn't + Die» fra 1962, «God’s Little Acre» fra 1958 og «She Wore a Yellow + Ribbon» fra 1949. Det er godt mulig det finnes flere. Det finnes + dermed minst fire ganger så mange filmer som lovlig kan deles på + Internett i datasettet Økokrim har lagt til grunn når det påstås at + mindre enn 1 % kan deles lovlig.

+ +

Dernest, utplukket som gjøres ved søk på tilfeldige ord hentet fra + ordlisten til Dale-Chall avviker fra årsfordelingen til de brukte + filmkatalogene som helhet, hvilket påvirker fordelingen mellom + filmer som kan lovlig deles og filmer som ikke kan lovlig deles. I + tillegg gir valg av øvre del (de fem første) av søkeresultatene et + avvik fra riktig årsfordeling, hvilket påvirker fordelingen av verk + i det fri i søkeresultatet.

+ +

Til sist er det viktig å merke seg at det som måles er ikke + (u)lovligheten knyttet til bruken av Popcorn Time, + men (u)lovligheten til innholdet i ulike bittorrent-filmkataloger + som vedlikeholdes av ulike miljøer uavhengig av Popcorn Time, og som + ulike Popcorn Time-varianter har benyttet seg av.

+ +

Omtalte dokumenter: 09,12, 09,13, 09,14, + 09,18, 09,19, 09,20.

+ +

Utfyllende kommentarer

+ +

Økokrim har forklart domstolene at minst 99% av alt som er + tilgjengelig fra ulike Popcorn Time-varianter deles ulovlig på + Internet. Jeg ble nysgjerrig på hvordan de er kommet frem til dette + tallet, og dette notatet er en samling kommentarer rundt målingen + Økokrim henviser til. Litt av bakgrunnen for at jeg valgte å se på + saken er at jeg er interessert i å identifisere og telle hvor mange + kunstneriske verk som er falt i det fri eller av andre grunner kan + lovlig deles på Internett, og dermed var interessert i hvordan en + hadde funnet den ene prosenten som kanskje deles lovlig.

+ +

Andelen på 99% kommer fra et ukreditert og udatert notatet som tar + mål av seg å dokumentere en metode for å måle hvor (u)lovlig ulike + Popcorn Time-varianter er.

+ +

Raskt oppsummert, så forteller metodedokumentet at fordi det ikke + er mulig å få tak i komplett liste over alle filmtitler tilgjengelig + via Popcorn Time, så lages noe som skal være et representativt + utvalg ved å velge 50 tilfeldige søkeord større enn tre tegn fra en + ordliste kjent som Dale-Chall. For hvert søkeord gjøres et søk og de + første fem filmene i søkeresultatet samles inn inntil 100 unike + filmtitler er funnet. Hvis 50 søkeord ikke var tilstrekkelig for å + nå 100 unike filmtitler ble flere filmer fra hvert søkeresultat lagt + til. Hvis dette heller ikke var tilstrekkelig, så ble det hentet ut + og søkt på flere tilfeldig valgte søkeord inntil 100 unike + filmtitler var identifisert.

+ +

Deretter ble for hver av filmtitlene «vurdert hvorvidt det var + rimelig å forvente om at verket var vernet av copyright, ved å se på + om filmen var tilgjengelig i IMDB, samt se på regissør, + utgivelsesår, når det var utgitt for bestemte markedsområder samt + hvilke produksjons- og distribusjonsselskap som var registrert» (min + oversettelse).

+ +

Metoden er gjengitt både i de ukrediterte dokumentene 09,13 og + 09,19, samt beskrevet fra side 47 i dokument 09,20, lysark datert + 2017-02-01. Sistnevnte er kreditert Geerart Bourlon fra Motion + Picture Association EMEA.

+ +

Metoden virker å ha flere svakheter som gir resultatene en + slagside. Den starter med å slå fast at det ikke er mulig å hente ut + en komplett liste over alle filmtitler som er tilgjengelig, og at + dette er bakgrunnen for metodevalget. Denne forutsetningen er ikke i + tråd med det som står i dokument 09,12, som ikke heller har oppgitt + forfatter og dato. Dokument 09,12 forteller hvordan hele + kataloginnholdet i en bittorrent-katalog ble lasted ned og talt + opp. Dokument 09,12 er muligens samme rapport som det ble referert + til i dom fra Oslo Tingrett 2017-11-03 + (sak + 17-093347TVI-OTIR/05) under navnet rapport av 1. juni 2017 av + Alexander Kind Petersen. De ligner, men jeg har ikke sammenlignet + dokumentene ord for ord for å kontrollere om de er identiske.

+ +

Det finnes flere kilder som kan brukes til å finne filmer som er + allemannseie (public domain) eller har bruksvilkår som gjør det + lovlig for alle å dele dem på Internett. Jeg har det siste året + forsøkt å samle og krysskoble disse listene ved hjelp av tittel-ID i + IMDB for å forsøke å telle antall filmer i det fri. Ved å ta + utgangspunkt i slike lister (og publiserte filmer for + Internett-arkivets del), har jeg så langt klart å identifisere over + 14 000 filmer, hovedsaklig spillefilmer. Noen filmer er gått tapt + ved at de eneste kjente eksemplarene er blitt ødelagt. Jeg har ikke + forsøkt å finne ut hvilke filmer som er gått tapt, ut over å se + hvilke filmer som er tilgjengelig på filmdelings-nettsteder.

+ +

IMDB er en forkortelse for The Internet Movie Database, en + anerkjent kommersiell nettjeneste som brukes aktivt av både + filmbransjen og andre til å holde rede på hvilke spillefilmer (og + endel andre filmer) som finnes eller er under produksjon, samt + informasjon om disse filmene. Datakvaliteten er høy, med få feil og + få filmer som mangler. IMDB viser ikke informasjon om + opphavsrettslig status for filmene på infosiden for hver film, men + frivillige har lagt ut på IMDB-tjenesten lister med filmer som antas + å være verk i det fri. Disse listene er en liten del av kildene for + min telling av verk som kan lovlig deles på Internett.

+ +

De aller fleste oppføringene over verk i det fri er hentet fra IMDB + selv, basert på det faktum at alle filmer laget i USA før 1923 er + falt i det fri. Tilsvarende tidsgrense for Storbritannia er + 1912-07-01, men dette utgjør bare veldig liten del av spillefilmene + i IMDB (19 totalt). En annen stor andel kommer fra + Internett-arkivet, der jeg har identifisert filmer som har referanse + til IMDB. Internett-arkivet, som holder til i USA, har + som policy å kun + publisere filmer som det er lovlig å distribuere. Jeg har under + arbeidet kommet over flere filmer som har blitt fjernet fra + Internett-arkivet, hvilket gjør at jeg konkluderer med at folkene + som kontrollerer Internett-arkivet har et aktivt forhold til kun å + ha lovlig innhold der, selv om det i stor grad er drevet av + frivillige. Internett-arkivet har publisert 4.6 millioner + videofilmer som samtlige er tilgjengelig også med + Bittorrent-protokollen. En annen stor liste med filmer kommer fra + det kommersielle selskapet Retro Film Vault, som selger + allemannseide filmer til TV- og filmbransjen, Jeg har også benyttet + meg av lister over filmer som hevdes å være allemannseie, det være + seg Public Domain Review, Public Domain Torrents og Public Domain + Movies (to ulike tjenester med samme navn, på .net og .info), samt + lister over filmer med Creative Commons-lisensiering fra Wikipedia, + VODO og The Hill Productions. Jeg har gjort endel stikkontroll ved å + vurdere filmer som kun omtales på en liste. Der jeg har funnet feil + som har gjort meg i tvil om vurderingen til de som har laget listen + har jeg forkastet listen fullstendig (gjelder for eksemel en av + listene fra IMDB).

+ +

Ved å ta utgangspunkt i verk som kan antas å være lovlig delt på + Internett (fra blant annet Internett-arkivet, Public Domain + Torrents, Public Domain Reivew og Public Domain Movies), og knytte + dem til oppføringer i IMDB, så har jeg så langt klart å identifisere + over 14 000 filmer (hovedsaklig spillefilmer) det er grunn til å tro + kan lovlig distribueres av alle på Internett. Som ekstra kilder er + det brukt lister over filmer som antas/påstås å være + allemannseie. Disse kildene kommer fra miljøer som jobber for å + gjøre tilgjengelig for almennheten alle verk som er falt i det fri + eller har bruksvilkår som tillater deling.

+ +

I tillegg til de over 14 000 filmene der tittel-ID i IMDB er + identifisert, har jeg funnet mer enn 26 000 oppføringer der jeg ennå + ikke har hatt kapasitet til å spore opp tittel-ID i IMDB. Jeg har + sett at noen av disse er duplikater av de IMDB-oppføringene som er + identifisert så langt, men de fleste jeg har hatt tid til å + undersøke så langt har vist seg å ikke være duplikater. Retro Film + Vault hevder å ha 44 000 filmverk i det fri i sin katalog, så det er + mulig at det reelle tallet er betydelig høyere enn de jeg har klart + å identifisere så langt. Konklusjonen en kan trekke fra dette er at + tallet 14 000 er nedre grense for hvor mange filmer i IMDB som kan + lovlig deles på Internett. I + følge statistikk fra IMDB + er det 4.6 millioner titler registrert, hvorav 3 millioner er + TV-serieepisoder.

+ +

Hvis en fordeler på år alle tittel-IDene i IMDB som hevdes å deles + lovlig på Internett, får en følgende histogram:

+ +

histogram over frie filmer per år

+ +

En kan i histogrammet se at effekten av manglende registrering + eller fornying av registrering er at mange filmer gitt ut i USA før + 1978 er allemannseie i dag. I tillegg kan en se at det finnes flere + filmer gitt ut de siste årene med bruksvilkår som tillater deling, + muligens på grunn av fremveksten + av Creative + Commons-bevegelsen.

+ +

IMDB har lagt ut en + maskinlesbare liste over alle registreringene i sin database, og + ved hjelp av denne har jeg oppsummert antall titler per år i + kategoriene «movies» og «short», som er det jeg fokuserer på i min + telling. Inn i oversikten er det tegnet hvor stor prosentandel + antallet filmer som hevdes å kunne deles lovlig på Internett utgjør + av IMDB-totalen. Ut fra oversikten får man en ide om hvor stor andel + av totalen som kan mangle i min telling, for eksempel ved å merke + seg at få prosenter av filmene utgitt tidlig på 1900-tallet er med i + min telling.

+ +

histogram over filmer og frie filmer per år

+ +

For maskinell analyse av katalogene laget jeg et lite program som + kobler seg til bittorrent-katalogene som brukes av ulike Popcorn + Time-varianter og laster ned komplett liste over filmer i + katalogene. Dette bekrefter at det er mulig å hente ut komplett + liste med alle filmtitler som er tilgjengelig i katalogene, i strid + med påstanden i dokumentene 09,13, 09,19 og 09,20. Jeg har sett på + fire bittorrent-kataloger. Den ene ble brukt av klienten + tilgjengelig fra www.popcorntime.sh 2017-12-18 og er navngitt «sh» i + dette dokumentet. Den andre brukes i følge dokument 09,12 av + klienten tilgjengelig fra popcorntime.ag og popcorntime.sh på ukjent + tidspunkt og er navngitt «yts» i dette dokumentet. Den tredje ble + brukt av websidene tilgjengelig fra popcorntime-online.tv 2017-12-18 + og er navngitt «apidomain» i dette dokumentet. Den fjerde ble brukt + av klienten tilgjengelig fra popcorn-time.to i følge dokument 09,12 + på ukjent tidspunkt, og er navngitt «ukrfnlge» i dette + dokumentet. Hvilke kataloger som brukes av ulike Popcorn + Time-klienter endrer seg over tid, da Popcorn Time-klientene i + praksis er nettlesere som viser frem ulike nettsider og disse + nettsidene bytter datakilder når nettsidens eier ønsker det.

+ +

Metoden som Økokrim legger til grunn, skriver i sitt punkt fire at + skjønn er en egnet metode for å finne ut om en film kan lovlig deles + på Internett eller ikke, og sier at det ble «vurdert hvorvidt det + var rimelig å forvente om at verket var vernet av copyright». For + det første er det ikke nok å slå fast om en film er «vernet av + copyright» for å vite om det er lovlig å dele den på Internett eller + ikke, da det finnes flere filmer med opphavsrettslige bruksvilkår + som tillater deling på Internett. Eksempler på dette er Creative + Commons-lisensierte filmer som Citizenfour fra 2014 og Sintel fra + 2010. I tillegg til slike finnes det flere filmer som nå er + allemannseie (public domain) på grunn av manglende registrering + eller fornying av registrering selv om både regisør, + produksjonsselskap og distributør ønsker seg vern. Eksempler på + dette er Plan 9 from Outer Space fra 1959 og Night of the Living + Dead fra 1968. Alle filmer fra USA som var allemannseie før + 1989-03-01 forble i det fri da Bern-konvensjonen, som tok effekt i + USA på det tidspunktet, ikke ble gitt tilbakevirkende + kraft. Historien + om sangen «Happy birthday», der betaling for bruk har vært krevd + inn i flere tiår selv om sangen ikke var vernet av åndsverksloven, + forteller oss at hvert enkelt verk må vurderes nøye og i detalj før + en kan slå fast om verket er allemannseie eller ikke, det holder + ikke å tro på selverklærte rettighetshavere. Flere eksempel på verk + i det fri som feilklassifiseres som vernet er fra dokument 09,18, + som lister opp søkeresultater for pklienten omtalt som + popcorntime.sh og i følge notatet kun inneholder en film (The Circus + fra 1928) som under tvil kan antas å være allemannseie.

+ +

Ved rask gjennomlesning av dokument 09,18, som inneholder + skjermbilder fra bruk av en Popcorn Time-variant, fant jeg omtalt + både filmen «The Brain That Wouldn't Die» fra 1962 som + er tilgjengelig + fra Internett-arkivet og + som i + følge Wikipedia er allemannseie i USA da den ble gitt ut i 1962 + uten «copyright»-merking, og filmen «God’s Little Acre» fra + 1958 som + er lagt ut på Wikipedia, der det fortelles at sort/hvit-utgaven + er allemannseie. Det fremgår ikke fra dokument 09,18 om filmen + omtalt der er sort/hvit-utgaven. Av kapasitetsårsaker og på grunn av + at filmoversikten i dokument 09,18 ikke er maskinlesbart har jeg + ikke forsøkt å sjekke alle filmene som listes opp der om mot liste + med filmer som er antatt lovlig kan distribueres på Internet.

+ +

Ved maskinell gjennomgang av listen med IMDB-referanser under + regnearkfanen «Unique titles» i dokument 09.14, fant jeg i tillegg + filmen «She Wore a Yellow Ribbon» fra 1949) som nok også er + feilklassifisert. Filmen «She Wore a Yellow Ribbon» er tilgjengelig + fra Internett-arkivet og markert som allemannseie der. Det virker + dermed å være minst fire ganger så mange filmer som kan lovlig deles + på Internett enn det som er lagt til grunn når en påstår at minst + 99% av innholdet er ulovlig. Jeg ser ikke bort fra at nærmere + undersøkelser kan avdekke flere. Poenget er uansett ikke hvor mange + filmer i listen som er lovlig å dele på Internet, men at metodens + punkt med vurdering av «rimelig å forvente om at verket var vernet + av copyright» gjør metoden upålitelig.

+ +

Den omtalte målemetoden velger ut tilfeldige søketermer fra + ordlisten Dale-Chall. Den ordlisten inneholder 3000 enkle engelske + ord som fjerdeklassinger i USA er forventet å forstå. Det fremgår + ikke hvorfor akkurat denne ordlisten er valgt, og det er uklart for + meg om den er egnet til å få et representativt utvalg av + filmer. Mange av ordene gir tomt søkeresultat. Ved å simulerte + tilsvarende søk ser jeg store avvik fra fordelingen i katalogen for + enkeltmålinger. Dette antyder at enkeltmålinger av 100 filmer slik + målemetoden beskriver er gjort, ikke er velegnet til å finne andel + ulovlig innhold i bittorrent-katalogene.

+ +

En kan motvirke dette store avviket for enkeltmålinger ved å gjøre + mange søk og slå sammen resultatet. Jeg har testet ved å gjennomføre + 100 enkeltmålinger (dvs. måling av (100x100=) 10 000 tilfeldig + valgte filmer) som gir mindre, men fortsatt betydelig avvik, i + forhold til telling av filmer pr år i hele katalogen.

+ +

Målemetoden henter ut de fem øverste i + søkeresultatet. Søkeresultatene er sortert på antall + bittorrent-klienter registrert som delere i katalogene, hvilket kan + gi en slagside mot hvilke filmer som er populære blant de som bruker + bittorrent-katalogene, uten at det forteller noe om hvilket innhold + som er tilgjengelig eller hvilket innhold som deles med Popcorn + Time-klienter. Jeg har forsøkt å måle hvor stor en slik slagside + eventuelt er ved å sammenligne fordelingen hvis en tar de 5 nederste + i søkeresultatet i stedet. Avviket for disse to metodene for flere + av katalogene er godt synlig på histogramet. Her er histogram over + filmer funnet i den komplette katalogen (grønn strek), og filmer + funnet ved søk etter ord i Dale-Chall. Grafer merket «top» henter + fra de 5 første i søkeresultatet, mens de merket «bottom» henter fra + de 5 siste. En kan her se at resultatene påvirkes betydelig av + hvorvidt en ser på de første eller de siste filmene i et + søketreff.

+ +

+ + +
+ + +
+ + +
+ + +

-
    +

    Det er viktig å merke seg at de omtalte bittorrent-katalogene ikke + er laget for bruk med Popcorn Time, men for ulike miljøer av + bittorrent-brukere. Eksempelvis tilhører katalogen YTS, som brukes + av klientet som ble lastes ned fra popcorntime.sh, et selvstendig + fildelings-relatert nettsted YTS.AG med et separat + brukermiljø. Målemetoden foreslått av Økokrim måler dermed ikke + (u)lovligheten rundt bruken av Popcorn Time, men (u)lovligheten til + innholdet i disse katalogene.

    -
  1. start with a Debian machine running Stretch or newer,
    2. +
    -
  2. build and install the gr-gsm package available from -http://ppa.launchpad.net/ptrkrysik/gr-gsm/ubuntu/pool/main/g/gr-gsm/,
    3. +

    Metoden fra Økokrims dokument 09,13 i straffesaken + om DNS-beslag.

    -
  3. clone the git repostory from https://github.com/Oros42/IMSI-catcher,
    4. +
    + +

    1. Evaluation of (il)legality

    + +

    1.1. Methodology + +

    Due to its technical configuration, Popcorn Time applications don't +allow to make a full list of all titles made available. In order to +evaluate the level of illegal operation of PCT, the following +methodology was applied:

    -
  4. run grgsm_livemon and adjust the frequency until the terminal -where it was started is filled with a stream of text (meaning you -found a GSM station).
    5. +
      -
    1. go into the IMSI-catcher directory and run 'sudo python simple_IMSI-catcher.py' to extract the IMSI numbers.
      2. +
    2. A random selection of 50 keywords, greater than 3 letters, was + made from the Dale-Chall list that contains 3000 simple English + words1. The selection was made by using a Random Number + Generator2.
      3. + +
    3. For each keyword, starting with the first randomly selected + keyword, a search query was conducted in the movie section of the + respective Popcorn Time application. For each keyword, the first + five results were added to the title list until the number of 100 + unique titles was reached (duplicates were removed).
      4. + +
    4. For one fork, .CH, insufficient titles were generated via this + approach to reach 100 titles. This was solved by adding any + additional query results above five for each of the 50 keywords. + Since this still was not enough, another 42 random keywords were + selected to finally reach 100 titles.
      5. + +
    5. It was verified whether or not there is a reasonable expectation + that the work is copyrighted by checking if they are available on + IMDb, also verifying the director, the year when the title was + released, the release date for a certain market, the production + company/ies of the title and the distribution company/ies.
    -

    To make it even easier in the future to get this sniffer up and -running, I decided to package -the gr-gsm project -for Debian (WNPP -#871055), and the package was uploaded into the NEW queue today. -Luckily the gnuradio maintainer has promised to help me, as I do not -know much about gnuradio stuff yet.

    - -

    I doubt this "IMSI cacher" is anywhere near as powerfull as -commercial tools like -The -Spy Phone Portable IMSI / IMEI Catcher or the -Harris -Stingray, but I hope the existance of cheap alternatives can make -more people realise how their whereabouts when carrying a cell phone -is easily tracked. Seeing the data flow on the screen, realizing that -I live close to a police station and knowing that the police is also -wearing cell phones, I wonder how hard it would be for criminals to -track the position of the police officers to discover when there are -police near by, or for foreign military forces to track the location -of the Norwegian military forces, or for anyone to track the location -of government officials...

    - -

    It is worth noting that the data reported by the IMSI-catcher -script mentioned above is only a fraction of the data broadcasted on -the GSM network. It will only collect one frequency at the time, -while a typical phone will be using several frequencies, and not all -phones will be using the frequencies tracked by the grgsm_livemod -program. Also, there is a lot of radio chatter being ignored by the -simple_IMSI-catcher script, which would be collected by extending the -parser code. I wonder if gr-gsm can be set up to listen to more than -one frequency?

    +

    1.2. Results

    + +

    Between 6 and 9 June 2016, four forks of Popcorn Time were +investigated: popcorn-time.to, popcorntime.ag, popcorntime.sh and +popcorntime.ch. An excel sheet with the results is included in +Appendix 1. Screenshots were secured in separate Appendixes for each +respective fork, see Appendix 2-5.

    + +

    For each fork, out of 100, de-duplicated titles it was possible to +retrieve data according to the parameters set out above that indicate +that the title is commercially available. Per fork, there was 1 title +that presumably falls within the public domain, i.e. the 1928 movie +"The Circus" by and with Charles Chaplin.

    + +

    Based on the above it is reasonable to assume that 99% of the movie +content of each fork is copyright protected and is made available +illegally.

    + +

    This exercise was not repeated for TV series, but considering that +besides production companies and distribution companies also +broadcasters may have relevant rights, it is reasonable to assume that +at least a similar level of infringement will be established.

    + +

    Based on the above it is reasonable to assume that 99% of all the +content of each fork is copyright protected and are made available +illegally.

    + +
    + +

    Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. +Merk, betaling med bitcoin er ikke anonymt. :)

- Tags: debian, english, personvern, surveillance. + Tags: fildeling, freeculture, norsk, nuug, opphavsrett, verkidetfri, video.
@@ -855,6 +1182,46 @@ one frequency?

Archive