I received a very nice Christmas present today. As my regular -readers probably know, I have been working on the -the Isenkram -system for many years. The goal of the Isenkram system is to make -it easier for users to figure out what to install to get a given piece -of hardware to work in Debian, and a key part of this system is a way -to map hardware to packages. Isenkram have its own mapping database, -and also uses data provided by each package using the AppStream -metadata format. And today, -AppStream in -Debian learned to look up hardware the same way Isenkram is doing it, -ie using fnmatch():
+ +If you care about how fault tolerant your storage is, you might +find these articles and papers interesting. They have formed how I +think of when designing a storage system.
--% appstreamcli what-provides modalias \ - usb:v1130p0202d0100dc00dsc00dp00ic03isc00ip00in00 -Identifier: pymissile [generic] -Name: pymissile -Summary: Control original Striker USB Missile Launcher -Package: pymissile -% appstreamcli what-provides modalias usb:v0694p0002d0000 -Identifier: libnxt [generic] -Name: libnxt -Summary: utility library for talking to the LEGO Mindstorms NXT brick -Package: libnxt ---- -Identifier: t2n [generic] -Name: t2n -Summary: Simple command-line tool for Lego NXT -Package: t2n ---- -Identifier: python-nxt [generic] -Name: python-nxt -Summary: Python driver/interface/wrapper for the Lego Mindstorms NXT robot -Package: python-nxt ---- -Identifier: nbc [generic] -Name: nbc -Summary: C compiler for LEGO Mindstorms NXT bricks -Package: nbc -% -+
-
-
- USENIX :login; Redundancy +Does Not Imply Fault Tolerance. Analysis of Distributed Storage +Reactions to Single Errors and Corruptions by Aishwarya Ganesan, +Ramnatthan Alagappan, Andrea C. Arpaci-Dusseau, and Remzi +H. Arpaci-Dusseau + +
- ZDNet +Why +RAID 5 stops working in 2009 by Robin Harris + +
- ZDNet +Why +RAID 6 stops working in 2019 by Robin Harris + +
- USENIX FAST'07 +Failure +Trends in a Large Disk Drive Population by Eduardo Pinheiro, +Wolf-Dietrich Weber and Luiz AndreÌ Barroso + +
- USENIX ;login: Data +Integrity. Finding Truth in a World of Guesses and Lies by Doug +Hughes + +
- USENIX FAST'08 +An +cAnalysis of Data Corruption in the Storage Stack by +L. N. Bairavasundaram, G. R. Goodson, B. Schroeder, A. C. +Arpaci-Dusseau, and R. H. Arpaci-Dusseau + +
- USENIX FAST'07 Disk +failures in the real world: what does an MTTF of 1,000,000 hours mean +to you? by B. Schroeder and G. A. Gibson. + +
- USENIX ;login: Are +Disks the Dominant Contributor for Storage Failures? A Comprehensive +Study of Storage Subsystem Failure Characteristics by Weihang +Jiang, Chongfeng Hu, Yuanyuan Zhou, and Arkady Kanevsky + +
- SIGMETRICS 2007 +An +analysis of latent sector errors in disk drives by +L. N. Bairavasundaram, G. R. Goodson, S. Pasupathy, and J. Schindler -
A similar query can be done using the combined AppStream and -Isenkram databases using the isenkram-lookup tool:
+-% isenkram-lookup usb:v1130p0202d0100dc00dsc00dp00ic03isc00ip00in00 -pymissile -% isenkram-lookup usb:v0694p0002d0000 -libnxt -nbc -python-nxt -t2n -% -+ -
You can find modalias values relevant for your machine using -cat $(find /sys/devices/ -name modalias). - -
If you want to make this system a success and help Debian users -make the most of the hardware they have, please -helpadd -AppStream metadata for your package following the guidelines -documented in the wiki. So far only 11 packages provide such -information, among the several hundred hardware specific packages in -Debian. The Isenkram database on the other hand contain 101 packages, -mostly related to USB dongles. Most of the packages with hardware -mapping in AppStream are LEGO Mindstorms related, because I have, as -part of my involvement in -the Debian LEGO -team given priority to making sure LEGO users get proposed the -complete set of packages in Debian for that particular hardware. The -team also got a nice Christmas present today. The -nxt-firmware -package made it into Debian. With this package in place, it is -not possible to use the LEGO Mindstorms NXT unit with only free -software, as the nxt-firmware package contain the source and firmware -binaries for the NXT brick.
- -As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.
+Several of these research papers are based on data collected from +hundred thousands or millions of disk, and their findings are eye +opening. The short story is simply do not implicitly trust RAID or +redundant storage systems. Details matter. And unfortunately there +are few options on Linux addressing all the identified issues. Both +ZFS and Btrfs are doing a fairly good job, but have legal and +practical issues on their own. I wonder how cluster file systems like +Ceph do in this regard. After, all the old saying, you know you have +a distributed system when the crash of a compyter you have never heard +of stops you from getting any work done. The same holds true if fault +tolerance do not work.
+ +Just remember, in the end, it do not matter how redundant, or how +fault tolerant your storage is, if you do not continuously monitor its +status to detect and replace failed disks.
The Isenkram -system I wrote two years ago to make it easier in Debian to find -and install packages to get your hardware dongles to work, is still -going strong. It is a system to look up the hardware present on or -connected to the current system, and map the hardware to Debian -packages. It can either be done using the tools in isenkram-cli or -using the user space daemon in the isenkram package. The latter will -notify you, when inserting new hardware, about what packages to -install to get the dongle working. It will even provide a button to -click on to ask packagekit to install the packages.
- -Here is an command line example from my Thinkpad laptop:
- --% isenkram-lookup -bluez -cheese -ethtool -fprintd -fprintd-demo -gkrellm-thinkbat -hdapsd -libpam-fprintd -pidgin-blinklight -thinkfan -tlp -tp-smapi-dkms -tp-smapi-source -tpb -% -- -
It can also list the firware package providing firmware requested -by the load kernel modules, which in my case is an empty list because -I have all the firmware my machine need: +
+I was surprised today to learn that a friend in academia did not +know there are easily available web services available for writing +LaTeX documents as a team. I thought it was common knowledge, but to +make sure at least my readers are aware of it, I would like to mention +these useful services for writing LaTeX documents. Some of them even +provide a WYSIWYG editor to ease writing even further.
+ +There are two commercial services available, +ShareLaTeX and +Overleaf. They are very easy to +use. Just start a new document, select which publisher to write for +(ie which LaTeX style to use), and start writing. Note, these two +have announced their intention to join forces, so soon it will only be +one joint service. I've used both for different documents, and they +work just fine. While +ShareLaTeX is free +software, while the latter is not. According to a +announcement from Overleaf, they plan to keep the ShareLaTeX code +base maintained as free software.
+ +But these two are not the only alternatives. +Fidus Writer is another free +software solution with the +source available on github. I have not used it myself. Several +others can be found on the nice +alterntiveTo +web service. + +If you like Google Docs or Etherpad, but would like to write +documents in LaTeX, you should check out these services. You can even +host your own, if you want to. :)
--% /usr/sbin/isenkram-autoinstall-firmware -l -info: did not find any firmware files requested by loaded kernel modules. exiting -% -- -
The last few days I had a look at several of the around 250 -packages in Debian with udev rules. These seem like good candidates -to install when a given hardware dongle is inserted, and I found -several that should be proposed by isenkram. I have not had time to -check all of them, but am happy to report that now there are 97 -packages packages mapped to hardware by Isenkram. 11 of these -packages provide hardware mapping using AppStream, while the rest are -listed in the modaliases file provided in isenkram.
- -These are the packages with hardware mappings at the moment. The -marked packages are also announcing their hardware -support using AppStream, for everyone to use:
- -air-quality-sensor, alsa-firmware-loaders, argyll, -array-info, avarice, avrdude, b43-fwcutter, -bit-babbler, bluez, bluez-firmware, brltty, -broadcom-sta-dkms, calibre, cgminer, cheese, colord, -colorhug-client, dahdi-firmware-nonfree, dahdi-linux, -dfu-util, dolphin-emu, ekeyd, ethtool, firmware-ipw2x00, fprintd, -fprintd-demo, galileo, gkrellm-thinkbat, gphoto2, -gpsbabel, gpsbabel-gui, gpsman, gpstrans, gqrx-sdr, gr-fcdproplus, -gr-osmosdr, gtkpod, hackrf, hdapsd, hdmi2usb-udev, hpijs-ppds, hplip, -ipw3945-source, ipw3945d, kde-config-tablet, kinect-audio-setup, -libnxt, libpam-fprintd, lomoco, -madwimax, minidisc-utils, mkgmap, msi-keyboard, mtkbabel, -nbc, nqc, nut-hal-drivers, ola, -open-vm-toolbox, open-vm-tools, openambit, pcgminer, pcmciautils, -pcscd, pidgin-blinklight, printer-driver-splix, -pymissile, python-nxt, qlandkartegt, -qlandkartegt-garmin, rosegarden, rt2x00-source, sispmctl, -soapysdr-module-hackrf, solaar, squeak-plugins-scratch, sunxi-tools, -t2n, thinkfan, thinkfinger-tools, tlp, tp-smapi-dkms, -tp-smapi-source, tpb, tucnak, uhd-host, usbmuxd, viking, -virtualbox-ose-guest-x11, w1retap, xawtv, xserver-xorg-input-vmmouse, -xserver-xorg-input-wacom, xserver-xorg-video-qxl, -xserver-xorg-video-vmware, yubikey-personalization and -zd1211-firmware
- -If you know of other packages, please let me know with a wishlist -bug report against the isenkram-cli package, and ask the package -maintainer to -add AppStream -metadata according to the guidelines to provide the information -for everyone. In time, I hope to get rid of the isenkram specific -hardware mapping and depend exclusively on AppStream.
- -Note, the AppStream metadata for broadcom-sta-dkms is matching too -much hardware, and suggest that the package with with any ethernet -card. See bug #838735 for -the details. I hope the maintainer find time to address it soon. In -the mean time I provide an override in isenkram.
In my early years, I played -the epic game -Elite on my PC. I spent many months trading and fighting in -space, and reached the 'elite' fighting status before I moved on. The -original Elite game was available on Commodore 64 and the IBM PC -edition I played had a 64 KB executable. I am still impressed today -that the authors managed to squeeze both a 3D engine and details about -more than 2000 planet systems across 7 galaxies into a binary so -small.
- -I have known about the free -software game Oolite inspired by Elite for a while, but did not -really have time to test it properly until a few days ago. It was -great to discover that my old knowledge about trading routes were -still valid. But my fighting and flying abilities were gone, so I had -to retrain to be able to dock on a space station. And I am still not -able to make much resistance when I am attacked by pirates, so I -bougth and mounted the most powerful laser in the rear to be able to -put up at least some resistance while fleeing for my life. :)
- -When playing Elite in the late eighties, I had to discover -everything on my own, and I had long lists of prices seen on different -planets to be able to decide where to trade what. This time I had the -advantages of the -Elite wiki, -where information about each planet is easily available with common -price ranges and suggested trading routes. This improved my ability -to earn money and I have been able to earn enough to buy a lot of -useful equipent in a few days. I believe I originally played for -months before I could get a docking computer, while now I could get it -after less then a week.
- -If you like science fiction and dreamed of a life as a vagabond in -space, you should try out Oolite. It is available for Linux, MacOSX -and Windows, and is included in Debian and derivatives since 2011.
- -As usual, if you use Bitcoin and want to show your support of my -activities, please send Bitcoin donations to my address -15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b.
+ +Recently, I needed to automatically check the copyright status of a +set of The Internet Movie database +(IMDB) entries, to figure out which one of the movies they refer +to can be freely distributed on the Internet. This proved to be +harder than it sounds. IMDB for sure list movies without any +copyright protection, where the copyright protection has expired or +where the movie is lisenced using a permissive license like one from +Creative Commons. These are mixed with copyright protected movies, +and there seem to be no way to separate these classes of movies using +the information in IMDB.
+ +First I tried to look up entries manually in IMDB, +Wikipedia and +The Internet Archive, to get a +feel how to do this. It is hard to know for sure using these sources, +but it should be possible to be reasonable confident a movie is "out +of copyright" with a few hours work per movie. As I needed to check +almost 20,000 entries, this approach was not sustainable. I simply +can not work around the clock for about 6 years to check this data +set.
+ +I asked the people behind The Internet Archive if they could +introduce a new metadata field in their metadata XML for IMDB ID, but +was told that they leave it completely to the uploaders to update the +metadata. Some of the metadata entries had IMDB links in the +description, but I found no way to download all metadata files in bulk +to locate those ones and put that approach aside.
+ +In the process I noticed several Wikipedia articles about movies +had links to both IMDB and The Internet Archive, and it occured to me +that I could use the Wikipedia RDF data set to locate entries with +both, to at least get a lower bound on the number of movies on The +Internet Archive with a IMDB ID. This is useful based on the +assumption that movies distributed by The Internet Archive can be +legally distributed on the Internet. With some help from the RDF +community (thank you DanC), I was able to come up with this query to +pass to the SPARQL interface on +Wikidata: + +
+SELECT ?work ?imdb ?ia ?when ?label +WHERE +{ + ?work wdt:P31/wdt:P279* wd:Q11424. + ?work wdt:P345 ?imdb. + ?work wdt:P724 ?ia. + OPTIONAL { + ?work wdt:P577 ?when. + ?work rdfs:label ?label. + FILTER(LANG(?label) = "en"). + } +} ++ +
If I understand the query right, for every film entry anywhere in +Wikpedia, it will return the IMDB ID and The Internet Archive ID, and +when the movie was released and its English title, if either or both +of the latter two are available. At the moment the result set contain +2338 entries. Of course, it depend on volunteers including both +correct IMDB and The Internet Archive IDs in the wikipedia articles +for the movie. It should be noted that the result will include +duplicates if the movie have entries in several languages. There are +some bogus entries, either because The Internet Archive ID contain a +typo or because the movie is not available from The Internet Archive. +I did not verify the IMDB IDs, as I am unsure how to do that +automatically.
+ +I wrote a small python script to extract the data set from Wikidata +and check if the XML metadata for the movie is available from The +Internet Archive, and after around 1.5 hour it produced a list of 2097 +free movies and their IMDB ID. In total, 171 entries in Wikidata lack +the refered Internet Archive entry. I assume the 70 "disappearing" +entries (ie 2338-2097-171) are duplicate entries.
+ +This is not too bad, given that The Internet Archive report to +contain 5331 +feature films at the moment, but it also mean more than 3000 +movies are missing on Wikipedia or are missing the pair of references +on Wikipedia.
+ +I was curious about the distribution by release year, and made a +little graph to show how the amount of free movies is spread over the +years:
+ +
I expect the relative distribution of the remaining 3000 movies to +be similar.
+ +If you want to help, and want to ensure Wikipedia can be used to +cross reference The Internet Archive and The Internet Movie Database, +please make sure entries like this are listed under the "External +links" heading on the Wikipedia article for the movie:
+ ++* {{Internet Archive film|id=FightingLady}} +* {{IMDb title|id=0036823|title=The Fighting Lady}} ++ +
Please verify the links on the final page, to make sure you did not +introduce a typo.
+ +Here is the complete list, if you want to correct the 171 +identified Wikipedia entries with broken links to The Internet +Archive: Q1140317, +Q458656, +Q458656, +Q470560, +Q743340, +Q822580, +Q480696, +Q128761, +Q1307059, +Q1335091, +Q1537166, +Q1438334, +Q1479751, +Q1497200, +Q1498122, +Q865973, +Q834269, +Q841781, +Q841781, +Q1548193, +Q499031, +Q1564769, +Q1585239, +Q1585569, +Q1624236, +Q4796595, +Q4853469, +Q4873046, +Q915016, +Q4660396, +Q4677708, +Q4738449, +Q4756096, +Q4766785, +Q880357, +Q882066, +Q882066, +Q204191, +Q204191, +Q1194170, +Q940014, +Q946863, +Q172837, +Q573077, +Q1219005, +Q1219599, +Q1643798, +Q1656352, +Q1659549, +Q1660007, +Q1698154, +Q1737980, +Q1877284, +Q1199354, +Q1199354, +Q1199451, +Q1211871, +Q1212179, +Q1238382, +Q4906454, +Q320219, +Q1148649, +Q645094, +Q5050350, +Q5166548, +Q2677926, +Q2698139, +Q2707305, +Q2740725, +Q2024780, +Q2117418, +Q2138984, +Q1127992, +Q1058087, +Q1070484, +Q1080080, +Q1090813, +Q1251918, +Q1254110, +Q1257070, +Q1257079, +Q1197410, +Q1198423, +Q706951, +Q723239, +Q2079261, +Q1171364, +Q617858, +Q5166611, +Q5166611, +Q324513, +Q374172, +Q7533269, +Q970386, +Q976849, +Q7458614, +Q5347416, +Q5460005, +Q5463392, +Q3038555, +Q5288458, +Q2346516, +Q5183645, +Q5185497, +Q5216127, +Q5223127, +Q5261159, +Q1300759, +Q5521241, +Q7733434, +Q7736264, +Q7737032, +Q7882671, +Q7719427, +Q7719444, +Q7722575, +Q2629763, +Q2640346, +Q2649671, +Q7703851, +Q7747041, +Q6544949, +Q6672759, +Q2445896, +Q12124891, +Q3127044, +Q2511262, +Q2517672, +Q2543165, +Q426628, +Q426628, +Q12126890, +Q13359969, +Q13359969, +Q2294295, +Q2294295, +Q2559509, +Q2559912, +Q7760469, +Q6703974, +Q4744, +Q7766962, +Q7768516, +Q7769205, +Q7769988, +Q2946945, +Q3212086, +Q3212086, +Q18218448, +Q18218448, +Q18218448, +Q6909175, +Q7405709, +Q7416149, +Q7239952, +Q7317332, +Q7783674, +Q7783704, +Q7857590, +Q3372526, +Q3372642, +Q3372816, +Q3372909, +Q7959649, +Q7977485, +Q7992684, +Q3817966, +Q3821852, +Q3420907, +Q3429733, +Q774474
Når jeg bruker Ghostery, -uBlock, -uMatrix, -ScriptSafe og andre -nettleserverktøy (de passer på hverandre) for å holde styr på hvordan -nettsteder sprer informasjon om hvilke nettsider jeg leser blir det -veldig synlig hvilke nettsteder som er satt opp til å utveksle -informasjon med utlandet og tredjeparter. For en stund siden la jeg -merke til at det virker å være avvik mellom personvernpolicy og -praksis endel steder, og tok tak i et par konkrete eksempler og sendte -spørsmål til Datatilsynets kontaktpunkt for veiledning:
- -- -- -«Jeg har et spørsmål når det gjelder bruken av Google Analytics og -personvernpolicy. Er det lovlig for et nettsted å si en ting i -personvernpolicy og gjøre noe annet i virkeligheten? Spesifikt lurer -jeg på hvilket lov som er brutt hvis nettstedet i HTML-koden til -nettsidene ber lesernes nettleser om å kontakte Google Analytics og -slik overleverer sitt IP-nummer til Google, samtidig som -personvernpolicien hevder at Google Analytics kun får anonymiserte -data. Google får jo i slike tilfeller alltid overført fullt -IP-nummer, og nettstedet kan i URL-en som brukes be Google om å ikke -lagre deler av IP-adressen (omtalt som anonymisering av Google -Analytics)
- -Et eksempel er Nettavisen digi.no. -Deres -personvernpolicy sier følgende:
- -- «Tredjeparter (som Google Analytics, Cxense, TNS Gallup) får kun - anonymiserte data.» -- -Men når en leser artikler der så blir maskiner i Norge, USA, -Tyskland, Danmark, Storbritannia, Irland og Nederland varslet om -besøket og får dermed overlevert full IP-adresse, som datatilsynet har -uttalt er en personopplysning. Nettsidene er satt opp til be -nettleseren å kontakte 29 ulike maskiner rundt om i verden. Fire av -dem er er under DNS-domenene digi.no og tek.no som tilhører samme -eier. I tillegg ber nettsidene ikke -Google -Analytics om å fjerne siste oktett i IP-adressen ved lagring, -dvs. flagget «aip=1» er ikke satt i URL-en som brukes for å kontakte -Google Analytics.
- -Tilsvarende er også tilfelle for andre nettsteder, så digi.no er -ikke spesiell i så måte (dagbladet.no er et annet eksempel, det -gjelder flere).»
- -
Etter noen dager kunne juridisk rådgiver Elisabeth Krauss Amundsen -hos Datatilsynet fortelle det følgende:
- --«Hei, og takk for din e-post. - -- - - -Vår svartjeneste gir deg kortfattet rådgivning. Vi vil derfor ikke konkludere -i saken din, men gi deg råd og veiledning.
- -Ut ifra det du skriver er det antakelig flere bestemmelser i -personopplysingsloven som brytes dersom virksomhetens personvernpolicy -sier noe annet om behandlingen av personopplysninger enn det som -faktisk skjer. Antakelig vil det være et brudd på informasjonsplikten -i personopplysingsloven §§ 18 og -19<https://lovdata.no/dokument/NL/lov/2000-04-14-31/KAPITTEL_2#§18> -dersom det gis feilinformasjon om at opplysningene utleveres. Det kan -også stilles spørsmål om grunnkravene for behandling av -personopplysninger vil være oppfylt ved en utlevering av -personopplysninger til en tredjepart, dersom dette ikke er inkludert -behandlingsgrunnlaget og formålet med behandlingen, se -personopplysingsloven § 11, jf. -8.<https://lovdata.no/dokument/NL/lov/2000-04-14-31/KAPITTEL_2#§11>» -
Oppdatert med kunnskap om lover og regler tok jeg så kontakt med -Dagbladet på epostadressen de annonserer på sine -personvernpolicysider:
- -
- -- -«Jeg lurte litt i forbindelse med en bloggpost jeg skriver på, og lurer -på om dere hjelpe meg med å finne ut av følgende. Først litt -bakgrunnsinformasjon. -Dagbladets -personvernpolicy forteller følgende:
- --- - -«3. Automatisk innhentet informasjon
- -For eksempel IP-adressen din (ikke synlig for andre) samt - statistisk, automatisk produsert informasjon, som når du sist var - innlogget på tjenesten. Dette er informasjon vi samler for å gjøre - tjenesten best mulig.»
- -Men når en besøker nettsidene til Dagbladet, -f.eks. forsiden, så er nettsidene -satt opp til å kontakte mange tredjeparter som slik får tilgang til -både fullt IP-nummer og i de fleste tilfeller nøyaktig hvilken -artikkel en leser hos Dagbladet ved at Referer-feltet fylles og legges -ved. Dette gjelder Google Analytics, Cxense, INS Gallup, Doubleclick -med flere. Totalt ber forsiden nettleseren om å koble seg opp til 60 -nettsteder med 149 separate oppkoblinger. I hver av disse -oppkoblingene oversendes IP-adressen til leseren, og i følge -Datatilsynet er -«en -IP-adresse definert som en personopplysning fordi den kan spores -tilbake til en bestemt maskinvare og dermed til en enkeltperson».
- -Datatilsynet har fortalt meg at i følge personopplysingsloven §§ 18 -og 19 skal informasjonen som gis om bruk og utlevering av -personopplysninger være korrekt. De forteller videre at det er endel -grunnkrav som må være oppfylt ved utlevering av personopplysninger til -tredjeparter, nærmere forklart i personopplysingsloven § 11 som -henviser til § 8.
- -Mitt spørsmål er dermed som følger:
- -- -- -Hva mener dere i personpolicyen når dere skriver at IP-adressen ikke - er synlig for andre?»
- -
Etter en uke har jeg fortsatt ikke fått svar fra Dagbladet på mitt -spørsmål, så neste steg er antagelig å høre om Datatilsynet er -interessert i å se på saken.
- -Men Dagbladet er ikke det eneste nettstedet som forteller at de -ikke deler personopplysninger med andre mens observerbar praksis -dokumenterer noe annet. Jeg sendte derfor også et spørsmål til -kontaktadressen til nettavisen Digi.no, og der var responsen mye -bedre:
- -- -- -«Jeg lurte på en ting i forbindelse med en bloggpost jeg skriver på, -og lurer på om dere hjelpe meg. Først litt bakgrunnsinformasjon. -Digi.nos -personvernpolicy forteller følgende:
- -- «All personlig informasjon blir lagret i våre systemer, disse er ikke - tilgjengelig for tredjeparter, og blir ikke lagret i - informasjonskapsler. Tredjeparter (som Google Analytics, Cxense, - TNS Gallup) får kun anonymiserte data.» -- -Men når en besøker nettsidene til nettavisen, f.eks. -forsiden, så er nettsidene satt opp -til å kontakte mange tredjeparter som slik får tilgang til både fullt -IP-nummer og i de fleste tilfeller nøyaktig hvilken artikkel en leser -hos Digi.no ved at Referer-feltet fylles og legges ved. Dette gjelder -både Google Analytics, Cxense blant og INS Gallum. Totalt ber -forsiden nettleseren om å koble seg opp til 29 nettsteder med 44 -separate oppkoblinger. I hver av disse oppkoblingene sendes -IP-adressen til leseren over, og i følge Datatilsynet er -«en -IP-adresse definert som en personopplysning fordi den kan spores -tilbake til en bestemt maskinvare og dermed til en enkeltperson». -Det jeg ser virker ikke å være i tråd med personvernpolicyen.
- -Når en besøker Digi.nos nettsider gjøres det to oppkoblinger til -Google Analytics, en for å hente ned programkoden som samler -informasjon fra nettleseren og sender over til Google (analytics.js), -og en for å overføre det som ble samlet inn. I den siste oppkoblingen -er det mulig å be Google om å ikke ta vare på hele IP-adressen, men i -stedet fjerne siste oktett i IP-adressen. Dette omtales ofte litt -misvisende for «anonymisert» bruk av Google Analytics, i og med at -fullt IP-nummer blir sendt til Google og det er opp til Google om de -vil bry seg om ønsket fra de som har laget nettsiden. Ut fra det som -står i personvernpolicyen ville jeg tro at Digi.no ba google om å ikke -ta vare på hele IP-nummeret, men når en ser på den andre oppkoblingen -kan en se at flagget «aio=1» ikke er satt, og at Digi.no ikke ber -Google om å la være å lagre hele IP-adressen. Dette virker heller -ikke å være i tråd med personvernpolicyen.
- -Datatilsynet har fortalt meg at i følge personopplysingsloven §§ 18 -og 19 skal informasjonen som gis om bruk og utlevering av -personopplysninger være korrekt. De forteller videre at det er endel -grunnkrav som må være oppfylt ved utlevering av personopplysninger til -tredjeparter, nærmere forklart i personopplysingsloven § 11 som -henviser til § 8. Det er uklart for meg om disse kravene er oppfylt -når IP-adresse og informasjon om hvilke websider som besøkes til -tredjeparter.
- -Mitt spørsmål er dermed som følger:
- -- -- -Hva mener dere i personpolicyen når dere skriver at «Tredjeparter - får kun anonymiserte data»?»
- -
Redaksjonssjef Kurt Lekanger svarte samme dag og forklarte at han -mÃ¥tte komme tilbake til meg nÃ¥r han hadde med utviklingsavdelingen. -Seks dager senere lurte jeg pÃ¥ hva han fant ut, og etter noen timer -fikk jeg sÃ¥ følgende svar fra direktøren for teknologi og -forretningsutvikling Ãystein W. Høie i Teknisk Ukeblad Media:
- -- -- -«Takk for godt tips! Det er helt riktig at IP og referrer-adresse -potensielt kan leses ut av tredjepart.
- -Retningslinjene våre har vært uklare på dette tidspunktet, og vi -oppdaterer nå disse så dette kommer tydeligere frem. Ny tekst blir som -følger:
- -
-3. Dette bruker vi ikke informasjonen til Informasjon du oppgir til -oss blir lagret i våre systemer, er ikke tilgjengelig for -tredjeparter, og blir ikke lagret i informasjonskapsler. -Informasjonen vil kun benyttes til å gi deg som bruker mer relevant -informasjon og bedre tjenester.
- -Tredjeparter (som Google Analytics, Cxense, TNS Gallup) vil kunne -hente ut IP-adresse og data basert på dine surfemønstre. TU Media AS -er pliktig å påse at disse tredjepartene behandler data i tråd med -norsk regelverk.
-
- -Ellers har vi nå aktivert anonymisering i Google Analytics -(aip=1). Kan også nevne at Tek.no-brukere som har kjøpt Tek Ekstra har -mulighet til å skru av all tracking i kontrollpanelet sitt. Dette er -noe vi vurderer å rulle ut på alle sidene i vårt nettverk.»
- -
Det var nyttig å vite at vi er enige om at formuleringen i -personvernpolicyen er misvisende. Derimot var det nedslående at i -stedet for å endre praksis for å følge det personvernpolicyen sier om -å ikke dele personinformasjon med tredjeparter, så velger Digi.no å -fortsette praksis og i stedet endre personvernpolicyen slik at den å -dokumentere dagens praksis med spredning av personopplysninger.
- -Med bakgrunn i at Digi.no ikke har fulgt sin egen personvernpolicy -spurte jeg hvordan Digi.no kom til å håndtere endringen:
- -- -- -«Tusen takk for beskjed om endring av personvernpolicy for digi.no. -Gjelder endringen også andre nettsteder?
- -Vil tidligere håndteringen av IP-adresser og lesemønster i strid -med dokumentert personvernpolicy bli varslet til Datatilsynet i tråd -med -personopplysningsforskriften -§ 2-6? Vil leserne bli varslet på en prominent og synlig måte om -at lesernes IP-adresser og lesemønster har vært utlevert til -tredjeparter i stid med tidligere formulering om at tredjeparter kun -får anonymiserte data, og at utleveringen fortsetter etter at -personvernpolicy er endret for å dokumentere praksis?
- -Appropos ekstra tilbud til betalende lesere, tilbyr dere en -mulighet for å betale for å lese som ikke innebærer at en må gjøre det -mulig å la sine lesevaner blir registeret av tek.no? Betaler gjerne -for å lese nyheter, men ikke med en bit av privatlivet mitt. :)»
-
Jeg fikk raskt svar tilbake fra direktøren Høie:
- --- -«Tydeliggjøringen i personvernpolicy gjelder alle våre nettsteder.
- -Vi kommer til å ta en runde og gå over vår policy i forbindelse med -dette, og vil i de tilfeller det er påkrevd selvsagt være tydelig -overfor brukere og tilsyn. Vil samtidig understreke at vår bruk av -tredjeparts analyseverktøy og annonsetracking er helt på linje med det -som er normalt for norske kommersielle nettsteder.
- -Angående spørsmålet ditt: -
-
Du vil fortsatt vises i våre interne systemer om du blir Ekstra-bruker, -vi skrur bare av tredjeparts tracking.»
Det høres jo ikke bra ut at det er normalt for norske kommersielle -nettsteder å utlevere lesernes personopplysninger til utlandet. Men -som en kan lese fra gårdagens oppslag fra NRK gjelder -det også norske kommuner og andre offentlige aktører, og -jeg -skrev om omfanget av problemet i fjor. Det er uansett ikke en -praksis jeg tror er i tråd med kravene i personopplysningsloven, og -heller ikke en praksis jeg som leser synes er greit. Jeg manglet dog -fortsatt svar på om Digi.no kom til å varsle lesere og Datatilsynet om -avviket mellom praksis og policy, så jeg forsøkte meg med en ny epost -i går kveld:
- -- -- -«Kan du fortelle meg om dere anser det å være påkrevd å varsle -tilsyn og brukere nå, når dere har oppdaget at praksis ikke har vært i -tråd med personvernpolicy?»
- -
Det spørsmålet vet jeg så langt ikke svaret på, men antagelig kan -Datatilsynet svare på om det er påkrevd å varsle tilsyn og lesere om -dette. Jeg planlegger å oppdatere denne bloggposten med svaret når -det kommer.
- -Jeg synes jo det er spesielt ille når barn får sine -personopplysninger spredt til utlandet, noe jeg -tok -opp med NRK i fjor. De to eksemplene jeg nevner er som dere -forstår ikke unike, men jeg har ikke full oversikt over hvor mange -nettsteder dette gjelder. Jeg har ikke kapasitet til eller glede av å -lese alle personvernpolicyer i landet. Kanskje mine lesere kan sende -meg tips på epost om andre nettsteder med avvik mellom policy og -praksis? Hvis vi alle går sammen og kontakter de ansvarlige, kanskje -noen til slutt endrer praksis og slutter å dele lesernes -personopplysninger med tredjeparter?
- -Apropos bruken av Google Analytics kan jeg forresten nevne at -Universitetet i Oslo også har tatt i bruk Google Analytics, men der -lagres programkoden som overføres til nettleserne lokalt og deler av -IP-adressen fjernes lokalt på universitetet via en mellomtjener/proxy -(tilgjengelig via -github) før informasjon sendes over til Google Analytics. Dermed -er det mulig for ansvarlige for nettstedet å vite at Google -ikke har tilgang til komplett IP-adresse. à rsaken til at denne -metoden brukes er at juristene ved universitetet har konkludert med at -det er eneste måten en kunne vurdere å bruke Google Analytics uten å -bryte loven. Risikoen for gjenidentifisering og -identifisering ved hjelp av -nettleserinformasjon er fortsatt tilstede, så det er ingen optimal -løsning, men det er bedre enn å håpe at f.eks. Google og alle som -lytter på veien skal prioritere norsk lov over sin lokale -lovgivning.
- -Oppdatering 2016-12-09: Fikk svar fra direktøren Høie på mitt -spørsmål litt etter at jeg hadde publisert denne artikkelen:
- -- -- -Vi kommer til å annonsere en oppdatert policy, og skal undersøke om -vi er pliktig å varsle Datatilsynet.
- -Det vi uansett ønsker å gjøre først, er å gå gjennom hele policy -sammen med utviklerne og advokat, så vi er sikre på at vi går frem -riktig og at det ikke er flere tvetydigheter som skjuler seg i -teksten.
- -Har du andre idéer eller konkrete innspill til hva som kan gjøre -policy tydeligere, tar vi gjerne imot det. Dette er et felt vi ønsker -å være ryddige på.
- -
Vi får se om de liker mine innspill, som i grunnen er å ikke pusse -på personvernpolicyen men i stedet slutte å spre lesernes -personopplysninger til eksterne aktører.
+ +I find it fascinating how many of the people being locked inside +the proposed border wall between USA and Mexico support the idea. The +proposal to keep Mexicans out reminds me of +the +propaganda twist from the East Germany government calling the wall +the âAntifascist Bulwarkâ after erecting the Berlin Wall, claiming +that the wall was erected to keep enemies from creeping into East +Germany, while it was obvious to the people locked inside it that it +was erected to keep the people from escaping.
+ +Do the people in USA supporting this wall really believe it is a +one way wall, only keeping people on the outside from getting in, +while not keeping people in the inside from getting out?
Jeg er mer en gjennomsnittlig interessert i fri programvare og fri -kultur, og nå når et nytt år nærmer seg slutten tenkte jeg det var på -tide med et lite tilbakeblikk på årene som var. Jeg har vært -involvert i flere prosjekter og løsninger, og her er en liten -gjennomgang av de jeg kom på i farten.
- -Den største nyheten for meg fra 2015 var at jeg endelig, etter 2.5 -år med flekkvis innsats, fikk gitt ut en bokmålsutgave av den -klassiske boken Free Culture av -Lawrence Lessig. Boken forteller om bakgrunnen for fri -kultur-bevegelsen, beskriver problemer med dagens opphavsrett og -skisserer hvordan vi kan bøte på problemene både individuelt og som -samfunn. Jeg anbefaler alle å lese denne boken, som jeg med god hjelp -har gitt ut på engelsk, bokmål og fransk. Papirboken kan bestilles i -nettbokhandler i USA som Lulu -(Norsk, -Fransk, -Engelsk), -Amazon og Barnes & Noble takket være selvpubliseringsløsningen -lulu.com og -ebokutgave -samt alt som trengs for å oppdatere boken er tilgjengelig fra -github.
- -Et annet prosjekt jeg er veldig fornøyd med å ha deltatt i -lanseringen av, er Mimes -brønn, NUUG-tjenesten for å gjøre det enklere å be om innsyn i -offentlig forvaltning, og spare offentlig forvaltning for å måtte -besvare de samme innsynshenvendelsene gang på gang. Etter bare noen -måneders drift førte -en -henvendelse via tjenesten til -spørsmål -fra Stortinget til regjeringen. I dette og andre tilfeller har -NUUG finansiert utvidet klagesak for henvendelser som vi som står bak -tjenesten synes fortjener ekstra oppmerksomhet. Så langt har en liten -håndfull slike klagesaker blitt sendt til Sivilombudsmannen, der vi -fikk medhold i en saken (om .bv omtalt over) og avslag i en annen -(oppsummering fra møte i Pentagon om Internet-styring og nasjonal -sikkerhet).
- -Etter at jeg i lengre tid har manglet GPG-nøkkel registrert i -Debian (den opprinnelige ble fjernet på grunn av for kort -nøkkellengde) fikk jeg endelig fikset ny nøkkel og Debiantilgang i -slutten av 2015. Aktiviteten i Debian har ikke vært spesielt -skadelidende mens jeg manglet nøkkel (kjenner flere som er villig til -å laste opp på mine vegne), men da nøkkelen var på plass steg -motivasjonen og jeg har blant anne brukt tiden på å bidra til at -pakker relatert til lyd- og videokodekene fra -Xiph.org-stiftelsen (dvs. Ogg, -Vorbis, Theora, Opus, etc) er i bedre stand i Debian, og har bidratt -til å få liv i gruppen som vedlikeholder Xiph-relaterte slik at dette -forhåpentligvis skal fungere bedre også i fremtiden. Jeg har jobbet -litt mer systemene Isenkram og appstream, som gjør det enklere å -håndtere ulike dongler i Debian ved at systemet selv vet og foreslår -hvilke pakker som bør installeres for å få dongler til å fungere. Har -også fått inn eller hjulpet til å få inn endel nye programpakker, -spesielt fornøyd med -Sonic Pi, -OpenALPR og -Coz. - - -
Et Debian-relatert prosjekt jeg følger er -FreedomBox, som tar sikte på -å tilby en løsning (både programvare og maskinvare) der hvem som helst -kan beholde sin private informasjon hjemme hos seg selv i stedet for å -dele den med skytjenesteleverandører som Google, Facebook, Twitter, -Appear.in med flere. I tillegg til generell deltagelse i utvikling av -prosjektet har jeg jobbet med å få alle Debian-pakkene som brukes av -Freedombox "reproduserbare" i Debian, dvs. gjøre det mulig å sjekke at -pakken som brukes i Freedombox ikke inneholder annet enn det som -kommer fra kildekodepakken i Debian og gir et forutsigbart resultat -ved bygging. Har også fulgt opp endel feilrapporter relatert til -Freedombox-spesifikke pakker (som Plinth og freedombox-setup) og -pakker som utgjør tjenestene i en Freedombox.
- -I samarbeid med Skolelinuxprosjektet og foreningen NUUG har jeg -vært med å arrangere flere utviklersamlinger både i 2015 og 2016. Der -har oversettere og utviklere blitt lært opp og arbeidet med blant -annet dokumentasjon, feilfiksing og utvikling av Skolelinux og -Frikanalen. Relatert til dette arbeidet har jeg koordinert norsk -oversettelse av Håndbok for -Debian-administratorer til bokmål, og flyttet -oversetterarbeidet -av Skolelinux-håndboken fra Transifex til Weblate. Begge bøkene -er snart klare for første gangs korrekturlesing og vi drømmer om å -gjøre dem tilgjengelig på papir.
- -Gjennom hele perioden har jeg holdt et lite øye med NUUG-prosjektet -FiksGataMi, som stort sett går av seg selv uten manuelt vedlikehold, -men av og til er det problemer med enkelte mottakere (eposter i -retur). NUUG-drift oppgraderte tjenesten i løpet av 2016, og jeg -bisto Marius Halden litt i forbindelse med dette. Tjenesten får -stadig flere brukere, og flere kommuner har tatt kontakt for å lære -mer om hvordan FiksGataMi fungerer. - -
Den åpne TV-kanalen -Frikanalen har fått en god del -av min oppmerksomhet. Den var i starten av 2015 tilgjengelig på -RiksTV kanal 50, web. Kanalen har fått et REST-basert API, og dette -har jeg tatt i bruk for å fylle sendeplanen med NUUG-, TED- og -Debian-foredrag samt andre tekniske presentasjoner. Har lastet opp -mye nytt der og strømlinjeformet prosessen slik at både nye TED- og -NUUG-foredrag går veldig greit. På høsten tok jeg en titt på -multikast-spredning av kanalen til Uninett, og dette er nå kommet på -plass, slik at alle TV-er som bruker Uninetts TV-løsning nå kan se på -Frikanalen. Det jobbes for tiden med å få distribusjon på Altibox, og -dette håper vi skal være klart i starten av 2017.
- -Relatert til Frikanalen har jeg i lengre tid -forsøkt å -få klarhet i hva som er juridisk status for H.264 i Norge. Det er -fortsatt uklart for meg om Frikanalen må betale for retten til å -kringkaste eller ikke, og om vi risikerer å bryte opphavsrettsvilkår -ved å kringkaste på web med H.264. Har spurt ulike aktører for å -forsøke å finne ut hvordan de har vurdert situasjonen, uten å bli -klok.
- -Et prosjekt som var morsomt å se ta form var Ole Aamots -dokumentarprosjekt -om fri programvare i Norge. Han fikk intervjuet en god del av de -mest aktive folkene i Norge, og resultatet ble interessant og -severdig. Et nærmere prosjekt er NUUGs samarbeide med Oslo -dokumentarfilmfestival om visningen av Citizenfour, der NUUG tok opp -samtalen i forbindelse med visningen og publiserte opptaket på -Frikanalen. Jeg er veldig fornøyd med å ha lyktes med å få dette på -plass, selv om jeg ikke rakk å være med på visningen selv. Et annet -NUUG-foredrag jeg er spesielt fornøyd med å ha fått på plass er -besøket fra Bradley Kuhn fra Software Freedom Conservancy. Det tok -mange måneder å organisere i samarbeid med BLUG, men til slutt klarte -vi å finne et tidspunkt som passet alle, slik at han kunne besøke Oslo -og Bergen. Opptaket fra dette er også publisert på Frikanalen. -Generelt har jeg veldig fornøyd med at Frikanalen nå i praksis er -Tekno-TV med interessante faktaprogram og presentasjoner nesten hele -døgnet, hele uka.
- -Vi har i lengre tid forsøkt å få opp et Mesh-nett i Oslo, under -navnet dugnadsnett.no, uten at vi så langt har klart å nå kritisk -masse. Tanken er å gjøre det mulig å kommunisere direkte mellom -likeverdige parter uten sentrale knutepunkt som enkelt kan avlyttes. -Prosjektet er ikke dødt, men interessen blant oss som er med har ikke -vært stor nok til å kunne prioritere dette over alt annet.
- -En ting som har tatt prioritet for min del er NUUG og EFNs forsøk -pÃ¥ Ã¥ fÃ¥ domstolvurdering av om det er greit for politiet Ã¥ overta et -DNS-domene uten domstolvurdering. Bakgrunnen er at Ãkokrim tok beslag -i popcorn-time.no i mars 2016, med pÃ¥stand om at nettstedet bidro til -opphavsrettsbrudd ved Ã¥ omtale fri programvareløsningen Popcorn Time -og lenke til nettsteder der det var lenker til nettsteder der en kunne -laste ned Popcorn Time. For det første mener vi at domstolene bør -involveres før DNS-domener tas fra sine eiere, og for det andre mener -vi begrunnelsen er sÃ¥ søkt at domenet ikke burde beslaglegges i første -omgang. NUUG og EFN forsøkte først Ã¥ protestere pÃ¥ egne vegne men ble -avvist av domstolene med at vi ikke hadde rettslig interesse. Mens -dette pÃ¥gikk lyktes vi Ã¥ fÃ¥ kontakt med registrar og regnskapsfører -som fikk ble raidet av seks stykker fra Ãkokrim, og i gjeldende runde -er det registrar og regnskapsfører som protesterer med støtte fra NUUG -og EFN. Advokattimene renner ut og vi hÃ¥per vi holder ut til saken -har fÃ¥tt prøvd saken.
- -Et annet prosjekt, relatert til fri kultur og åndsverksvern, som -jeg har brukt endel tid på er å maskinelt kunne identifisere verk som -er falt i det fri i Norge. Jeg ønsker å vite hvor mange kunstuttrykk -som blir røvet fra fellesskapet hver gang vernetiden i åndsverksloven -blir utvidet, f.eks. nå sist når vernetiden for musikk ble utvidet med -20 år fra 50 til 70 år med tilbakevirkende kraft, som om de som laget -musikk for 60 år siden skulle bli mer motivert til å lage musikk av -utvidet vernetid. Har sett på å kombinere informasjon fra -Nasjonalbiblioteket, Deichmanske bibliotek, Wikipedia, Store Norske -Leksikon og WorldCat, og gleder meg til Nasjonalbibliotekets initiativ -for autorativ database over verk tar form.
- -Dårlig konkurranse på drivstoffmarkedet har irritert meg en stund, -og jeg laget for flere år siden en skraper som samlet inn prisdata fra -ulike kilder. Jeg ble derfor veldig glad da en økonomistudent tok -kontakt i starten av 2015 og lurte på om jeg kunne bidra med data til -hans masteroppgave om konkurransevilkårene i drivstoffmarkedet. Jeg -bidro med glede, og resultatet er publisert -i fulltekst som "Hemmeligheten bak bensinprisen : en empirisk analyse -av pumpeprisens drivkrefter" på BIBSYS Brage.
- -I tilegg til det jeg har gjort her har jeg rapportert og fikset en -rekke små og store feil i fri programvare, og hjulpet -Debian-bidragsytere og upstream-utviklerne med å forbedre forskjellig -fri programvare og få det inn i Debian.
- -Mye av det jeg har fått gjort rundt fri programvare og fri kultur -har vært mulig takket være at jeg får dekket 20% av arbeidstiden min -på Universitetet i Oslo fra -NUUG Foundation for å jobbe -med og koordinere fri programvareaktiviteter. Jeg er svært takknemlig -til dem og min arbeidsgiver USIT for at jeg har fått muligheten. Uten -dette hadde jeg ikke rukket over like mye etter hvert som ungene ble -større.
+ +At my nearby maker space, +Sonen, I heard the story that it +was easier to generate gcode files for theyr 3D printers (Ultimake 2+) +on Windows and MacOS X than Linux, because the software involved had +to be manually compiled and set up on Linux while premade packages +worked out of the box on Windows and MacOS X. I found this annoying, +as the software involved, +Cura, is free software +and should be trivial to get up and running on Linux if someone took +the time to package it for the relevant distributions. I even found +a request for adding into +Debian from 2013, which had seem some activity over the years but +never resulted in the software showing up in Debian. So a few days +ago I offered my help to try to improve the situation.
+ +Now I am very happy to see that all the packages required by a +working Cura in Debian are uploaded into Debian and waiting in the NEW +queue for the ftpmasters to have a look. You can track the progress +on +the +status page for the 3D printer team.
+ +The uploaded packages are a bit behind upstream, and was uploaded +now to get slots in the NEW +queue while we work up updating the packages to the latest +upstream version.
+ +On a related note, two competitors for Cura, which I found harder +to use and was unable to configure correctly for Ultimaker 2+ in the +short time I spent on it, are already in Debian. If you are looking +for 3D printer "slicers" and want something already available in +Debian, check out +slic3r and +slic3r-prusa. +The latter is a fork of the former.
For -fire og et halvt år siden lot jeg meg overraske over at Ruters -billettautomater for kollektivtrafikken i Oslo kjørte -Windows 2000 -Professional, et og et halvt år etter at Microsoft hadde gitt -beskjed om at det ikke lenger kom sikkerhetsoppdateringer til -systemet. Støtten fra Microsoft -tok -slutt 2010-07-13 i følge Wikipedia og Microsoft selv.
- -For fem dager siden passerte jeg på nytt en slik billettautomat som -hadde brutt sammen, og den annonserte fortsatt at den kjører Windows -2000 Professional, nå mer enn seks år siden Microsoft sluttet å komme -med sikkerhetspatcher til produktet. Sikret meg et bilde av -krasjmeldingen på skjermen. - -
- -Mon tro om de mangler kildekoden til systemet som kjører på -automaten, og dermed ikke uten videre kan oppgradere?
- -Jeg ser jo fra -en -innsynshenvendelse om kildekoden til billett-Appen til Ruter på Mimes -brønn at Ruter tilsynelatende ikke legger sikkerheten i -sertifikater, nøkler og passord, men i stedet baserer seg på at -logikken i programvaren holdes hemmelig. Det borger ikke godt for -sikkerheten i Ruters datasystemer. - -
Det er nå tre og et halvt år siden -Ruter -fortalte Aftenposten at nye automater ble minst seks måneder -forsinket, da leverandøren ikke hadde god nok kontroll. Det kan -virke som om leverandøren ikke er alene om å ikke ha god nok -kontroll.
- -Bildet er tilgjengelig for bruk med bruksvilkårene til -Creative -Commons Navngivelse 3.0 Norge (CC BY 3.0).
- -Oppdatering 2016-12-01: Saken har fått omtale på -digi.no -og -NRK -Beta.
+ +Two years ago, I did some experiments with eatmydata and the Debian -installation system, observing how using -eatmydata -could speed up the installation quite a bit. My testing measured -speedup around 20-40 percent for Debian Edu, where we install around -1000 packages from within the installer. The eatmydata package -provide a way to disable/delay file system flushing. This is a bit -risky in the general case, as files that should be stored on disk will -stay only in memory a bit longer than expected, causing problems if a -machine crashes at an inconvenient time. But for an installation, if -the machine crashes during installation the process is normally -restarted, and avoiding disk operations as much as possible to speed -up the process make perfect sense. - -
I added code in the Debian Edu specific installation code to enable -eatmydata, -but did not have time to push it any further. But a few months ago I -picked it up again and worked with the libeatmydata package maintainer -Mattia Rizzolo to make it easier for everyone to get this installation -speedup in Debian. Thanks to our cooperation There is now an -eatmydata-udeb package in Debian testing and unstable, and simply -enabling/installing it in debian-installer (d-i) is enough to get the -quicker installations. It can be enabled using preseeding. The -following untested kernel argument should do the trick:
- -- --preseed/early_command="anna-install eatmydata-udeb" -
This should ask d-i to install the package inside the d-i -environment early in the installation sequence. Having it installed -in d-i in turn will make sure the relevant scripts are called just -after debootstrap filled /target/ with the freshly installed Debian -system to configure apt to run dpkg with eatmydata. This is enough to -speed up the installation process. There is a proposal to -extend the idea a bit further -by using /etc/ld.so.preload instead of apt.conf, but I have not -tested its impact.
- + +Every mobile phone announce its existence over radio to the nearby +mobile cell towers. And this radio chatter is available for anyone +with a radio receiver capable of receiving them. Details about the +mobile phones with very good accuracy is of course collected by the +phone companies, but this is not the topic of this blog post. The +mobile phone radio chatter make it possible to figure out when a cell +phone is nearby, as it include the SIM card ID (IMSI). By paying +attention over time, one can see when a phone arrive and when it leave +an area. I believe it would be nice to make this information more +available to the general public, to make more people aware of how +their phones are announcing their whereabouts to anyone that care to +listen.
+ +I am very happy to report that we managed to get something +visualizing this information up and running for +Oslo Skaperfestival 2017 +(Oslo Makers Festival) taking place today and tomorrow at Deichmanske +library. The solution is based on the +simple +recipe for listening to GSM chatter I posted a few days ago, and +will show up at the stand of à pen +Sone from the Computer Science department of the University of +Oslo. The presentation will show the nearby mobile phones (aka +IMSIs) as dots in a web browser graph, with lines to the dot +representing mobile base station it is talking to. It was working in +the lab yesterday, and was moved into place this morning.
+ +We set up a fairly powerful desktop machine using Debian +Buster/Testing with several (five, I believe) RTL2838 DVB-T receivers +connected and visualize the visible cell phone towers using an +English version of +Hopglass. A fairly powerfull machine is needed as the +grgsm_livemon_headless processes from +gr-gsm converting +the radio signal to data packages is quite CPU intensive.
+ +The frequencies to listen to, are identified using a slightly +patched scan-and-livemon (to set the --args values for each receiver), +and the Hopglass data is generated using the +patches +in my meshviewer-output branch. For some reason we could not get +more than four SDRs working. There is also a geographical map trying +to show the location of the base stations, but I believe their +coordinates are hardcoded to some random location in Germany, I +believe. The code should be replaced with code to look up location in +a text file, a sqlite database or one of the online databases +mentioned in +the github +issue for the topic. + +
If this sound interesting, visit the stand at the festival!
I Norge er det mange som trenger å skrive både bokmål og nynorsk. -Eksamensoppgaver, offentlige brev og nyheter er eksempler på tekster -der det er krav om skriftspråk. I tillegg til alle skoleoppgavene som -elever over det ganske land skal levere inn hvert år. Det mange ikke -vet er at selv om de kommersielle alternativene -Google Translate og -Bing Translator ikke kan -bidra med å oversette mellom bokmål og nynorsk, så finnes det et -utmerket fri programvarealternativ som kan. Oversetterverktøyet -Apertium har støtte for en rekke språkkombinasjoner, og takket være -den utrettelige innsatsen til blant annet Kevin Brubeck Unhammer, kan -en bruke webtjenesten til å fylle inn en tekst på bokmål eller -nynorsk, og få den automatoversatt til det andre skriftspråket. -Resultatet er ikke perfekt, men et svært godt utgangspunkt. Av og til -er resultatet så bra at det kan benyttes uten endringer. Jeg vet -f.eks. at store deler av Joomla ble oversatt til nynorsk ved hjelp -Apertium. Høres det ut som noe du kan ha bruk for? Besøk i så fall -Apertium.org og fyll inn -teksten din i webskjemaet der. - -
Hvis du trenger maskinell tilgang til den bakenforliggende -teknologien kan du enten installere pakken -apertium-nno-nob -på en Debian-maskin eller bruke web-API-et tilgjengelig fra -api.apertium.org. Se -API-dokumentasjonen -for detaljer om web-API-et. Her kan du se hvordan resultatet blir for -denne teksten som ble skrevet på bokmål over maskinoversatt til -nynorsk.
- -- -
I Noreg er det mange som treng å skriva både bokmål og nynorsk. -Eksamensoppgåver, offentlege brev og nyhende er døme på tekster der -det er krav om skriftspråk. I tillegg til alle skuleoppgåvene som -elevar over det ganske land skal levera inn kvart år. Det mange ikkje -veit er at sjølv om dei kommersielle alternativa -Google *Translate og -Bing *Translator ikkje -kan bidra med å omsetja mellom bokmål og nynorsk, så finst det eit -utmerka fri programvarealternativ som kan. Omsetjarverktøyet -*Apertium har støtte for ei rekkje språkkombinasjonar, og takka vera -den utrøyttelege innsatsen til blant anna Kevin Brubeck Unhammer, kan -ein bruka *webtjenesten til å fylla inn ei tekst på bokmål eller -nynorsk, og få den *automatoversatt til det andre skriftspråket. -Resultatet er ikkje perfekt, men eit svært godt utgangspunkt. Av og -til er resultatet så bra at det kan nyttast utan endringar. Eg veit -t.d. at store delar av *Joomla vart omsett til nynorsk ved hjelp -*Apertium. Høyrast det ut som noko du kan ha bruk for? Besøk i så -fall *Apertium.org og fyll inn -teksta di i *webskjemaet der. - -
Viss du treng *maskinell tilgjenge til den *bakenforliggende -teknologien kan du anten installera pakken -*apertium-*nno-*nob -på ein *Debian-maskin eller bruka *web-*API-eit tilgjengeleg frå -*api.*apertium.org. Sjå -*API-dokumentasjonen -for detaljar om *web-*API-eit. Her kan du sjå korleis resultatet vert -for denne teksta som vart skreva på bokmål over *maskinoversatt til -nynorsk.
+ +A little more than a month ago I wrote +how +to observe the SIM card ID (aka IMSI number) of mobile phones talking +to nearby mobile phone base stations using Debian GNU/Linux and a +cheap USB software defined radio, and thus being able to pinpoint +the location of people and equipment (like cars and trains) with an +accuracy of a few kilometer. Since then we have worked to make the +procedure even simpler, and it is now possible to do this without any +manual frequency tuning and without building your own packages.
+ +The gr-gsm +package is now included in Debian testing and unstable, and the +IMSI-catcher code no longer require root access to fetch and decode +the GSM data collected using gr-gsm.
+ +Here is an updated recipe, using packages built by Debian and a git +clone of two python scripts:
+ +-
+
+
- Start with a Debian machine running the Buster version (aka + testing). + +
- Run 'apt install gr-gsm python-numpy python-scipy + python-scapy' as root to install required packages. + +
- Fetch the code decoding GSM packages using 'git clone + github.com/Oros42/IMSI-catcher.git'. + +
- Insert USB software defined radio supported by GNU Radio. + +
- Enter the IMSI-catcher directory and run 'python + scan-and-livemon' to locate the frequency of nearby base + stations and start listening for GSM packages on one of them. + +
- Enter the IMSI-catcher directory and run 'python + simple_IMSI-catcher.py' to display the collected information. + +
Note, due to a bug somewhere the scan-and-livemon program (actually +its underlying +program grgsm_scanner) do not work with the HackRF radio. It does +work with RTL 8232 and other similar USB radio receivers you can get +very cheaply +(for example +from ebay), so for now the solution is to scan using the RTL radio +and only use HackRF for fetching GSM data.
+ +As far as I can tell, a cell phone only show up on one of the +frequencies at the time, so if you are going to track and count every +cell phone around you, you need to listen to all the frequencies used. +To listen to several frequencies, use the --numrecv argument to +scan-and-livemon to use several receivers. Further, I am not sure if +phones using 3G or 4G will show as talking GSM to base stations, so +this approach might not see all phones around you. I typically see +0-400 IMSI numbers an hour when looking around where I live.
+ +I've tried to run the scanner on a +Raspberry Pi 2 and 3 +running Debian Buster, but the grgsm_livemon_headless process seem +to be too CPU intensive to keep up. When GNU Radio print 'O' to +stdout, I am told there it is caused by a buffer overflow between the +radio and GNU Radio, caused by the program being unable to read the +GSM data fast enough. If you see a stream of 'O's from the terminal +where you started scan-and-livemon, you need a give the process more +CPU power. Perhaps someone are able to optimize the code to a point +where it become possible to set up RPi3 based GSM sniffers? I tried +using Raspbian instead of Debian, but there seem to be something wrong +with GNU Radio on raspbian, causing glibc to abort().
For noen dager siden ble jeg tipset av min venn Andreas -Aanerud om at magasinet -Pegasus skulle ta i bruk -Creative -Commons-lisensiering på sine artikler. Han fortalte at den -direkte årsaken var at han hadde blitt inspirert av å lese -boken -Fri kultur -(github) -og foreslått endringen. Jeg ble veldig glad for å høre -dette, da det er det første konkrete tilfellet jeg har hørt om der den -norske oversettelsen av -Lawrence Lessigs bok Free Culture som jeg ga ut i fjor høst hadde -fått noen til å ta i bruk Creative Commons.
- -Andreas fikk boken av meg som takk for at han inviterte meg til -The Gathering, og jeg er veldig -glad for at den falt i smak. Jeg ble nysgjerrig på hva som var -bakgrunnen for denne policy-endringen hos Hyperion og han sa seg -villig til å la seg intervjue til bloggen min.
- -- -- -Hvilke tanker gjorde du deg da boken lå i hånden første -gang?
- -Jeg husker da jeg fikk boken, etter en omvisning på The Gathering i -2016, der jeg var Core Organizer. The Gathering er jo et sted hvor en -fremmer delingskultur, i alt fra kode, til løsninger og «hacks», så en -kan vel si at boken er veldig relevant!
- -Mine første tanker om boken, var at den trengte et grafisk løft. -Selv har jeg dysleksi og er ikke verdens beste i å lese, men for meg -så skal ikke det bety at jeg ikke klarer å lese. Jeg har jo også mine -egne tanker om «Fri kultur», ettersom jeg har jobbet med noen norske -filmer via NRK og TV2 og nå sitter som en teknisk leder i -filmavdelingen til Schjærven Reklamebyrå.
- -Har du lest boken, og hva tenker du om den nå?
- -Jeg har lest boken, og for meg er det jo veldig moro å kunne si at -Disney var en pirat og nå ha bevisene. Men det å gå fra Disney via -RIAA, og så igjennom en jungel av teknikk og programmering og ende opp -med spørsmålet om vi alle piratkopierer litt, er enda bedre. For ja, -boken klarer å få frem en diskusjon om åndsverk på en god måte -gjennom en samling historier, men den viste meg også et bilde, hvor -teknologi blir kneblet, og ikke får lov til å utvikle seg, ettersom -«opphavsrettsinnehaverne» bryr seg mer om sin industri enn om verden -går fremover. Ta f.eks. internettradio! Hvorfor tuller vi med DAB+ -og alt det der, når radio kan være en app på alle telefoner i dag. -Men den største tanken som jeg satt igjen med, er at vi må få færre -advokater og flere tenkere som kan dra oss vekk fra de feilene vi er i -ferd med å ende opp i.
- -Har budskapet i boken påvirker deg og det du holder på -med?
- -The Gathering sin moderforening er -KANDU, som er et stolt medlem av Hyperion. Hyperion har et mandat igjennom -sitt interne magasin Pegasus å fremme Hyperion sine -medlemsarrangementer og kultur. Dette tror jeg er veldig viktig, og en -av de viktigste virkemidlene det magasinet nå har fått, er pålegget om -å publisere alt under de forskjellige Creative Commons -retningslinjer. Grunnen til at Pegasus kan velge fritt blant lisensene -til Creative Commons er deres bruk av freelancere m.m. som også må få -sine rettigheter dekket.
- -Det er et steg i riktig retning som jeg håper, vil gi lokalaviser, -nasjonale aviser, bloggere m.m. muligheten til å referere til Pegasus -sitt innhold uten å måtte be om tillatelse først, som i bunnen vil -hjelpe oss å spre vår kultur i Hyperion.
- -Hva fikk Pegasus til å vedta retninglinjer om bruk av -Creative Commons, og hvordan kom dere frem til en slik -policy?
- -Dette skjedde på Hyperion sitt landsting, hvor jeg ønsket å fremme -Creative Commons som en retning som flere mener magasinet burde ta, -hvordan Pegasus tar det i bruk er mer opp til redaksjonen. Det som var -trist er at en del har misforstått hva Creative Commons er. Vi fikk -en veldig het «debatt» på facebook i etterkant hvor noen blant annet -mener at dette vedtaket har drept Pegasus.
- -Personlig syntes jeg disse reaksjonene er rare, ettersom Pegasus er -et medlemsmagasin og magasinet sitt mål er å spre vår fantastiske -kultur. Jeg mener at Ceative Commons-bruksvilkår på artikler skaper -en veldig god mulighet til å spre denne kulturen. Det gjør at større -og mindre aviser kan låne artikler fra medlemsmagasinet og publisere -det hos seg, slik at effekten nettopp er fremme vår kultur.
- -Jeg gleder meg til å se hvordan redaksjonen håndhever bruken av -Creative Commons.
- -Hvem tror du kunne ha mest nytte av å lese Fri -kultur?
- -Jeg tror at boken Fri kultur bør leses av de som ønsker en debatt -om nye medier, samt de som jobber med medier og føler seg «truet» av -utviklingen. Kanskje det kan være et lysglimt om at vi må heller være -med å utvikle oss, enn å stoppe opp og «beskytte» våre eier-, penge- -og materielle interesser.
- -Spørsmålet for redaksjoner vil vel være om de «tjener» på klikk og -sine artikler via annonser, i så fall ville jeg tenkt litt rundt -spredningen. Nettavisen Digi.no gjorde en analyse i 2015 som var -veldig fin. Hvor de måtte konkludere med at de fikk ut budskapet -bedre, men de mistet inntekter på annonsevisning.
- -Derfor for et magasin som skal «spre» kultur, så burde Creative -Commons være en no-brainer, en kunne også kanskje argumentere med at -NRK også burde gjøre dette, ettersom de ikke lever av reklame, og vi -betaler for innholdet deres.
- -Kommer du til å anbefale boken til noen du -kjenner?
- -Absolutt! Jeg har faktisk tenkt å gi den videre som en vandrebok, -til redaksjonen i Pegasus slik at de kan lese den og få noen ider og -tanker om fri kultur.
- -Du sier at boken klarer å få frem viktig en diskusjon om - vern av åndsverk. Boken er jo skrevet med bakgrunn i USAs - Copyright-lovgiving og ikke den norske åndsverksloven. Hva gjør at - du mener boken er relevant for den norske debatten?
- -En av tingene boken pekte på var tanken om hvor opphavsretten skal -ligge. Skal den ligge hos den som skriver sangen, den som fremfører -eller den som tar opp sangen. Og når spørsmålet kom tilbake i en -software-utgave, «hvordan kan Adobe styre opphavsretten i sin eBook -Publisher» så føler jeg at vi kommer inn på spennende tanker som jeg -mener vi glemmer i norsk åndsverksdebatt. USA har rett å slett et -«større bilde» som kanskje vi kan ta lærdom av.
- -
Jeg er veldig spent på hvordan redaksjonen i Pegasus kommer til å -ta i bruk Creative Commons, og gleder meg til neste tegn på at -bokutgivelsen har fått noen til å tenke mer på problemene med dagens -åndsverksvern.
+ +For noen dager siden publiserte Jon Wessel-Aas en bloggpost om +«Konklusjonen om datalagring som +EU-kommisjonen ikke ville at vi skulle få se». Det er en +interessant gjennomgang av EU-domstolens syn på snurpenotovervåkning +av befolkningen, som er klar på at det er i strid med +EU-lovgivingen.
+ +Valgkampen går for fullt i Norge, og om noen få dager er siste +frist for å avgi stemme. En ting er sikkert, Høyre og Arbeiderpartiet +får ikke min stemme +denne +gangen heller. Jeg har ikke glemt at de tvang igjennom loven som +skulle pålegge alle data- og teletjenesteleverandører å overvåke alle +sine kunder. En lov som er vedtatt, og aldri opphevet igjen.
+ +Det er tydelig fra diskusjonen rundt grenseløs digital overvåkning +(eller "Digital Grenseforsvar" som det kalles i Orvellisk nytale) at +hverken Høyre og Arbeiderpartiet har noen prinsipielle sperrer mot å +overvåke hele befolkningen, og diskusjonen så langt tyder på at flere +av de andre partiene heller ikke har det. Mange av +de som stemte +for Datalagringsdirektivet i Stortinget (64 fra Arbeiderpartiet, +25 fra Høyre) er fortsatt aktive og argumenterer fortsatt for å radere +vekk mer av innbyggernes privatsfære.
+ +Når myndighetene demonstrerer sin mistillit til folket, tror jeg +folket selv bør legge litt innsats i å verne sitt privatliv, ved å ta +i bruk ende-til-ende-kryptert kommunikasjon med sine kjente og kjære, +og begrense hvor mye privat informasjon som deles med uvedkommende. +Det er jo ingenting som tyder på at myndighetene kommer til å være vår +privatsfære. +Det +er mange muligheter. Selv har jeg litt sans for +Ring, som er basert på p2p-teknologi +uten sentral kontroll, er fri programvare, og støtter meldinger, tale +og video. Systemet er tilgjengelig ut av boksen fra +Debian og +Ubuntu, og det +finnes pakker for Android, MacOSX og Windows. Foreløpig er det få +brukere med Ring, slik at jeg også bruker +Signal som nettleserutvidelse.
The Coz profiler, a nice -profiler able to run benchmarking experiments on the instrumented -multi-threaded program, finally -made it into -Debian unstable yesterday. LluÃs Vilanova and I have spent many -months since -I -blogged about the coz tool in August working with upstream to make -it suitable for Debian. There are still issues with clang -compatibility, inline assembly only working x86 and minimized -JavaScript libraries.
- -To test it, install 'coz-profiler' using apt and run it like this:
- --coz run --- /path/to/binary-with-debug-info -- -
This will produce a profile.coz file in the current working -directory with the profiling information. This is then given to a -JavaScript application provided in the package and available from -a project web page. -To start the local copy, invoke it in a browser like this:
- --sensible-browser /usr/share/coz-profiler/viewer/index.htm -- -
See the project home page and the -USENIX -;login: article on Coz for more information on how it is -working.
+ +On friday, I came across an interesting article in the Norwegian +web based ICT news magazine digi.no on +how +to collect the IMSI numbers of nearby cell phones using the cheap +DVB-T software defined radios. The article refered to instructions +and a recipe by +Keld Norman on Youtube on how to make a simple $7 IMSI Catcher, and I decided to test them out.
+ +The instructions said to use Ubuntu, install pip using apt (to +bypass apt), use pip to install pybombs (to bypass both apt and pip), +and the ask pybombs to fetch and build everything you need from +scratch. I wanted to see if I could do the same on the most recent +Debian packages, but this did not work because pybombs tried to build +stuff that no longer build with the most recent openssl library or +some other version skew problem. While trying to get this recipe +working, I learned that the apt->pip->pybombs route was a long detour, +and the only piece of software dependency missing in Debian was the +gr-gsm package. I also found out that the lead upstream developer of +gr-gsm (the name stand for GNU Radio GSM) project already had a set of +Debian packages provided in an Ubuntu PPA repository. All I needed to +do was to dget the Debian source package and built it.
+ +The IMSI collector is a python script listening for packages on the +loopback network device and printing to the terminal some specific GSM +packages with IMSI numbers in them. The code is fairly short and easy +to understand. The reason this work is because gr-gsm include a tool +to read GSM data from a software defined radio like a DVB-T USB stick +and other software defined radios, decode them and inject them into a +network device on your Linux machine (using the loopback device by +default). This proved to work just fine, and I've been testing the +collector for a few days now.
+ +The updated and simpler recipe is thus to
+ +-
+
+
- start with a Debian machine running Stretch or newer, + +
- build and install the gr-gsm package available from +http://ppa.launchpad.net/ptrkrysik/gr-gsm/ubuntu/pool/main/g/gr-gsm/, + +
- clone the git repostory from https://github.com/Oros42/IMSI-catcher, + +
- run grgsm_livemon and adjust the frequency until the terminal +where it was started is filled with a stream of text (meaning you +found a GSM station). + +
- go into the IMSI-catcher directory and run 'sudo python simple_IMSI-catcher.py' to extract the IMSI numbers. + +
To make it even easier in the future to get this sniffer up and +running, I decided to package +the gr-gsm project +for Debian (WNPP +#871055), and the package was uploaded into the NEW queue today. +Luckily the gnuradio maintainer has promised to help me, as I do not +know much about gnuradio stuff yet.
+ +I doubt this "IMSI cacher" is anywhere near as powerfull as +commercial tools like +The +Spy Phone Portable IMSI / IMEI Catcher or the +Harris +Stingray, but I hope the existance of cheap alternatives can make +more people realise how their whereabouts when carrying a cell phone +is easily tracked. Seeing the data flow on the screen, realizing that +I live close to a police station and knowing that the police is also +wearing cell phones, I wonder how hard it would be for criminals to +track the position of the police officers to discover when there are +police near by, or for foreign military forces to track the location +of the Norwegian military forces, or for anyone to track the location +of government officials...
+ +It is worth noting that the data reported by the IMSI-catcher +script mentioned above is only a fraction of the data broadcasted on +the GSM network. It will only collect one frequency at the time, +while a typical phone will be using several frequencies, and not all +phones will be using the frequencies tracked by the grgsm_livemod +program. Also, there is a lot of radio chatter being ignored by the +simple_IMSI-catcher script, which would be collected by extending the +parser code. I wonder if gr-gsm can be set up to listen to more than +one frequency?
Archive
-
+
- 2017
+
-
+
+
- January (4) + +
- February (3) + +
- March (5) + +
- April (2) + +
- June (5) + +
- July (1) + +
- August (1) + +
- September (3) + +
- October (5) + +
- November (1) + +
+
- 2016
-
@@ -1513,7 +1128,7 @@ working.
- 3d-printer (13) +
- 3d-printer (14)
- amiga (1) @@ -1529,25 +1144,27 @@ working.
- chrpath (2) -
- debian (144) +
- debian (154)
- debian edu (158) +
- debian-handbook (4) +
- digistan (10) -
- dld (16) +
- dld (17) -
- docbook (23) +
- docbook (24)
- drivstoffpriser (4) -
- english (336) +
- english (358)
- fiksgatami (23)
- fildeling (12) -
- freeculture (29) +
- freeculture (30)
- freedombox (9) @@ -1559,7 +1176,7 @@ working.
- isenkram (15) -
- kart (19) +
- kart (20)
- ldap (9) @@ -1575,19 +1192,19 @@ working.
- nice free software (9) -
- norsk (285) +
- norsk (293) -
- nuug (182) +
- nuug (189) -
- offentlig innsyn (26) +
- offentlig innsyn (33)
- open311 (2) -
- opphavsrett (62) +
- opphavsrett (65) -
- personvern (96) +
- personvern (104) -
- raid (1) +
- raid (2)
- reactos (1) @@ -1603,31 +1220,31 @@ working.
- scraperwiki (2) -
- sikkerhet (52) +
- sikkerhet (53)
- sitesummary (4)
- skepsis (5) -
- standard (49) +
- standard (55) -
- stavekontroll (5) +
- stavekontroll (6) -
- stortinget (10) +
- stortinget (12) -
- surveillance (44) +
- surveillance (52) -
- sysadmin (2) +
- sysadmin (4)
- usenix (2) -
- valg (8) +
- valg (9)
- video (59)
- vitenskap (4) -
- web (38) +
- web (40)
Tags
-
-