A few years ago I wrote -how -to extract support status for your Dell and HP servers. Recently -I have learned from colleges here at the -University of Oslo that Dell have -made this even easier, by providing a SOAP based web service. Given -the service tag, one can now query the Dell servers and get machine -readable information about the support status. This perl code -demonstrate how to do it:
+ +Aftenposten melder i dag at selgerne av +gatemagasinet =Oslo er +irritert +pÃ¥ at det er kommet en konkurrent pÃ¥ banen fra organisasjonen +Folk er Folk, +som støtter ârumenerneâ, de mest uglesette av tiggerne i Norge. Min +første tanke da jeg leste nyheten er at slik mÃ¥ =Oslo-selgerne tÃ¥le +nÃ¥r de nekter "rumenerne" og andre utenlandske tiggere Ã¥ selge +gatemagasinet sitt. Det ble rapportert for noen Ã¥r siden at +utenlandske +tiggere ikke var velkomne som selgere, og Ã¥ opprette en konkurrent +virker da for meg som et rasjonelt alternativ. Og at "rumerene" +utelukkes gjelder visst ikke bare i Oslo. I Adresseavisen fant jeg en +artikkel om at selgerne av +gateavisen +Sorgenfri i Trondheim ogsÃ¥ +utelukker +utenlandske selgere.
+ +Men situasjonen er visst ikke så rett frem som opprinnelige +artikler kunne tyde på. Mens jeg søkte opp gamle artikler og +referanser om temaet, fant jeg et +leserbrev +fra en av stifterne av =Oslo, som protesterte på +påstander +fra likestillingsombudet om diskriminering og forteller at =Oslo +krever at de som selger magasinet skal kunne kommunisere med kundene +for å kunne representere magasinet utad, og at "rumererne" ikke +ekskluderes for å være utlendinger men pga. at de ikke kan snakke +norsk. Det er jo ikke urimelig å kreve at en selger skal kunne +kommunisere med kundene, men som kjøper har jeg ikke snakket så mye +med =Oslo-selgerne at det ville vært et problem for meg om selgeren +ikke kunne snakke norsk. Jeg er dermed i tvil om hvorvidt +argumentasjonen holder når effekten er at de mest uglesette tiggerne i +Norge ekskluderes.
+ +Uansett tror jeg ikke markedet for gatemagasiner i Oslo er mettet. +Personlig kunne jeg godt tenkte meg å kjøpe flere, men gidder ikke +kjøpe den samme utgaven av =Oslo flere ganger. En konkurrent som Folk +er Folk kan dermed ende opp med å gjøre markedet større i stedet for å +spise av markedsandelene til =Oslo.
+Doffin er det offentlige Norges +portal for annonsering av anbudsutlysninger. Nettstedet er mye brukt, +men rådataene er ikke enkelt tilgjengelig for almenheten. For å bøte +på det har jeg som et NUUG-prosjekt +laget en Scraperwiki-skraper som +lager en +SQL-database +med nøkkelinformasjonen fra Doffin, slik at det er mulig å søke og +analysere Doffin-oppføringene. Det publiseres mellom 900-1500 anbud +hver måned via Doffin. Jeg har ingen konkrete planer for analyse, men +håper enklere tilgjengelighet gjør at flere griper sjansen. På sikt +håper jeg å bruke denne databasen som grunnlag for å lage en database +over anbudsdokumenter, som i dag ikke er tilgjengelig fra doffin, men +må bestilles fra hver enkelt utlyser.
+ +Jeg var litt usikker på om det var rettighetsproblemer knyttet til +skraping av informasjon fra Doffin, men ser i +vilkårene til +Doffin følgende:
--use strict; -use warnings; -use SOAP::Lite; -use Data::Dumper; -my $GUID = '11111111-1111-1111-1111-111111111111'; -my $App = 'test'; -my $servicetag = $ARGV[0] or die "Please supply a servicetag. $!\n"; -my ($deal, $latest, @dates); -my $s = SOAP::Lite - -> uri('http://support.dell.com/WebServices/') - -> on_action( sub { join '', @_ } ) - -> proxy('http://xserv.dell.com/services/assetservice.asmx') - ; -my $a = $s->GetAssetInformation( - SOAP::Data->name('guid')->value($GUID)->type(''), - SOAP::Data->name('applicationName')->value($App)->type(''), - SOAP::Data->name('serviceTags')->value($servicetag)->type(''), -); -print Dumper($a -> result) ; -+
--The output can look like this:
+Opphavsrett mv
--$VAR1 = { - 'Asset' => { - 'Entitlements' => { - 'EntitlementData' => [ - { - 'EntitlementType' => 'Expired', - 'EndDate' => '2009-07-29T00:00:00', - 'Provider' => '', - 'StartDate' => '2006-07-29T00:00:00', - 'DaysLeft' => '0' - }, - { - 'EntitlementType' => 'Expired', - 'EndDate' => '2009-07-29T00:00:00', - 'Provider' => '', - 'StartDate' => '2006-07-29T00:00:00', - 'DaysLeft' => '0' - }, - { - 'EntitlementType' => 'Expired', - 'EndDate' => '2007-07-29T00:00:00', - 'Provider' => '', - 'StartDate' => '2006-07-29T00:00:00', - 'DaysLeft' => '0' - } - ] - }, - 'AssetHeaderData' => { - 'SystemModel' => 'GX620', - 'ServiceTag' => '8DSGD2J', - 'SystemShipDate' => '2006-07-29T19:00:00-05:00', - 'Buid' => '2323', - 'Region' => 'Europe', - 'SystemID' => 'PLX_GX620', - 'SystemType' => 'OptiPlex' - } - } - }; -+Ved innleggig av kunngjøringer på Doffin aksepterer Oppdragsgiver +at opphavsrett og andre rettigheter til materialet overføres til +Fornyings- og administrasjonsdepartementet, eller den departementet +utnevner. Oppdragsgiver har imidlertid bruksrett til materialet, og +kan benytte det til de formål de måtte ønske.
-I have not been able to find any documentation from Dell about this -service outside the -inline -documentation, and according to -one -comment it can have stability issues, but it is a lot better than -scraping HTML pages. :)
+
Wonder if HP and other server vendors have a similar service. If -you know of one, drop me an email. :)
+Hvis informasjonen er vernet av opphavsrettsloven (hvilket jeg +tviler på, gitt lovens begrensninger om informasjon fra det +offentlige), så er det FAD som har de immaterielle rettighetene. FAD +er en del av staten, som opererer på vegne av folket, og enhver borger +skulle dermed ha rett til å videreformidle informasjonen. Ingen av +offentlighetslovens unntak kommer til anvendelse, i og med at +informasjonen allerede er publisert.
På onsdag rakk jeg såvidt innom -Oslo Open Data Forums -møte, og fikk lagt hendene mine på DIFIs helt nye veileder -"à pne data. Del og skap -verdier. Veileder i tilgjengeliggjøring av offentlig data" (også -tilgjengelig -som PDF fra DIFI).
+ +During my work on +Debian Edu +based on Squeeze, I came across some issues that should be +addressed in the Wheezy release. I finally found time to wrap up my +notes and provide quick summary of what I found, with a bit +explanation.
+ +-
+
+
- We need to rewrite our package installation framework, as tasksel +changed from using tasksel tasks to using meta packages (aka packages +with dependencies like our education-* packages), and our installation +system depend on tasksel tasks in +/usr/share/tasksel/debian-edu-tasks.desc for package +installation. + +
- Enable Kerberos login for more services. Now with the Kerberos
+foundation in place, we should use it to get single sign on with more
+services, and avoiding unneeded password / login questions. We should
+at least try to enable it for these services:
+
-
-
- CUPS for admins to add/configure printers and users when using + quotas. +
- Nagios for admins checking the system status. +
- GOsa for admins updating LDAP and users changing their passwords. +
- LDAP for admins updating LDAP. +
- Squid for users when exam mode / filtering is active. +
- ssh for admins and users to save a password prompt. -
Veilederen er veldig bra, og nevner viktige problemstillinger og -skisserer f.eks. både verdiskapningspotensialet og formatmulighetene -som en bør ha i bakhodet når en publiserer offentlig informasjon på -maskinlesbart format. Kildekoden til veilederen er -tilgjengelig via -github, og en kan rapportere tilbakemeldinger og forslag til -forbedringer der (eller via epost og twitter for de som ønsker -det).
+Det eneste jeg virkelig savnet i veilederen var omtale av -w3cs -stjerneklassifisering av åpne datakilder, som jeg tror ville være -nyttige mentale knagger for de som vurderer å publisere sin -informasjon på som åpne data. Jeg har -rapportert -en github-bug om dette, så får vi se hvordan den blir behandlet.
+
- - When we move GOsa to use Kerberos instead of LDAP bind to +authenticate users, we should try to block or at least limit access to +use LDAP bind for authentication, to ensure Kerberos is used when it +is intended, and nothing fall back to using the less safe LDAP bind + +
- Merge debian-edu-config and debian-edu-install. The split made +sense when d-e-install did a lot more, but these days it is just an +inconvenience when we update the debconf preseeding values. + +
- Fix partman-auto to allow us to abort the installation before +touching the disk if the disk is too small. This is +BTS report #653305 and the +d-i developers are fine with the patch and someone just need to apply +it and upload. After this is done we need to adjust +debian-edu-install to use this new hook. + +
- Adjust to new LTSP framework (boot time config instead of install +time config). LTSP changed its design, and our hooks to install +packages and update the configuration is most likely not going to work +in Wheezy. + +
- Consider switching to NBD instead of NFS for LTSP root, to allow +the Kernel to cache files in its normal file cache, possibly speeding +up KDE login on slow networks. + +
- Make it possible to create expired user passwords that need to +change on first login. This is useful when handing out password on +paper, to make sure only the user know the password. This require +fixes to the PAM handling of kdm and gdm. + +
- Make GUI for adding new machines automatically from sitesummary. +The current command line script is not very friendly to people most +familiar with GUIs. This should probably be integrated into GOsa to +have it available where the admin will be looking for it.. + +
- We should find way for Nagios to check that the DHCP service +actually is working (as in handling out IP addresses). None of the +Nagios checks I have found so far have been working for me. + +
- We should switch from libpam-nss-ldapd to sssd for all profiles +using LDAP, and not only on for roaming workstations, to have less +packages to configure and consistent setup across all profiles. + +
- We should configure Kerberos to update LDAP and Samba password +when changing password using the Kerberos protocol. The hook was +requested in BTS report +#588968 and is now available in Wheezy. We might need to write a +MIT Kerberos plugin in C to get this. + +
- We should clean up the set of applications installed by default.
+
-
+
+
- reduce the number of chemistry visualisers +
- consider dropping xpaint +
- and probably more? +
+
+ - Some hardware need external firmware to work properly. This is +mostly the case for WiFi network cards, but there are some other +examples too. For popular laptops to work out of the box, such +firmware need to be installed from non-free, and we should provide +some GUI to do this. Ubuntu already have this implemented, and we +could consider using their packages. At the moment we have some +command line script to do this (one for the running system, another +for the LTSP chroot). + + +
- In Squeeze, we provide KDE, Gnome and LXDE as desktop options. We +should extend the list to Xfce and Sugar, and preferably find a way to +install several and allow the admin or the user to select which one to +use. + +
- The golearn tool from the goplay package make it easy to check out +interesting educational packages. We should work on the package +tagging in Debian to ensure it represent all the useful educational +packages, and extend the tool to allow it to use packagekit to install +new applications with a simple mouse click. + +
- The Squeeze version got half a exam solution already in place, +with the introduction of iptable based network blocking, but for it to +be a complete exam solution the Squid proxy need to enable +filtering/blocking as well when the exam mode is enabled. We should +implement a way to easily enable this for the schools that want it, +instead of the "it is documented" method of today. + +
- A feature used in several schools is the ability for a teacher to +"take over" the desktop of individual or all computers in the room. +There are at least three implementations, +italc, +controlaula og +epoptes and we should pick one of +them and make it trivial to set it up in a school. The challenges is +how to distribute crypto keys and how to group computers in one room +and how to set up which machine/user can control the machines in a +given room. + +
- Tablets and surf boards are getting more and more popular, and we +should look into providing a good solution for integrating these into +the Debian Edu network. Not quite sure how. Perhaps we should +provide a installation profile with better touch screen support for +them, or add some sync services to allow them to exchange +configuration and data with the central server. This should be +investigated. + +
Det slo meg at det var veldig lite konkret i veilederen om valg av -bruksvilkår ved publisering (aka lisens), men jeg er ikke sikker på om -det hører hjemme der, da det er et vanskelig tema som kanskje heller -hører hjemme i sin egen veileder. Uansett, anbefaler alle å ta en -titt på veilederen og sikre at alle offentlige etater en har kontakt -med får en kopi.
+I guess we will discover more as we continue to work on the Wheezy +version.
A few days ago my color calibration gadget -ColorHug arrived in the -mail, and I've had a few days to test it. As all my machines are -running Debian Squeeze, where -the -calibration software is missing (it is present in Wheezy and Sid), -I ran the calibration using the Fedora based live CD. This worked -just fine. So far I have only done the quick calibration. It was -slow enough for me, so I will leave the more extensive calibration for -another day.
- -After calibration, I get a -ICC color -profile file that can be passed to programs understanding such -tools. KDE do not seem to understand it out of the box, so I searched -for command line tools to use to load the color profile into X. -xcalib was the first one I found, and it seem to work fine for single -monitor setups. But for my video player, a laptop with a flat screen -attached, it was unable to load the color profile for the correct -monitor. After searching a bit, I -discovered -that the dispwin tool from the argyll package would do what I wanted, -and a simple
+ +De siste månedene har jeg sammen med andre i NUUG jobbet med å +gjøre det enklere å få innsyn i offentlige dokumenter, og dette +inkluderer å gjøre postjournaler enklere tilgjengelig for maskinell +analyse og søk. I den forbindelse tok jeg i dag å tittet litt på +Offentlig Elektronisk Postjournal +(OEP), FAD/DIFIs fellesløsning for departementer og statlige +etater.
+ +Her er antall oppføringer pr. måned det siste året, +summert +opp ved hjelp av +en +Scraperwiki-database. Merk at denne Scraperwikien har +ytelsesproblemer pga. mengden data.
+ +MÃ¥ned | Antall |
---|---|
2011-07 | 164355 |
2011-08 | 153662 |
2011-09 | 173134 |
2011-10 | 170665 |
2011-11 | 198409 |
2011-12 | 175908 |
2012-01 | 206875 |
2012-02 | 202862 |
2012-03 | 204225 |
2012-04 | 207931 |
2012-05 | 223754 |
-dispwin -d 1 profile.icc -+
Det er også interessant å se hvor ofte ulike etater sender inn sine +journaloppføringer til OEP. OEP inneholder en liste med sist +innrapporteringsdato for alle som sender til OEP, og ved å se når og +hvor ofte det blir sendt inn fra etatene kan +frekvensen +beregnes. Her er bunnlista, dvs. de som leverer sjeldnere enn hver 10. +dag beregnet fra +en +Scraperwiki-database:
+ +Etat | Frekvens | Leveringer |
---|---|---|
Norges geologiske undersøkelse | 83.7527546296 | 1 |
Medietilsynet | 33.7527546296 | 1 |
Departementenes servicesenter | 23.8763773148 | 2 |
Kunnskapsdepartementet | 15.8763773148 | 2 |
Kompetansesenter for distriktsutvikling | 15.3763773148 | 2 |
Toll- og avgiftsdirektoratet | 15.3763773148 | 2 |
Fredskorpset | 12.5842515432 | 3 |
Statens legemiddelverk | 12.1881886574 | 4 |
Utlendingsnemnda | 11.5842515432 | 3 |
Politidirektoratet | 10.9175848765 | 3 |
Skattedirektoratet | 10.9175848765 | 3 |
Statens innkrevingssentral | 10.5842515432 | 3 |
Barne-, ungdoms- og familiedirektoratet | 10.2509182099 | 3 |
Kunst i offentlige rom | 10.2509182099 | 3 |
En kan beregne lignende frekvenser ved å sammenligne +journalføringsdato med publiseringsdato for hver enkelt oppføring i +OEP, men den lenken legger jeg ikke ved her for å unngå at +søkemotorroboter begynner å overbelaste Scraperwiki-databasen.
-later I had the color profile loaded for the correct monitor. The -result was a bit more pink than I expected. I guess I picked the -wrong monitor type for the "led" monitor I got, but the result is good -enough for now.
+Jeg har spurt Norges geologiske undersøkelse om hvorfor de leverer +så sjelden, og det kommer av at de har problemer etter oppgradering av +arkivsystemet sitt og jobber med å fikse det slik at de kan gå tilbake +til å levere hver uke. Har ikke undersøkt noen av de andre.
Det finnes i følge de som har talt ca. 1600 bensinstasjoner i -Norge. Daglig innsamling av informasjon fra alle disse vil antagelig -kreve noen tusen frivillige. Dugnadsbasert innsamling av bensinpriser -for å gjøre det enklere å sammenligne priser og dermed bedre -konkurransen i bensinmarkedet er en idé som mange har gjennomført de -siste årene. Her er et forsøk på en oversikt over de som finnes i -dag.
- --
-
-
- Dinside.no nettside - -
- Nettavisen dinside startet for noen år siden en dugnad for å -samle -inn drivstoffpriser. Tjenesten samler inn med et nettsideskjema -der en må registrere seg for å delta. En SMS-tjeneste har visst -eksistert tidligere, men er ute av drift 2012-05-31. Listen over -bensinstasjoner er kun tilgjengelig for registrerte brukere, og -mangler geografiske koordinater for fremvisning på kart. Listen over -innsamlede bensinpriser er tilgjengelig som nettside i litt over 24 -timer etter registrering. Antall innsamlede priser pr. dag ligger i -området 10-35, og jeg har startet på -en -database over de publiserte prisene hos Scraperwiki. - -
- Bitfactorys mobilapp - -
- I fjor lanserte -selskapet Bitfactory -sin landsdekkende mobilapp (først for iphone, siden også for -Android) for å samle inn drivstoffpriser og gjøre det enkelt å finne -billigste stasjon i nærområdet ved hjelp av smarttelefon. Den -innsamlede informasjonen er ikke publisert på web, men dagens priser -kan hentes ut ved hjelp av et -web-API -som jeg har dokumentert med reversutvikling. Stasjonslisten -inneholder geografiske koordinater for fremvisning på kart. Antall -innsamlede priser pr. dag ser ut til å ligge rundt 200. - - - -
- NAF Bergens nettside og iphone-app - -
- I år lanserte NAF Bergen en -landsdekkende iphone-app koblet til NAF Bergens tjeneste for å -samle inn og varsle brukerne om bensinpriser. Nettstedet har -publisert listen over bensinstasjoner, men ikke en komplett oversikt -over innsamlede priser. De har interessant statistikk over -prisutviklingen som går tilbake til 2009. - -
- bensinpris.net - -
- Nettside med prisinformasjon for Trondheimsområdet. Informasjonen -registreres via web og SMS, og krever ikke registrering. Nettsiden -viser de tre siste prisene registret for bensin og disel. Har liste -over kjente stasjoner tilgjengelig. Svært lite oppdatert for -tiden. - -
I tillegg er jeg kjent med drivstoffguiden.no som ser ut til å være -nedlagt, og at SSB som del av beregningen av konsumprisindeksen samler -inn driftstoffpriser hver måned og -legger dem ut i -PDF-format.
- -Det jeg ikke forstår er hvorfor det stadig opprettes nye nett- og -mobiltjenester for å samle inn bensinpriser, i stedet for å samarbeide -med de eksisterende løsninger for å gjøre de gode nok til nye -bruksområder. Jobben med å samle inn priser er formidabel, og hvis -målet er bedre konkurranse på bensinmarkedet ville jeg tro det beste -var om kundene samlet seg om _ett_ nettsted og samlet alle prisene -der, i stedet for å spre innsatsen på mange nettsteder. Jeg mistenker -årsaken ligger i at de aktørene som har satt opp tjenester så langt -ikke har lagt opp til deling og samarbeid på like vilkår med andre -aktører, og dermed gjort det vanskelig å legge til funksjonalitet som -presentasjon på kart, statistisk analyse eller kvalitetssikring av -bensinstasjonslisten og prisinformasjonen.
- -Tjeneste | -Offentlig stasjons-liste | -Publisert stasjons-geopunkt | -Publisert API for inn-legging | -Publisert API for ut-henting | -Publisert alle priser | -Publisert database | -Lands-dekkende | -
---|---|---|---|---|---|---|---|
Dinside | -(ja) | -nei | -nei | -nei | -ja | -(ja) | -ja | -
Bitfactorys mobilapp | -nei | -ja | -(ja) | -(ja) | -nei | -nei | -ja | -
drivstoffpriser.no | -ja | -ja | -nei | -nei | -nei | -nei | -ja | -
bensinpris.net | -ja | -nei | -nei | -nei | -nei | -nei | -nei | -
Dinside mangler dugnadsbasert kvalitetssikring av stasjonslista, -georeferert informasjon og API for innlegging og uthenting av -informasjon. Bitfactory mangler publisering av all innsamlet -informasjon, dugnadsbasert kvalitetssikring av stasjonslista og -dokumentert API for innlegging og uthenting av informasjon. NAFs -løsning mangler publisering av all innsamlet informasjon og API for -innlegging og uthenting av informasjon.
- -Jeg har nylig spurt folkene bak dinside.nos oversikt og -drivstoffpriser.no om de er villige til å gi ut sine innsamlede data -uten bruksbegresninger og tilby et dokumentert og publisert API for å -legge inn og hente ut informasjon. Så får vi se hva de sier.
+ +Slashdot got a story about Intel planning a +TV +with face recognition to recognise the viewer, and it occurred to +me that it would be more interesting to turn it around, and do face +recognition on the TV image itself. It could let the viewer know who +is present on the screen, and perhaps look up their credibility, +company affiliation, previous appearances etc for the viewer to better +evaluate what is being said and done. That would be a feature I would +be willing to pay for.
+ +I would not be willing to pay for a TV that point a camera on my +household, like the big brother feature apparently proposed by Intel. +It is the telescreen idea fetched straight out of the book +1984 by George +Orwell.
En god og offentlig kilde til bensinpriser i Norge er -dinside.no -sin prisoversikt samlet inn på dugnad fra frivillige over hele -landet. Den har ikke like mange priser rapportert inn som Bitfactorys -mobil-app, men informasjonen som samles inn er enkelt offentlig -tilgjengelig på web. Dessverre forsvinner prisene fra web etter noen -dager, så for å kunne lage analyser og se trender må en lage en -database ved å hente ut informasjon fra dinside.no sine nettsider over -en lengre periode. Jeg startet for litt over en uke siden en -innsamlingstjeneste som gjør nettopp dette. Jeg har de siste ukene -lært meg å bruke Scraperwiki, -et nytt og nyttig verktøy for å hente ut og strukturere informasjon -tilgjengelig fra nettsider, PDF-er og andre kilder og som trenger -strukturering. Hvis du vil se hvordan prisene har utviklet seg, ta en -titt på -scraperwiki-siden -med databasen over bensinpriser. Den henter ned priser fra -dinside.no hver time. Hvis du vil bidra til å bedre oversikt over -bensinprisene i Norge -registrer -deg hos dinside.no og legg inn prisene fra dine lokale -bensinstasjoner.
- -Jeg har kun gjort dette med informasjonen fra dinside.no og ikke -informasjonen fra Bitfactory pga. bekymring rundt opphavsrettslige -problemstillinger. Faktainformasjonen samlet inn av brukerene av -dinside.no nettsider er åpenbart publisert offentlig, mens jeg -mistenker det er en juridisk gråsone om det samme gjelder -informasjonen samlet inn av brukerne av bitfactorys mobilapp. Derfor -bidrar jeg med å samle inn priser hos dinside.no, og anbefaler andre å -gjøre det samme. Jeg prioriterer å bidra hos de som forstår verdien -av å dele informasjon med andre uten bruksbegresninger.
+ +A few days ago +I +reported how to get the support status out of Dell using an +unofficial and undocumented SOAP API, which I since have found out was +discovered +by Daniel De Marco in february. Combined with my web scraping +code for HP, Dell and IBM +from +2009, I got inspired and wrote +a +web service based on Scraperwiki to make it easy to look up the +support status and get a machine readable result back.
+ +This is what it look like at the moment when asking for the JSON +output: + +
+ ++% GET https://views.scraperwiki.com/run/computer-hardware-support-status/?format=json&vendor=Dell&servicetag=2v1xwn1 +supportstatus({"servicetag": "2v1xwn1", "warrantyend": "2013-11-24", "shipped": "2010-11-24", "scrapestamputc": "2012-06-06T20:26:56.965847", "scrapedurl": "http://143.166.84.118/services/assetservice.asmx?WSDL", "vendor": "Dell", "productid": ""}) +% +
It currently support Dell and HP, and I am hoping for help to add +support for other vendors. The python source is available on +Scraperwiki and I welcome help with adding more features.
I fjor lanserte Bitfactory en -mobilapp for å få -tilgang til bensinpriser på landets bensinstasjoner ved å samle -inn prisene på dugnad ved hjelp av mobilapp-ens brukere. -Informasjonen app-ens brukere har samlet inn har så langt kun vært -tilgjengelig for brukerne av app-ene, og API for å hente ut -informasjonen fra andre plattformer har ikke vært publisert. Da -løsningen kom spurte jeg utviklerne om de kunne publisere -API-dokumentasjon og de skulle se på saken, men det har ikke skjedd så -langt. Jeg antar de har vært for travelt opptatt til å publisere -API-dokumentasjon.
- -Utrolig nok er det i følge -Dagens -Næringsliv og -Finnmark -Dagblad bensinstasjoner som nekter å oppgi prisene sine på -telefon, slik at det ikke finnes en fornuftig måte å få tak i prisene -på uten å samle dem inn på stedet. Flere har dugnader på gang for å -samle inn prisinformasjon om bensin, men så vidt jeg kan se er det kun -dinside.no -og Bitfactorys App som får regelmessige oppdateringer. Dinsides -oversikt er tilgjengelig på web for de som vil følge med, mens -bitfactorys informasjon ikke er like enkelt tilgjengelig.
- -
Jeg tok meg derfor litt tid for å revers-utvikle protokollen for -Bitfactorys mobilapp for å gjøre den innsamlede informasjonen mer -tilgjengelig for flere. Protokollen bruker HTTP og normal -forms-notasjon for POST. Jeg lot en telefon koble seg til mitt -trådløsnett, og satte opp tcpdump til å samle all trafikken mot -www.bitfactory.no, og deretter tittet på alle HTTP-kallene ved hjelp -av wireshark. Her er API-kallene jeg har identifisert så langt.
- -stasjonsDatabaseUpdateStamp
- -GET http://www.bitfactory.no/Bensin/ver1.1.stasjonsDatabaseUpdateStamp
- -Vet ikke helt hva dette API-kallet gjør, men navnet gjør at jeg -tror den rapporterer når listen over stasjoner sist ble endret. -Returverdien er et tall som pr. 2011-12-09 er 1319145491 og -pr. 2012-05-28 er 1336420693. Mitt gjett er at dette er sekunder -siden 1. januar 1970 ala det en finner på Linux, som kan konverteres -til en leselig dato med perl -e 'print -scalar(localtime(1319145491)), "\n"'. Den første verdien -konverterer da til "Thu Oct 20 23:18:11 2011", mens den andre -konverteres til "Mon May 7 21:58:13 2012".
- -GetXMLDatabase
- -echo password=XYZXYZXYZXYZX | POST http://www.bitfactory.no/Bensin/GetXMLDatabase.php
- -Henter ned listen med stasjoner på XML-format. Argumentet er -password som muligens følger med i programpakken og eventuelt -genereres av app-en. Nedlasting med samme passord flere ganger ser -ikke ut til å fungere. Innholdet er ca. 1600 stasjoner, men manglet -bensinstasjonen i min hjemkommune Ballangen da jeg sjekket, så den er -ikke komplett. Formatet på selve listen ser slik ut (klippet):
- --<?xml version="1.0" encoding="UTF-8"?> -<STASJONSDATABASE> -<STASJON> -<NAME></NAME> -<ADDRESS></ADDRESS> -<ID>0</ID> -<LATITUDE>0.000000</LATITUDE> -<LONGITUDE>0.000000</LONGITUDE> -<COMPANY></COMPANY> -</STASJON> -<STASJON> -<NAME>Statoil Best Eidsvoll Verk</NAME> -<ADDRESS>Gamle Trondheimsvei 339 2074 Eidsvoll Verk</ADDRESS> -<ID>1</ID> -<LATITUDE>60.303902</LATITUDE> -<LONGITUDE>11.168100</LONGITUDE> -<COMPANY>Best</COMPANY> -</STASJON> -[...] -<STASJON> -<NAME>Esso Andenes</NAME> -<ADDRESS>Falcksgate 9, 8480 Andenes</ADDRESS> -<ID>1822</ID> -<LATITUDE>69.320999</LATITUDE> -<LONGITUDE>16.118700</LONGITUDE> -<COMPANY>Esso</COMPANY> -</STASJON> -</STASJONSDATABASE> -- -
GetBanStatus
- -echo UDID=Android-123456789012345 | POST http://www.bitfactory.no/Bensin/ver1.1.GetBanStatus.php
- -Vet heller ikke helt hva dette API-kallet gjør. Navnet gjør at jeg -tror den rapporterer om telefonen med UDID oppgitt som argument er -bannlyst fra tjenesten. Bannlysning gjør antagelig at telefonen ikke -kan brukes til å registrere bensinpriser, men det er også mulig det -blokkerer for å se på priser. Eneste POST-argument er UDID, som ser -ut til å være den unike ID-en til en mobil-enhet. Returnverdi er 'NO' -for alle UDID-verdier jeg har testet. Gjetter på at alternativ -returverdi er 'YES', men har ikke sett en slik verdi så langt.
- -PriserVedStasjoner
- -echo 'stasjoner=810,364&day=0' | POST http://www.bitfactory.no/Bensin/ver1.1.PriserVedStasjoner.php
- -Dette kallet henter ut priser registrert på en eller flere -bensinstasjoner. Den tar to POST-argumenter, "stasjoner" som er -kommaseparert liste over stasjons-IDer (numeriske), og "day" som bør -settes til "0" for å få ut informasjon om priser. Usikker på hva -day-tallet betyr, men mistenker det har med hvor langt tilbake i tid -det skal hentes ut informasjon.
- -Resultatet som kommer tilbake er en kommaseparert liste for hver -enkelt stasjon, med <br> som skillemarkør mellom hver stasjon. -Ikke helt sikker på hva alle feltene er. Her er mine gjett:
- -1 | Bensinstasjons-ID |
2 | Pris for blyfri 95 oktan, flyttall med punktum som desimalskille. |
3 | Klokkeslett da prisen ble oppdatert, format HH:MM. |
4 | Telefon-ID på formen Android-123456789012345 eller hex-kodet streng/MD5-sum |
5 | tall, uviss betydning. muligens relatert til day-verdien. Oppdatering 2012-06-02: Denne verdien er antall bekreftelse en gitt pris har fått. |
6 | Pris for blyfri 98-oktan? |
7 | samme som felt 3 |
8 | samme som felt 4 |
9 | samme som felt 5 |
10 | Pris for disel |
11 | Samme som felt 3 |
12 | Samme som felt 4 |
13 | Samme som felt 5 |
En stasjonsoppføring består dermed av av bensinstasjons-ID og -deretter tre blokker for 95-oktan bensin, 98-oktan bensin og -disel.
+ +Jeg oppdaget nylig en +artikkel +i Adresseavisa i Trondheim som nevner FiksGataMi, og der Trondheim +kommune ser ut til å fortelle at de ikke følger forvaltningslovens +krav ved mottak av meldinger sendt inn via FiksGataMi. La derfor +nettopp inn denne kommentaren til artikkelen:
-
PriserVedStasjon
- -echo 'id=736&day=0' | POST http://www.bitfactory.no/Bensin/ver1.1.PriserVedStasjon.php
- -Ser ut til å returnere informasjon for en enkelt bensinstasjon. -Formatet er dato på formen "08_12_2011" for 2011-12-08, og noe som ser -ut som samme format som fra PriserVedStasjoner. For stasjoner der -intet er registrert returnerer den "NO RESULTS".
+--AllePriser
+Her er en liten faktaoppdatering om FiksGataMi-tjenesten, da noen +ser ut til å ha misforstått hvordan den fungerer.
+ +FiksGataMi er et privat initiativ opprettet og drevet av +medlemsforeningen NUUG. FiksGataMi tar imot meldinger om feil i +offentlig infrastruktur, og sender meldingen skriftlig videre på vegne +av innmelder til aktuell aktør i det offentlige, det være seg kommune, +fylke eller vegvesenregion. Offentlig etat blir valgt ut fra +geografisk plassering og kategori valgt av innsender. Offentlige +etater er i følge forvaltningsloven pliktig å følge opp og besvare +skriftlige henvendelser, og hvis noen av mottakerne ikke gjør dette +kan en klage på lovbrudd i det offentlige. FiksGataMi fungerer dermed +som en slags epostklient for innbyggerne der kopi av innsendte +meldinger gjøres tilgjengelig og knyttes til kartplassering for enkel +gjenfinning. à sende inn nye problemrapporter via FiksGataMi er +dermed ikke avhengig av at kommunen aktivt må følge med på meldinger +hos FiksGataMi, da de får dem tilsendt på sine offisielle +epostmottakspunkter. Hvorvidt noe blir fikset og om innbyggerne er +opp til mottaker av meldingene. For Trondheim kommune er +mottaksadressen bydrift.vegdrift@trondheim.kommune.no, en adresse jeg +inntil jeg leste denne artikkelen trodde ble håndtert i henhold til +forvaltningslovens krav.
+ +Kan ellers fortelle at 57 kommuner lenker til FiksGataMi fra sine +nettsider, og at 37 % (4182 av 11266 ) av problemrapportene sendt inn +via FiksGataMi er markert som løst i løsningen. Trondheim kommune har +fått tilbud om å få rapportene levert på datamaskinlesbart format i +stedet for epost, men har ikke takket ja så langt.
+ +Vennlig hilsen Petter Reinholdtsen, en av NUUG-folkene bak FiksGataMi.no
-echo day=0 | POST http://www.bitfactory.no/Bensin/ver1.1.AllePriser.php
+
Returnere liste med av alle stasjoner det er registrert oppdaterte -priser på siste 24 timer (eller er det fra ca. midnatt dagen før?). -Returnerer "NO RESULTS" når listen er tom. Ellers returnerer den en -dato på formen "Thursday_09_12_2011" fulgt av <br> og deretter -en liste med stasjoner på samme format som PriserVedStasjoner.
+Det høres for meg ut som om innbyggerne i Trondheim burde klage på +kommunens potensielle lovbrudd.
In 2003, a German teacher showed up on the +
+Back in 2010, Mike Gabriel showed up on the Debian Edu and Skolelinux -mailing list with interesting problems and reports proving he setting -up Linux for a (for us at the time) lot of pupils. His name was Ralf -Gesellensetter, and he has been an important tester and contributor -since then, helping to make sure the +mailing list. He quickly proved to be a valuable developer, and +thanks to his tireless effort we now have Kerberos integrated into the Debian Edu -Squeeze release became as good as it is..
+Squeeze version.Who are you, and how do you spend your days?
-I am a teacher from Germany, and my subjects are Geography, -Mathematics, and Computer Science ("Informatik"). During the past 12 -years (since 2000), I have been working for a comprehensive (and soon, -also inclusive) school leading to all kind of general levels, such as -O- or A-level ("Abitur"). For quite as long, I've been taking care of -our computer network.
+My name is Mike Gabriel, I am 38 years old and live near Kiel, +Schleswig-Holstein, Germany. I live together with a wonderful partner +(Angela FuÃ) and two own children and two bonus children (contributed +by Angela).
+ +During the day I am part-time employed as a system administrator +and part-time working as an IT consultant. The consultancy work +touches free software topics wherever and whenever possible. During +the nights I am a free software developer. In the gaps I also train in +becoming an osteopath.
-Now, in my early 40s, I enjoy the privilege of spending a lot of my -spare time together with my wife, our son (3 years) and our daughter -(4 months).
+Starting in 2010 we (Andreas Buchholz, Angela FuÃ, Mike Gabriel) +have set up a free software project in the area of Kiel that aims at +introducing free software into schools. The project's name is +"IT-Zukunft Schule" (IT future for schools). The project links IT +skills with communication skills.
How did you get in contact with the Skolelinux/Debian Edu project?
-We had tried different Linux based school servers, when members of -my local Linux User Group (LUG OWL) detected Skolelinux. I remember -very well, being part of a party celebrating the Linux New Media Award -("Best Newcomer Distribution", also nominated: Ubuntu) that was given -to Skolelinux at Linux World Exposition in Frankfurt, 2005 (IIRC). Few -months later, I had the chance to join a developer meeting in Ulsrud -(Oslo) and to hand out the award to Knut Yrvin and others. For more -than 7 years, Skolelinux is part of our schools infrastructure, namely -our main server (tjener), one LTSP (today without thin clients), and -approximately 50 work stations. Most of these have the option to boot a -locally installed Skolelinux image. As a consequence, I joined quite -a few events dealing with free software or Linux, and met many Debian -(Edu) developers. All of them seemed quite nice and competent to me, -one more reason to stick to Skolelinux.
+While preparing our own customised Linux distribution for +"IT-Zukunft Schule" we were repeatedly asked if we really wanted to +reinvent the wheel. What schools really need is already available, +people said. From this impulse we started evaluating other Linux +distributions that target being used for school networks.
+ +At the end we short-listed two approaches and compared them: a +commercial Linux distribution developed by a company in Bremen, +Germany, and Skolelinux / Debian Edu. Between 12/2010 and 03/2011 we +went to several events and met people being responsible for marketing +and development of either of the distributions. Skolelinux / Debian +Edu was by far much more convincing compared to the other product that +got short-listed beforehand--across the full spectrum. What was most +attractive for me personally: the perspective of collaboration within +the developmental branch of the Debian Edu project itself.
+ +In parallel with this, we talked to many local and not-so-local +people. People teaching at schools, headmasters, politicians, data +protection experts, other IT professionals.
+ +We came to two conclusions:
+ +First, a technical conclusion: What schools need is available in +bits and pieces here and there, and none of the solutions really fit +by 100%. Any school we have seen has a very individual IT setup +whereas most of each school's requirements could mapped by a standard +IT solution. The requirement to this IT solution is flexibility and +customisability, so that individual adaptations here and there are +possible. In terms of re-distributing and rolling out such a +standardised IT system for schools (a system that is still to some +degree customisable) there is still a lot of work to do here +locally. Debian Edu / Skolelinux has been our choice as the starting +point.
+ +Second, a holistic conclusion: What schools need does not exist at +all (or we missed it so far). There are several technical solutions +for handling IT at schools that tend to make a good impression. What +has been missing completely here in Germany, though, is the enrolment +of people into using IT and teaching with IT. "IT-Zukunft Schule" +tries to provide an approach for this.
+ +Only some schools have some sort of a media concept which explains, +defines and gives guidance on how to use IT in class. Most schools in +Northern Germany do not have an IT service provider, the school's IT +equipment is managed by one or (if the school is lucky) two (admin) +teachers, most of the workload these admin teachers get done in there +spare time.
+ +We were surprised that only a very few admin teachers were +networked with colleagues from other schools. Basically, every school +here around has its individual approach of providing IT equipment to +teachers and students and the exchange of ideas has been quasi +non-existent until 2010/2011.
+ +Quite some (non-admin) teachers try to avoid using IT technology in +class as a learning medium completely. Several reasons for this +avoidance do exist.
+ +We discovered that no-one has ever taken a closer look at this +social part of IT management in schools, so far. On our quest journey +for a technical IT solution for schools, we discussed this issue with +several teachers, headmasters, politicians, other IT professionals and +they all confirmed: a holistic approach of considering IT management +at schools, an approach that includes the people in place, will be new +and probably a gain for all.
What do you see as the advantages of Skolelinux/Debian Edu?
-Debian driven, you are given all the advantages of a community -project including well maintained updates. Once, you are familiar with -the network layout, you can easily roll out an entire educational -computer infrastructure, from just one installation media. As only -free software (FOSS) is used, that supports even elderly hardware, -up-sizing your IT equipment is only limited by space (i.e. available -labs). Especially if you run a LTSP thin client server, your -administration costs tend towards zero.
+There is a list of advantages: international context, openness to +any kind of contributions, do-ocracy policy, the closeness to Debian, +the different installation scenarios possible (from stand-alone +workstation to complex multi-server sites), the transparency within +project communication, honest communication within the group of +developers, etc.
What do you see as the disadvantages of Skolelinux/Debian Edu?
-While Debian's stability has loads of advantages for servers, this -might be different in some cases for clients: Schools with unlimited -budget might buy new hardware with components that are not yet -supported by Debian stable, or wish to use more recent versions of -office packages or desktop environments. These schools have the -option to run Debian testing or other distributions - if they have the -capacity to do so. Another issue is that Debian release cycles -include a wide range of changes; therefor a high percentage of human -power seems to be absorbed by just keeping the features of Skolelinux -within the new setting of the version to come. During this process, -the cogs of Debian Edu are getting more and more professional, -i.e. harder to understand for novices.
+Every coin has two sides:
+ +Technically: BTS issue +#311188, tricky upgradability of a Debian Edu main server, network +client installations on top of a plain vanilla Debian installation +should become possible sometime in the near future, one could think +about splitting the very complex package debian-edu-config into +several portions (to make it easier for new developers to +contribute).
+ +Another issue I see is that we (as Debian Edu developers) should +find out more about the network of people who do the marketing for +Debian Edu / Skolelinux. There is a very active group in Germany +promoting Skolelinux on the bigger Linux Days within Germany. Are +there other groups like that in other countries? How can we bring +these marketing people together (marketing group A with group B and +all of them with the group of Debian Edu developers)? During the last +meeting of the German Skolelinux group, I got the impression of people +there being rather disconnected from the development department of +Debian Edu / Skolelinux.
Which free software do you use daily?
-LibreOffice, Wikipedia, Openstreetmap, Iceweasel (Mozilla Firefox), -KMail, Gimp, Inkscape - and of course the Linux Kernel (not only on -PC, Laptop, Mobile, but also our SAT receiver)
- -Which strategy do you believe is the right one to use to -get schools to use free software?
- --
-
-
- Support computer science as regular subject in schools to make -people really "own" their hardware, to make them understand the -difference between proprietary software products, and free software -developing. +
- Make budget baskets corresponding: In Germany's public schools -there are more or less fixed budgets for IT equipment (including -licenses), so schools won't benefit from any savings here. This -privilege is left to private schools which have consequently a large -share among German Skolelinux schools. +
- Get free software in the seminars where would-be teachers are -trained. In many cases, teachers' software customs are respected by -decision makers rather than the expertise of any IT experts. +
- Don't limit ourself to free software run natively. Everybody uses -free software or free licenses (for instance Wikipedia), and this -general concept should get expanded to free educational content to be -shared world wide (school books e.g.). +
- Make clear where ever you can that the market share of free (libre) -office suites is much above 20 p.c. today, and that you pupils don't -need to know the "ribbon menu" in order to get employed. +
- Talk about the difference between freeware and free software. - -
- Spread free software, or even collections of portable free apps -for USB pen drives. Endorse students to get a legal copy of -Libreoffice rather than accepting them to use illegal serials. And -keep sending documents in ODF formats. +
For my daily business, I do not use commercial software at all.
-For normal stuff I use Iceweasel/Firefox, Libreoffice.org. For +serious text writing I prefer LaTeX. I use gimp, inkscape, scribus for +more artistic tasks. I run virtual machines in KVM and Virtualbox.
-I am one of the upstream developers of X2Go. In 2010 I started the +development of a Python based X2Go Client, called PyHoca-GUI. +PyHoca-GUI has brought forth a Python X2Go Client API that currently +is being integrated in Ubuntu's software center.
-For communications I have my own Kolab server running using Horde +as web-based groupware client. For IRC I love to use irssi, for Jabber +I have several clients that I use, mostly pidgin, though. I am also +the Debian maintainer of Coccinella, a Jabber-based interactive +whiteboard.
-My favourite terminal emulator is KDE's Yakuake.
-Which strategy do you believe is the right one to use to +get schools to use free software?
-Communicate, communicate, communicate. Enrol people, enrol people, +enrol people.