X-Git-Url: http://pere.pagekite.me/gitweb/homepage.git/blobdiff_plain/5576b09b70c10ce2bee68871285b78fb4b0084ea..91f0727f03bcab287a08e791bc9df2da92498f6c:/blog/archive/2019/06/06.rss diff --git a/blog/archive/2019/06/06.rss b/blog/archive/2019/06/06.rss index e1c1a9c349..cae6b25361 100644 --- a/blog/archive/2019/06/06.rss +++ b/blog/archive/2019/06/06.rss @@ -6,6 +6,415 @@ http://people.skolelinux.org/pere/blog/ + + Nikita og Noark 5 tjenestegrensesnittet tilbyr ny måte å tenke arkivering + http://people.skolelinux.org/pere/blog/Nikita_og_Noark_5_tjenestegrensesnittet_tilbyr_ny_m_te___tenke_arkivering.html + http://people.skolelinux.org/pere/blog/Nikita_og_Noark_5_tjenestegrensesnittet_tilbyr_ny_m_te___tenke_arkivering.html + Fri, 21 Jun 2019 11:30:00 +0200 + <p><em>av Thomas Sødring (OsloMet) og Petter Reinholdtsen (foreningen +NUUG)</em></p> + +<p>Nikita Noark 5-kjerne er et fri programvareprosjekt som tar i bruk +Arkivverkets spesifikasjonen for Noark 5 Tjenestegrensesnitt og tilbyr +et maskinlesbart grensesnitt (arkiv-API) til datasystemer som trenger å +arkivere dokumenter og informasjon. I tillegg tilbyr Nikita et +nettleserbasert brukergrensesnitt for brukere av arkivet. Dette +brukergrensesnittet benytter det maskinlesbare grensesnittet. Noark 5 +Tjenestegrensesnitt er en ny måte å tenke arkivering, med fokus på +automatisering og maskinell behandling av arkivmateriale, i stedet for +å fokusere på brukergrensesnitt. En kan tenke på +tjenestegrensesnittet som arkivet uten brukergrensesnitt, der flere +aktører kan koble til ulike brukergrensesnitt, tilpasset ulike +behov.</p> + +<p>Historisk sett gjorde Noark standarden en veldig bra jobb med +overgangen fra +papir til digital saksbehandling, men det har kommet til kort på andre +områder. Den teknologiske utviklingen har brakt oss ditt at vi kan og +skal forvente langt mer fra en arkivkjerne enn før, men det offentlig +er ofte konservativ når det gjelder nytenking. For lengst skulle +begreper som samvirke mellom datasystemer, metadata, prosess og +tjenestegrensesnitt (API) vært dominerende når systemer kjøpes +inn. Dessverre er det slik at ikke alle ønsker samvirke mellom +datasystemer velkommen, og det kan være trygt å kjøpe «svarte bokser» +der du slipper å ta stilling til hvordan man skal få flere systemer +til å virke sammen. Men IT-arkitektur er et begrep arkivfolk også +begynner å ta inn over seg.</p> + +<p>Slike systemer for å organisere metadata bør ha nettbaserte +tjenestegrensesnitt der brukergrensesnitt er tydelig adskilt fra +bakenforliggende system. Det finnes mange rapporter som snakker om å +bryte ned siloer i forvaltningen og standardiserte tjenestegrensesnitt +er det viktigste virkemiddel mot datasiloer og legger til rette for +økt samvirke mellom systemer. Et standardisert tjenestegrensesnitt er +et viktig middel for å få systemer til å samhandle da det sikrer at +ulike produsenters systemer kan snakke sammen på tvers. Samfunnet +fungerer ikke uten standardisering. Vi har alle samme strømstyrke og +kontakter i veggene og kjører alle på høyre side av veien i Norge. Det er i en slik +sammenheng at prosjektet «Noark 5 Tjenestegrensesnitt» er veldig +viktig. Hvis alle leverandører av arkivsystemer forholdt seg til et +standardisert tjenestegrensesnitt kunne kostnadene for arkivering +reduseres. Tenk deg at du er en kommune som ønsker et fagsystem integrert +med arkivløsningen din. I dag må fagsystemleverandøren vite og +tilpasse seg den spesifikke versjonen og varianten av arkivløsningen +du har. Hvis vi antar at alle leverandører av arkivkjerner har solgt +inn enten SOAP eller REST-grensesnitt til kunder de siste 10 årene og +det kommer endret versjon av grensesnittet innimellom, så gir det +veldig mange forskjellige tjenestegrensesnitt en fagsystemleverandør +må forholde seg til. Med 12 leverandører og kvartalsvise oppdateringer +kan det potensielt bli 96 ulike varianter hvert eneste år. Det sier +seg selv at det blir dyrt. Men det blir faktisk verre. Hvis du senere +ønsker å bytte ut arkivsystemet med et annet så er du avhengig å få +alle integrasjonene dine laget på nytt. Dette kan gjøre at du velger å +forbli hos en dårlig leverandør framfor å skaffe nytt system, fordi +det blir for vanskelig og dyrt å bytte. Dermed etableres det «små» +monopolsituasjoner som er vanskelig å bryte ut av. Dårlige valg i dag +kan ha uante kostander på sikt. I Nikita-prosjektet har vi kun jobbet +opp mot Noark 5 Tjenestegrensesnittet. Det har tatt en god del +ressurser å sette seg inn i spesifikasjonen og ta den i bruk, spesielt +på grunn av uklarheter i spesifikasjonen. Hvis vi måtte gjøre det +samme for alle versjoner og varianter av de forskjellige +tjenestegrensesnittene ville det blitt veldig tidkrevende og +kostbart.</p> + +<p>For deg som arkivar er digitalisering og systemer som skal virke +sammen en del av den nye hverdagen. Du har kanskje blitt skånet for +det ved å kjøpe svarte bokser, men du risikerer at du gjør deg selv en +bjørnetjeneste. Det kan oppleves som kjedelig å fortelle kolleger at +du skal sette deg inn i et tjenestegrensesnitt, men dette er faktisk +veldig spennende. Tjenestegrensesnittet er på en måte blitt levende og +det er spesielt et begrep du bør merke deg: OData. Å trekke inn deler +av OData-standarden som en måte å filtrere entitetsøk i et arkivsystem +var et nyttig trekk i prosjektet. Følgende eksempel er en +OData-spørring det går an å sende inn til en standardisert +arkivkjerne:</p> + +<p><blockquote> +.../sakarkiv/journalpost?filter=contains(tittel, 'nabovarsel') +</blockquote></p> + +<p>Spørringen over vil hente en liste av alle dine journalposter der +tittelen til journalposten inneholder ordet 'nabovarsel'. Alle +leverandører som implementerer tjenestegrensesnittet vil måtte tilby +dette. Det betyr at hvis du lærer dette språket for et system, vil det +være gjeldende for alle. Dette er egentlig en ny måte å søke i +arkivdatabasen på og vil være svært nyttig, for eksempel kan søk i +tjenestegrensesnittet antagelig brukes til å hente ut offentlig +postjournal. I arkivverden pleier vi å like teknologier som er +menneskelesbart, da vet vi det er enkelt og nyttig! OData er også +viktig fordi det kan bli en ny måte å svare innsynsforespørsler på i +tråd med offentlighetsloven § 9, der retten til å kreve innsyn i +sammenstilling fra databaser er nedfelt. I dag ser vi +forvaltningsorganer som avviser slike krav fordi det «ikke kan gjøres +med enkle framgangsmåter». Bruken av OData i tjenestegrensesnittet, +sammen med maskinlesbar markeringsformater kan være et viktig bidrag +til å åpne arkivene i tråd med prinsippene om en åpen og transparent +forvaltning.</p> + +<p>Standardisering er viktig fordi det <em>kan</em> sikre samvirke. +Men den effekten kommer kun hvis standardiseringen sikrer at alle +forstår standarden på samme måte, dvs. at den er entydig og klar. En +god måte å sikre en entydig og klar spesifikasjon er ved å kreve at +det finnes minst to ulike implementasjoner som følger spesifikasjonen +og som kan snakke sammen, det vil si at de snakker samme språk, slik +IETF krever for alle sine standarder, før spesifikasjonen anses å være +ferdig. Tilbakemelding fra miljøet forteller at både leverandører og +kunder har et avslappet forhold til Noark 5 Tjenestegrensesnitt og det +er så langt kun Evry som har visst offentlig at de har en +implementasjon av tjenestegrensesnittet. Evry, HK Data og Fredrikstad +kommune er igang med et pilotprosjekt på Noark 5 +Tjenestegrensesnitt. For å redusere kostnadene for samvirkende +datasystemer betraktelig, er det veldig viktig at vi kommer i en +situasjon der alle leverandører har sine egne implementasjoner av +tjenestegrensesnittet, og at disse oppfører seg likt og i tråd med det +som er beskrevet i spesifikasjonen.</p> + +<p>Det er her fri programvare spiller en viktig rolle. Med en uklar +standard blir det som en polsk riksdag, der ingenting fungerer. Nikita +er en fri programvareimplementasjon av tjenestegrensesnitt og kan +fungere som teknisk referanse slik at leverandører enklere kan se og +forstå hvordan standarden skal tolkes. Vi har i Nikitaprosjektet +erfart å ende opp med vidt forskjellige tolkninger når +prosjektmedlemmene leser spesifikasjonsteksten, en effekt av en uklar +spesifikasjon. Men Nikitaprosjektet har også utviklet et test-program +som sjekker om et tjenestegrensesnitt er i samsvar med standarden, og +prosjektet bruker det hele tiden for å sikre at endringer og +forbedringer fungerer. Egenerklæringsskjemaenes dager kan være talte! +Snart vil du selv kunne teste hver oppdatering av arkivsystemet med en +uavhengig sjekk.</p> + +<p>Fri programvare representerer en demokratisering av kunnskap der +tolkning- og innlåsingsmakt flyttes fra leverandør til allmenheten. +Med fri programvare har du en litt annerledes verdikjede, der selve +produktet ikke holdes hemmelig for å tjene penger, slik en gjør med +ufri programvare og skytjenester som ikke bruker fri programvare, men +du kan tjene penger på andre deler av verdikjeden. Med fri programvare +kan samfunnet betale for å videreutvikle nyttig +fellesfunksjonalitet.</p> + +<p>Nikita er en fri programvareimplementasjon av tjenestegrensesnittet og +kan fungere som en referanseimplementasjon dersom det er ønskelig. +Alle har lik tilgang til koden og det koster ingenting å ta den i bruk +og utforske det. Nikitaprosjektet ønsker tjenestegrensesnittet +velkommen og stiller veldig gjerne opp i diskusjoner om tolkning av +tjenestegrensesnittet. Nikita er bygget på moderne +programmeringsrammeverk og utviklet i full åpenhet. Men Nikita er ikke +noe du kan kjøpe. Nikita er først og fremst et verktøy for forsking og +utvikling laget for å fremme forskning på arkivfeltet. Systemer som +virker sammen har alltid vært hovedfokus og vil være det fremover. +Det brukes som undervisningsverktøy der studentene ved OsloMet lærer +om administrativt oppsett, saksbehandling, uttrekk og samvirkende +datasystemer. Det brukes også som forskningsobjekt der vi ser på +import av dokumentsamlinger, bruk av blokkjede og andre nyskapende +måter å tenke arkiv på. Det er dog helt greit om andre tar Nikita og +pakker det for å selge det som produkt. Forvaltningsorganer med +sterke drift- og utviklingsmiljøer kan også se på Nikita og utforske +hva som er mulig. Dette kan de gjøre uten å måtte betale for +bruksrettigheter eller tilgang til konsulenter. Men arkivering blir +ikke gratis på grunn av Nikita. Det trengs fortsatt folk med +kompetanse og tid til å ta i bruk Nikita.</p> + +<p>Nikita har nylig kommet med en ny utgave, den sjette i rekken. +Systemet er ikke ferdig, mest på grunn av at API-spesifikasjonen for +Noark 5 Tjenestegrensesnitt ikke er ferdig, men allerede i dag kan en +bruke Nikita som arkiv. Vi har laget eksempelsystem for å importere +data fra deponi-XML og slik gjøre eksisterende arkivdata tilgjengelig +via et API. Vi har også laget en testklient som importerer epost inn +i arkivet med vedlegg der epostenes trådinformasjon brukes til å legge +eposttråder i samme arkivmappe, og en annen testklient som henter +epost ut av en arkivmappe på mbox-format slik at en vanlig epostklient +kan brukes til å lese igjennom og svare på epostene i en +arkivmappe. De som vil ta en titt på Nikita kan besøke +<a href="https://nikita.oslomet.no">https://nikita.oslomet.no</a> og +logge inn med brukernavn «admin@example.com» og passord «password». +Dette gir tilgang til det forenklede brukergrensesnittet som brukes +til undervisning. De som heller vil ta en titt under panseret kan +besøke +<a href="https://nikita.oslomet.no/browse.html">https://nikita.oslomet.no/browse.html</a> +og der se hvordan API-et fungerer mer i detalj. Innloggingsdetaljer +her er det samme som for brukergrensesnittet.</p> + +<p>Fremover er fokuset på forbedring av spesifikasjonen Noark 5 +Tjenestegrensesnitt. De som skrev tjenestegrensesnittet gjorde et +interessant og framtidsrettet grep, de skilte sak fra arkiv. +Tjenestegrensesnittet består av flere "pakker", der noen er +grunnleggende mens andre bygger på de grunnleggende pakkene. Pakkene +som er beskrevet så langt heter «arkivstruktur», «sakarkiv», +«administrasjon», «loggogsporing» og «moeter» (dessverre +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/pull/120">planlagt +fjernet</a> i første utgave). Etter hvert håper vi å utforske +prosses- og metadatabeskrivelser til flere fagområder og bidra til at +tjenestegrensesnittet kan legge til flere pakker som «byggarkiv», +«barnevern», «personal», «barnehage», der arkivfaglig metadata- og +dokumentasjonsbehov er kartlagt og standardisert.</p> + +<p>Nikita utvikles av en liten prosjektgruppe, og vi er alltid +interessert å bli flere. Hvis en åpen, fri og standardisert tilnærming +til arkivering høres interessant ut, bli med oss på veien videre. Vi +er tilstede på IRC-kanalen #nikita hos FreeNode (tilgjengelig via +nettleser på +<a href="https://webchat.freenode.net?channels=#nikita">https://webchat.freenode.net?channels=#nikita</a>), +og har en e-postliste nikita-noark@nuug.no hos NUUG (tilgjengelig for +påmelding og arkiv på +<a href="https://lists.nuug.no/mailman/listinfo/nikita-noark">https://lists.nuug.no/mailman/listinfo/nikita-noark</a>) +der en kan følge med eller være med oss på den spennende veien videre. +Spesifikasjonen for Noark 5 Tjenestegrensesnitt vedlikeholdes på +github, +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/">https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/</a>.</p> + +<p>Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til +det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner +til min adresse +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + + + Jami/Ring, finally functioning peer to peer communication client + http://people.skolelinux.org/pere/blog/Jami_Ring__finally_functioning_peer_to_peer_communication_client.html + http://people.skolelinux.org/pere/blog/Jami_Ring__finally_functioning_peer_to_peer_communication_client.html + Wed, 19 Jun 2019 08:50:00 +0200 + <p>Some years ago, in 2016, I +<a href="http://people.skolelinux.org/pere/blog/Experience_and_updated_recipe_for_using_the_Signal_app_without_a_mobile_phone.html">wrote +for the first time about</a> the Ring peer to peer messaging system. +It would provide messaging without any central server coordinating the +system and without requiring all users to register a phone number or +own a mobile phone. Back then, I could not get it to work, and put it +aside until it had seen more development. A few days ago I decided to +give it another try, and am happy to report that this time I am able +to not only send and receive messages, but also place audio and video +calls. But only if UDP is not blocked into your network.</p> + +<p>The Ring system changed name earlier this year to +<a href="https://en.wikipedia.org/wiki/Jami_(software)">Jami</a>. I +tried doing web search for 'ring' when I discovered it for the first +time, and can only applaud this change as it is impossible to find +something called Ring among the noise of other uses of that word. Now +you can search for 'jami' and this client and +<a href="https://jami.net/">the Jami system</a> is the first hit at +least on duckduckgo.</p> + +<p>Jami will by default encrypt messages as well as audio and video +calls, and try to send them directly between the communicating parties +if possible. If this proves impossible (for example if both ends are +behind NAT), it will use a central SIP TURN server maintained by the +Jami project. Jami can also be a normal SIP client. If the SIP +server is unencrypted, the audio and video calls will also be +unencrypted. This is as far as I know the only case where Jami will +do anything without encryption.</p> + +<p>Jami is available for several platforms: Linux, Windows, MacOSX, +Android, iOS, and Android TV. It is included in Debian already. Jami +also work for those using F-Droid without any Google connections, +while Signal do not. +<a href="https://git.jami.net/savoirfairelinux/ring-project/wikis/technical/Protocol">The +protocol</a> is described in the Ring project wiki. The system uses a +distributed hash table (DHT) system (similar to BitTorrent) running +over UDP. On one of the networks I use, I discovered Jami failed to +work. I tracked this down to the fact that incoming UDP packages +going to ports 1-49999 were blocked, and the DHT would pick a random +port and end up in the low range most of the time. After talking to +the developers, I solved this by enabling the dhtproxy in the +settings, thus using TCP to talk to a central DHT proxy instead of + +peering directly with others. I've been told the developers are +working on allowing DHT to use TCP to avoid this problem. I also ran +into a problem when trying to talk to the version of Ring included in +Debian Stable (Stretch). Apparently the protocol changed between +beta2 and the current version, making these clients incompatible. +Hopefully the protocol will not be made incompatible in the +future.</p> + +<p>It is worth noting that while looking at Jami and its features, I +came across another communication platform I have not tested yet. The +<a href="https://en.wikipedia.org/wiki/Tox_(protocol)">Tox protocol</a> +and <a href="https://tox.chat/">family of Tox clients</a>. It might +become the topic of a future blog post.</p> + +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + + + More sales number for my Free Culture paper editions (2019-edition) + http://people.skolelinux.org/pere/blog/More_sales_number_for_my_Free_Culture_paper_editions__2019_edition_.html + http://people.skolelinux.org/pere/blog/More_sales_number_for_my_Free_Culture_paper_editions__2019_edition_.html + Tue, 11 Jun 2019 16:05:00 +0200 + <p>The first book I published, +<a href="http://www.free-culture.cc/">Free Culture by Lawrence +Lessig</a>, is still selling a few copies. Not a lot, but enough to +have contributed slightly over $500 to the <a +href="https://creativecommons.org/">Creative Commons Corporation</a> +so far. All the profit is sent there. Most books are still sold via +Amazon (83 copies), with Ingram second (49) and Lulu (12) and Machette (7) as +minor channels. Bying directly from Lulu bring the largest cut to +Creative Commons. The English Edition sold 80 copies so far, the +French 59 copies, and Norwegian only 8 copies. Nothing impressive, +but nice to see the work we put down is still being appreciated. The +ebook edition is available for free from +<a href="https://github.com/petterreinholdtsen/free-culture-lessig">Github</a>.</p> + +<table border="0"> +<tr><th rowspan="2" valign="bottom">Title / language</th> +<th colspan="7">Quantity</th></tr> +<tr> +<th>2016 jan-jun</th> +<th>2016 jul-dec</th> +<th>2017 jan-jun</th> +<th>2017 jul-dec</th> +<th>2018 jan-jun</th> +<th>2018 jul-dec</th> +<th>2019 jan-may</th> +</tr> + +<tr> + <td><a href="http://www.lulu.com/shop/lawrence-lessig/culture-libre/paperback/product-22645082.html">Culture Libre / French</a></td> + <td align="right">3</td> + <td align="right">6</td> + <td align="right">19</td> + <td align="right">11</td> + <td align="right">7</td> + <td align="right">6</td> + <td align="right">7</td> +</tr> + +<tr> + <td><a href="http://www.lulu.com/shop/lawrence-lessig/fri-kultur/paperback/product-22441576.html">Fri kultur / Norwegian</a></td> + <td align="right">7</td> + <td align="right">1</td> + <td align="right">0</td> + <td align="right">0</td> + <td align="right">0</td> + <td align="right">0</td> + <td align="right">0</td> +</tr> + +<tr> + <td><a href="http://www.lulu.com/shop/lawrence-lessig/free-culture/paperback/product-22440520.html">Free Culture / English</a></td> + <td align="right">14</td> + <td align="right">27</td> + <td align="right">16</td> + <td align="right">9</td> + <td align="right">3</td> + <td align="right">7</td> + <td align="right">3</td> +</tr> + +<tr> + <td>Total</td> + <td align="right">24</td> + <td align="right">34</td> + <td align="right">35</td> + <td align="right">20</td> + <td align="right">10</td> + <td align="right">13</td> + <td align="right">10</td> +</tr> + +</table> + +<p>It is fun to see the French edition being more popular than the +English one.</p> + +<p>If you would like to translate and publish the book in your native +language, I would be happy to help make it happen. Please get in +touch.</p> + + + + + Official MIME type "text/vnd.sosi" for SOSI map data + http://people.skolelinux.org/pere/blog/Official_MIME_type__text_vnd_sosi__for_SOSI_map_data.html + http://people.skolelinux.org/pere/blog/Official_MIME_type__text_vnd_sosi__for_SOSI_map_data.html + Tue, 4 Jun 2019 09:20:00 +0200 + <p>Just 15 days ago, +<ahref="http://people.skolelinux.org/pere/blog/MIME_type__text_vnd_sosi__for_SOSI_map_data.html">I +mentioned</a> my submission to IANA to register an official MIME type +for the SOSI vector map format. This morning, just an hour ago, I was +notified that +<a href="https://www.iana.org/assignments/media-types/text/vnd.sosi">the +MIME type "text/vnd.sosi"</a> is registered for this format. In +addition to this registration, my +<a href="https://github.com/file/file/blob/master/magic/Magdir/sosi">file(1) +patch for a pattern matching rule for SOSI files</a> has been accepted +into the official source of that program (pending a new release), and +I've been told by the team behind +<a href="https://www.nationalarchives.gov.uk/PRONOM/">PRONOM</a> that +the SOSI format will be included in the next release of PRONOM, which +they plan to release this summer around July.</p> + +<p>I am very happy to see all of this fall into place, for use by +<a href="https://github.com/arkivverket/noark5-tjenestegrensesnitt-standard/">the +Noark 5 Tjenestegrensesnitt</a> implementations.</p> + +<p>As usual, if you use Bitcoin and want to show your support of my +activities, please send Bitcoin donations to my address +<b><a href="bitcoin:15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b">15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b</a></b>.</p> + + + The space rover coquine, or how I ended up on the dark side of the moon http://people.skolelinux.org/pere/blog/The_space_rover_coquine__or_how_I_ended_up_on_the_dark_side_of_the_moon.html @@ -38,7 +447,7 @@ eyes looking up on me from the wrapping</p> <p style="text-align:left">Once the robot arrived, we needed to track down batteries and figure out how to build custom firmware for it with the appropriate wifi settings. I asked a friend if I could get two -18650 batteries from his pile of Tesla batteries (he had then from the +18650 batteries from his pile of Tesla batteries (he had them from the wrack of a crashed Tesla), so now the rover is running on Tesla batteries.</p> @@ -59,7 +468,7 @@ this reduced firmware, the robot could be controlled via the controller server, driving around and measuring distance using its internal acoustic sensor.</p> -<p>Next, With some help from my friend in Denmark, which commited the +<p>Next, With some help from my friend in Denmark, which checked in the camera library into the gitlab repository for me to use, we were able to build a new and more complete version of the firmware, and the robot is now up and running. This is what the "commander" web page