9:58 p.m.
(English version below)
Hallo zusammen,
seit letztem Freitag laufen die täglichen Datenupdates wieder ohne
Probleme, nachdem es vorher für einige Wochen keine oder nur
unregelmäßige Updates gegeben hatte.
Der Aktualisierungsprozess konnte leider nicht auf die Augmented Diffs
der Overpass API umgestellt werden, weil das Format dafür momentan nicht
geeignet ist (die technischen Details kann ich aus Anfrage genauer
erläutern), sodass die bisherige Toolchain erstmal beibehalten wird. Der
dafür notwendige Speicherplatz wurde durch eine Änderung des RAID-Levels
der beiden SSDs geschaffen. Statt wie bisher als RAID-1 sind diese nun
als RAID-0 verbunden, was den doppelten Speicherplatz und etwas höhere
Performance bietet und gleichzeitig keine Mehrkosten verursacht hat.
Den einzige Nachteil stellt die höhere Anfälligkeit gegen
Plattenausfälle dar, jedoch sehe ich dies erstmal als verschmerzbar an,
da auf dem Server nur sehr wenige Daten liegen, die nicht noch woanders
gesichert sind. Diese Daten lassen sich auch problemlos regelmäßig per
rsync auf einen anderen Rechner sichern und bei einem Totalausfall und
anschließender Neuinstallation des Systems wieder einspielen.
Langfristig wäre aber eine zusätzliche herkömmliche Festplatte
wünschenswert, um komfortabel vollständige Backups des Systems ablegen
und bei einem Ausfall das System wiederherstellen zu können. Das kostet
aber wieder zusätzliches Geld...
Gruß
Alex
*****
Hi everybody,
since last friday, the data updates are running again without problems,
after it had been no or only irregular updates for the last several
weeks.
Unfortunately, the update process could not be switched to the Augmented
Diffs of the Overpass API, because the format is currently not
appropriate for our purposes (I can explain the technical details if you
are interested), so we keep the current toolchain. The required space
was created by changing the RAID level of the two SSDs. Instead of being
configured as RAID-1, they are now configured as RAID-0, which offers
twice the storage space and a slightly higher performance at no
additional costs.
The only disadvantage of this solution is the higher risk of data loss
in cases of disk failures. In my opinion this problem is not that
important, as there are only a few data which are not also stored
anywhere else. This data can also easily be saved periodically on
another computer with rsync and restored after a total failure and the
following reinstallation of the system.
However, an additional conventional hard disk for the server would be
desirable to make full backups of the system comfortably and to restore
the system in case of failure. But it costs extra money again...
Gruß
Alex
On Fr, 2014-10-10 at 23:01 +0200, Alexander Matheisen wrote:
(English version below)
On Do, 2014-10-09 at 09:12 +0200, Peter Reinhart wrote:
> Liebe Mitstreiter,
>
> nach der Umstellung auf Augmented Diffs, die eine Verkürzung des
> Update-Zyklus auf ein paar Stunden erlauben, verhindert ein Bug [1] in
> der Overpass-Api seit Anfang Oktober die Aktualisierung der Karte. Wir
> hoffen auf eine schnelle Lösung des Problems und melden uns dann wieder.
hier nochmal einige technische Hintergründe zu den aktuellen
Updateschwierigkeiten:
Bereits vor einiger Zeit hatte ich die langfristige Umstellung des
Updateprozesses auf Augmented Diffs angedacht, weil dies deutlich besser
performen würde als die jetzt verwendete Toolchain und zum anderen
häufigere Datenupdates möglich wären.
Durch ein Vollaufen der SSDs auf dem Server* vor etwa einer Woche wurde
ich nun zu einer sofortigen Umstellung gezwungen. Theoretisch hätte dies
reibungslos funktioniert, jedoch findet sich in der Overpass API, die
die Augmented Diffs zur Verfügung stellt, momentan noch ein Bug [1], der
die Weiterverarbeitung der Diffs verhindert. Ich hoffe, dass Roland
Olbricht, der Entwickler der Overpass API, den Bug bald beheben kann,
damit wieder alles normal laufen kann.
* Ein Problem der momentan verwendeten Toolchain ist, dass gefilterte
Daten nicht aktualisiert werden können, sodass immer die Daten der
gesamten OSM-Datenbank auf dem Server vorgehalten werden müssen. Man
kann sich vorstellen, dass dies viel Speicherplatz braucht, und der
Datensatz wächst stetig...
Gruß
Alex
*****
Some additional technical backgrounds:
> To all OpenRailwayMap fans:
>
> Since ORM switched to augmented diffs lately which allow more frequent
> map updates. However, a bug [1] in Overpass Api prevents the map to be
> updated ever since early October. We are hoping for a quick solution to
> this issue and will get back to you the moment it is fixed.
here some technical background information about the current updating
problems:
Some months ago I thought about switching the update process to
Augmented Diffs in the future, because of a better performance than the
current toolchain and the possibility of oftener data updates.
But a week ago, the SSDs of the server were full*, which forced me to do
this change now. In theory this would have meant no problems, but there
is a bug in the Overpass API [1], which serves the Augmented Diffs,
which avoid the successful running of further processing steps. I hope
that Roland Olbricht, the maintainer of the Overpass API, will fix the
bug soon, so that the database updates will run without problems.
* One problem of the current toolchain is, that filtered data cannot be
updated, so there has to be a copy of the whole OpenStreetMap database
on the server. You can imagine, that this consumes a lot of space, and
the planetfiles are growing steady...
Regards
Alex
[1] https://github.com/drolbr/Overpass-API/issues/139
_______________________________________________
Openrailwaymap mailing list
Openrailwaymap(a)openrailwaymap.org
http://lists.openrailwaymap.org/lists/listinfo/openrailwaymap