(English version below)

Hallo zusammen,

seit letztem Freitag laufen die täglichen Datenupdates wieder ohne Probleme, nachdem es vorher für einige Wochen keine oder nur unregelmäßige Updates gegeben hatte.

Der Aktualisierungsprozess konnte leider nicht auf die Augmented Diffs der Overpass API umgestellt werden, weil das Format dafür momentan nicht geeignet ist (die technischen Details kann ich aus Anfrage genauer erläutern), sodass die bisherige Toolchain erstmal beibehalten wird. Der dafür notwendige Speicherplatz wurde durch eine Änderung des RAID-Levels der beiden SSDs geschaffen. Statt wie bisher als RAID-1 sind diese nun als RAID-0 verbunden, was den doppelten Speicherplatz und etwas höhere Performance bietet und gleichzeitig keine Mehrkosten verursacht hat.

Den einzige Nachteil stellt die höhere Anfälligkeit gegen Plattenausfälle dar, jedoch sehe ich dies erstmal als verschmerzbar an, da auf dem Server nur sehr wenige Daten liegen, die nicht noch woanders gesichert sind. Diese Daten lassen sich auch problemlos regelmäßig per rsync auf einen anderen Rechner sichern und bei einem Totalausfall und anschließender Neuinstallation des Systems wieder einspielen.

Langfristig wäre aber eine zusätzliche herkömmliche Festplatte wünschenswert, um komfortabel vollständige Backups des Systems ablegen und bei einem Ausfall das System wiederherstellen zu können. Das kostet aber wieder zusätzliches Geld...

Gruß Alex

*****

Hi everybody,

since last friday, the data updates are running again without problems, after it had been no or only irregular updates for the last several weeks.

Unfortunately, the update process could not be switched to the Augmented Diffs of the Overpass API, because the format is currently not appropriate for our purposes (I can explain the technical details if you are interested), so we keep the current toolchain. The required space was created by changing the RAID level of the two SSDs. Instead of being configured as RAID-1, they are now configured as RAID-0, which offers twice the storage space and a slightly higher performance at no additional costs.

The only disadvantage of this solution is the higher risk of data loss in cases of disk failures. In my opinion this problem is not that important, as there are only a few data which are not also stored anywhere else. This data can also easily be saved periodically on another computer with rsync and restored after a total failure and the following reinstallation of the system.

However, an additional conventional hard disk for the server would be desirable to make full backups of the system comfortably and to restore the system in case of failure. But it costs extra money again...

Gruß Alex

On Fr, 2014-10-10 at 23:01 +0200, Alexander Matheisen wrote:

(English version below)

On Do, 2014-10-09 at 09:12 +0200, Peter Reinhart wrote:

...

Liebe Mitstreiter,

nach der Umstellung auf Augmented Diffs, die eine Verkürzung des Update-Zyklus auf ein paar Stunden erlauben, verhindert ein Bug [1] in der Overpass-Api seit Anfang Oktober die Aktualisierung der Karte. Wir hoffen auf eine schnelle Lösung des Problems und melden uns dann wieder.

hier nochmal einige technische Hintergründe zu den aktuellen Updateschwierigkeiten:

Bereits vor einiger Zeit hatte ich die langfristige Umstellung des Updateprozesses auf Augmented Diffs angedacht, weil dies deutlich besser performen würde als die jetzt verwendete Toolchain und zum anderen häufigere Datenupdates möglich wären.

Durch ein Vollaufen der SSDs auf dem Server* vor etwa einer Woche wurde ich nun zu einer sofortigen Umstellung gezwungen. Theoretisch hätte dies reibungslos funktioniert, jedoch findet sich in der Overpass API, die die Augmented Diffs zur Verfügung stellt, momentan noch ein Bug [1], der die Weiterverarbeitung der Diffs verhindert. Ich hoffe, dass Roland Olbricht, der Entwickler der Overpass API, den Bug bald beheben kann, damit wieder alles normal laufen kann.

• Ein Problem der momentan verwendeten Toolchain ist, dass gefilterte

Daten nicht aktualisiert werden können, sodass immer die Daten der gesamten OSM-Datenbank auf dem Server vorgehalten werden müssen. Man kann sich vorstellen, dass dies viel Speicherplatz braucht, und der Datensatz wächst stetig...

Gruß Alex

---

Some additional technical backgrounds:

...

To all OpenRailwayMap fans:

Since ORM switched to augmented diffs lately which allow more frequent map updates. However, a bug [1] in Overpass Api prevents the map to be updated ever since early October. We are hoping for a quick solution to this issue and will get back to you the moment it is fixed.

here some technical background information about the current updating problems:

Some months ago I thought about switching the update process to Augmented Diffs in the future, because of a better performance than the current toolchain and the possibility of oftener data updates.

But a week ago, the SSDs of the server were full*, which forced me to do this change now. In theory this would have meant no problems, but there is a bug in the Overpass API [1], which serves the Augmented Diffs, which avoid the successful running of further processing steps. I hope that Roland Olbricht, the maintainer of the Overpass API, will fix the bug soon, so that the database updates will run without problems.

• One problem of the current toolchain is, that filtered data cannot be

updated, so there has to be a copy of the whole OpenStreetMap database on the server. You can imagine, that this consumes a lot of space, and the planetfiles are growing steady...

Regards Alex

[1] https://github.com/drolbr/Overpass-API/issues/139 _______________________________________________ Openrailwaymap mailing list Openrailwaymap@openrailwaymap.org http://lists.openrailwaymap.org/lists/listinfo/openrailwaymap