This mailing list has been migrated to Mailman 3. This archive will no longer be updated. Messages after 1 February 2020 are missing. Please use the new archive instead.
Diese Mailingliste wurde auf Mailman 3 umgestellt. Dieses Archiv wird nicht mehr länger aktualisiert. Nachrichten nach dem 1. Februar 2020 fehlen. Bitte benutze das neue Archiv.
(English version below) Hallo zusammen, seit letztem Freitag laufen die täglichen Datenupdates wieder ohne Probleme, nachdem es vorher für einige Wochen keine oder nur unregelmäßige Updates gegeben hatte. Der Aktualisierungsprozess konnte leider nicht auf die Augmented Diffs der Overpass API umgestellt werden, weil das Format dafür momentan nicht geeignet ist (die technischen Details kann ich aus Anfrage genauer erläutern), sodass die bisherige Toolchain erstmal beibehalten wird. Der dafür notwendige Speicherplatz wurde durch eine Änderung des RAID-Levels der beiden SSDs geschaffen. Statt wie bisher als RAID-1 sind diese nun als RAID-0 verbunden, was den doppelten Speicherplatz und etwas höhere Performance bietet und gleichzeitig keine Mehrkosten verursacht hat. Den einzige Nachteil stellt die höhere Anfälligkeit gegen Plattenausfälle dar, jedoch sehe ich dies erstmal als verschmerzbar an, da auf dem Server nur sehr wenige Daten liegen, die nicht noch woanders gesichert sind. Diese Daten lassen sich auch problemlos regelmäßig per rsync auf einen anderen Rechner sichern und bei einem Totalausfall und anschließender Neuinstallation des Systems wieder einspielen. Langfristig wäre aber eine zusätzliche herkömmliche Festplatte wünschenswert, um komfortabel vollständige Backups des Systems ablegen und bei einem Ausfall das System wiederherstellen zu können. Das kostet aber wieder zusätzliches Geld... Gruß Alex ***** Hi everybody, since last friday, the data updates are running again without problems, after it had been no or only irregular updates for the last several weeks. Unfortunately, the update process could not be switched to the Augmented Diffs of the Overpass API, because the format is currently not appropriate for our purposes (I can explain the technical details if you are interested), so we keep the current toolchain. The required space was created by changing the RAID level of the two SSDs. Instead of being configured as RAID-1, they are now configured as RAID-0, which offers twice the storage space and a slightly higher performance at no additional costs. The only disadvantage of this solution is the higher risk of data loss in cases of disk failures. In my opinion this problem is not that important, as there are only a few data which are not also stored anywhere else. This data can also easily be saved periodically on another computer with rsync and restored after a total failure and the following reinstallation of the system. However, an additional conventional hard disk for the server would be desirable to make full backups of the system comfortably and to restore the system in case of failure. But it costs extra money again... Gruß Alex On Fr, 2014-10-10 at 23:01 +0200, Alexander Matheisen wrote: > (English version below) > > On Do, 2014-10-09 at 09:12 +0200, Peter Reinhart wrote: > > Liebe Mitstreiter, > > > > nach der Umstellung auf Augmented Diffs, die eine Verkürzung des > > Update-Zyklus auf ein paar Stunden erlauben, verhindert ein Bug [1] in > > der Overpass-Api seit Anfang Oktober die Aktualisierung der Karte. Wir > > hoffen auf eine schnelle Lösung des Problems und melden uns dann wieder. > > hier nochmal einige technische Hintergründe zu den aktuellen > Updateschwierigkeiten: > > Bereits vor einiger Zeit hatte ich die langfristige Umstellung des > Updateprozesses auf Augmented Diffs angedacht, weil dies deutlich besser > performen würde als die jetzt verwendete Toolchain und zum anderen > häufigere Datenupdates möglich wären. > > Durch ein Vollaufen der SSDs auf dem Server* vor etwa einer Woche wurde > ich nun zu einer sofortigen Umstellung gezwungen. Theoretisch hätte dies > reibungslos funktioniert, jedoch findet sich in der Overpass API, die > die Augmented Diffs zur Verfügung stellt, momentan noch ein Bug [1], der > die Weiterverarbeitung der Diffs verhindert. Ich hoffe, dass Roland > Olbricht, der Entwickler der Overpass API, den Bug bald beheben kann, > damit wieder alles normal laufen kann. > > * Ein Problem der momentan verwendeten Toolchain ist, dass gefilterte > Daten nicht aktualisiert werden können, sodass immer die Daten der > gesamten OSM-Datenbank auf dem Server vorgehalten werden müssen. Man > kann sich vorstellen, dass dies viel Speicherplatz braucht, und der > Datensatz wächst stetig... > > > Gruß > Alex > > > ***** > > > Some additional technical backgrounds: > > To all OpenRailwayMap fans: > > > > Since ORM switched to augmented diffs lately which allow more frequent > > map updates. However, a bug [1] in Overpass Api prevents the map to be > > updated ever since early October. We are hoping for a quick solution to > > this issue and will get back to you the moment it is fixed. > > here some technical background information about the current updating > problems: > > Some months ago I thought about switching the update process to > Augmented Diffs in the future, because of a better performance than the > current toolchain and the possibility of oftener data updates. > > But a week ago, the SSDs of the server were full*, which forced me to do > this change now. In theory this would have meant no problems, but there > is a bug in the Overpass API [1], which serves the Augmented Diffs, > which avoid the successful running of further processing steps. I hope > that Roland Olbricht, the maintainer of the Overpass API, will fix the > bug soon, so that the database updates will run without problems. > > * One problem of the current toolchain is, that filtered data cannot be > updated, so there has to be a copy of the whole OpenStreetMap database > on the server. You can imagine, that this consumes a lot of space, and > the planetfiles are growing steady... > > > Regards > Alex > > [1] https://github.com/drolbr/Overpass-API/issues/139 > _______________________________________________ > Openrailwaymap mailing list > Openrailwaymap at openrailwaymap.org > http://lists.openrailwaymap.org/lists/listinfo/openrailwaymap -------------- next part -------------- A non-text attachment was scrubbed... Name: signature.asc Type: application/pgp-signature Size: 490 bytes Desc: This is a digitally signed message part URL: <http://lists.openrailwaymap.org/archives/openrailwaymap/attachments/20141209/e11fb589/attachment.sig>