H2.live scraper

Ein simpler Web-Scraper für h2.live, der Daten in festgelegten Intervallen sammelt und in einer mongoDB-Datenbank speichert. Die Daten können für weitere Analyse und Visualisierung heruntergeladen werden oder über eine API abgefragt werden.

Bug reporten · Feature anfragen

Inhalt

1. Das Projekt
2. Lokal installieren
   • Voraussetzungen
   • Installation
3. Nutzung
4. Lizenz
5. Kontakt

Das Projekt

Dies ist ein einfacher Web-Scraper der für eins im Erzgebirge entwickelt wurde. Er sammelt Daten von der Website h2.live und speichert sie in einer MongoDB-Datenbank. Die Daten können dann für weitere Analyse und Visualisierung heruntergeladen oder über eine API abgefragt werden.

Eine Demo kann hier gefunden werden. Zur Auswertung wird eine beispielhafte Excel-Tabelle hier bereitgestellt.

(zurück hoch)

Lokal installieren

Um das Projekt lokal zu installieren und zu verwenden, folgen Sie den unten stehenden Schritten.

Voraussetzungen

• eine MongoDB-Datenbank Instanz

• npm

  npm install npm@latest -g

Installation

1. repository klonen.

   git clone https://github.com/bambusgamer/h2.live-scraper.git

2. npm packages installieren.

   npm install

3. Kopieren Sie die .env-example Datei und benennen Sie sie in .env um.

   cp .env-example .env

4. Füllen Sie die .env-Datei mit den entsprechenden Informationen aus.

    PORT=3000
    MONGO_URI=mongodb://localhost:27017/h2live
    INTERVAL_MINUTES=3

5. Starten Sie den Server.

   pnpm run start

6. Besuchen Sie http://localhost:3000/, um auf den Server zuzugreifen (Port kann in der .env-Datei geändert werden).

(Optional kann der Server über die bereitgestellte pm2 Konfiguration gestartet werden, um ihn im Hintergrund laufen zu lassen.)

(zurück hoch)

Nutzung

Der Server beginnt nach dem Start, Daten von h2.live zu sammeln und in der angegebenen MongoDB-Datenbank zu speichern.

Sie können die gesammelten Daten als .csv-Dateien herunterladen, indem Sie http://localhost:3000/ besuchen.

Die Daten können auch über eine API abgefragt werden. Die API-Endpunkte sind:

• /api/v1/data/combined.zip - gibt alle gesammelten Daten als Zip-Datei zurück
• /api/v1/data/stations.csv - gibt die Daten der Stationen als .csv-Datei zurück
• /api/v1/data/fueling-events.csv - gibt die Daten der Tankvorgänge als .csv-Datei zurück
• /api/v1/data/downtimes.csv - gibt die Daten der Ausfälle als .csv-Datei zurück

Eine Demo der API kann hier gefunden werden.

Die Daten können mit der Demo-Excel-Tabelle hier ausgewertet werden.

(zurück hoch)

Lizenz

Unter der MIT-Lizenz. Siehe LICENSE für weitere Informationen.

(zurück hoch)

Kontakt

E-Mail: lauckner.vincent@gmail.com

Projektlink: https://github.com/bambusgamer/h2.live-scraper

(zurück hoch)