Kleinanzeigen-Agent - Der intelligente Assistent für Kleinanzeigen.de

Projektübersicht

Kleinanzeigen-Agent ist eine spezialisierte Plattform zur Optimierung der Suche und Überwachung von Angeboten auf Online-Marktplätzen. Das System ermöglicht es Nutzern, hochpräzise Suchanfragen zu definieren und in Echtzeit über neue, relevante Angebote informiert zu werden. Eine Schlüsselfunktion ist die Filterung nach Verkäuferbewertungen – ein Feature, das auf den meisten Marktplätzen nativ nicht verfügbar ist.

Systemarchitektur

Die Plattform basiert auf einer modernen, skalierbaren Microservices-Architektur:

Frontend

• NextJS-basierte Single-Page-Application mit Server-Side Rendering
• Reaktive UI-Komponenten mit optimierter State-Management-Lösung
• Progressive Web App (PWA) Funktionalität für mobile Nutzung
• WebSocket-Integration für Echtzeit-Updates ohne Polling

Backend

• ExpressJS REST-API mit modularer Controller-Struktur
• Verteiltes Crawler-System mit Playwright für Browser-Automation
• Redis-basiertes Caching und Pub/Sub-System für Echtzeit-Kommunikation
• Skalierbare Worker-Architektur für parallele Datenverarbeitung

Datenverarbeitung

• MariaDB für strukturierte relationale Daten
• Typesense für Hochleistungs-Volltextsuche mit minimaler Latenz
• Datenbereinigungsprozesse zur automatischen Entfernung veralteter Anzeigen
• ETL-Pipeline für Datenextraktion, -transformation und -laden

Technische Herausforderungen

Bei der Entwicklung wurden mehrere komplexe technische Herausforderungen gelöst:

Crawler-Optimierung

Die Hauptherausforderung lag in der Entwicklung eines robusten Crawling-Systems, das effizient arbeitet, ohne die Zielplattformen zu überlasten. Implementierte Lösungen umfassen:

• Adaptive Rate-Limiting-Algorithmen zur Vermeidung von IP-Sperren
• Fingerprint-Randomisierung zur Verschleierung automatisierter Zugriffe
• Inkrementelles Crawling mit intelligenter Änderungserkennung
• Verteilte Proxy-Rotation für Load-Balancing und Anonymität

Suchperformance

Für eine reaktionsschnelle Suche in großen Datenmengen wurden folgende Optimierungen implementiert:

• Typesense-Integration mit typsicheren Schemas und ultraschneller Suchperformance
• Mehrstufiges Caching-System für häufige Suchanfragen
• Asynchrone Vorindexierung neuer Daten
• Fuzzy-Matching-Algorithmen für tolerante Suche mit konfigurierbarer Fehlertoleranz

Benachrichtigungssystem

Das Echtzeit-Benachrichtigungssystem wurde mit folgenden Komponenten realisiert:

• Multi-Channel-Delivery über Telegram, Discord und In-App-Notifications
• Priorisierungsalgorithmus basierend auf Nutzereinstellungen und Angebotsrelevanz
• Deduplizierungsmechanismen zur Vermeidung redundanter Benachrichtigungen
• Verzögerte Zustellung mit automatischer Bündelung bei hohem Aufkommen

Verwendete Technologien

• NextJS für das Frontend
• ExpressJS für die Backend-API
• MariaDB für relationale Datenspeicherung
• Typesense für Hochleistungssuche mit minimaler Latenz
• Redis für Caching und Pub/Sub-Kommunikation
• Python für spezialisierte Crawler-Komponenten
• Playwright für Browser-Automation und DOM-Manipulation
• Docker und Kubernetes für Containerisierung und Orchestrierung
• Prometheus und Grafana für Monitoring und Alerting

Skalierbarkeit und DevOps

Die Infrastruktur wurde mit Fokus auf Skalierbarkeit und Betriebsstabilität konzipiert:

• Horizontale Skalierung aller Komponenten für gleichmäßige Lastverteilung
• Automatisierte CI/CD-Pipeline für kontinuierliche Integration und Deployment
• Infrastructure-as-Code mit Terraform für reproduzierbare Umgebungen
• Umfassendes Monitoring mit detaillierten Metriken und automatischen Alerts

Zukünftige Entwicklung

Für kommende Versionen sind folgende Erweiterungen geplant:

• Integration weiterer Marktplätze wie Willhaben und Quoka
• Implementierung eines KI-gestützten Preisanalyse-Tools
• Entwicklung einer mobilen App für iOS und Android
• Erweiterung der API für Drittanbieter-Integrationen

Visuelle Darstellung