AniPic

Projektübersicht

AniPic entstand aus der Idee, die Leistungsfähigkeit moderner KI-Bilderkennungstechnologien mit einer spezialisierten Suchmaschine für Anime-Inhalte zu verbinden. Das Konzept ähnelt Google Images, fokussiert sich jedoch auf die präzise Kategorisierung und Indexierung von Anime-Frames mit Hilfe von Machine Learning.

Technische Architektur

Der Workflow des Systems wurde folgendermaßen konzipiert:

1. Nutzer laden Anime-Episoden über eine sichere API auf die Plattform hoch
2. Ein Content-Verification-System prüft die Medien auf Validität und Konformität
3. Ein optimierter FFMPEG-Prozess extrahiert Frames in definierten Intervallen
4. Jeder Frame durchläuft einen KI-Kategorisierungsprozess mit semantischer Analyse
5. Die kategorisierten Daten werden in einer NoSQL-Datenbank indexiert und für die Suche optimiert

Technische Herausforderungen

Die Hauptherausforderung lag in der effizienten Verarbeitung großer Datenmengen. Mit einem Datensatz von etwa 4TB an Episoden musste ein optimiertes System zur Frame-Extraktion entwickelt werden. Während der Implementierung identifizierte ich eine suboptimale FFMPEG-Konfiguration, die zu redundanten Frames führte – ein Problem, das durch Anpassung der Keyframe-Intervalle und Implementierung eines Ähnlichkeitsalgorithmus gelöst werden konnte.

Die zweite große Herausforderung betrifft die KI-Kategorisierung. Hier evaluiere ich verschiedene Ansätze:

• Integration eines vortrainierten Vision-Language-Models wie CLIP
• Nutzung der OpenAI API (GPT-4 mit Vision-Capabilities)
• Entwicklung eines spezialisierten Modells mit Transfer Learning auf Anime-spezifischen Datensätzen

Aktuelle Entwicklungsphase

Derzeit (Stand: Oktober 2023) befindet sich das Projekt in der Datenaufbereitungsphase. Die extrahierten Frames sind auf einem dedizierten Storage-Cluster gespeichert und warten auf die Implementierung des Kategorisierungssystems. Die nächsten Schritte umfassen die Finalisierung der KI-Komponente und die Entwicklung der Suchfunktionalität mit Elasticsearch.

Rechtliche und ethische Überlegungen

Ein wesentlicher Aspekt der Projektplanung war die Berücksichtigung urheberrechtlicher Fragen bei der Verwendung von Anime-Frames. Das System wurde so konzipiert, dass es im Einklang mit Fair-Use-Bestimmungen operiert, indem es sich auf Metadaten und transformative Nutzung konzentriert, anstatt vollständige Episoden zu reproduzieren.

Verwendete Technologien

• Python für Backend-Prozesse und ML-Integration
• FFMPEG für Medienverarbeitung
• MongoDB für die Datenspeicherung und -indexierung
• NextJS für das Frontend
• TailwindCSS für responsive UI-Komponenten
• Docker für Containerisierung und Skalierung

Planung

Die Systemarchitektur wurde mit Draw.io modelliert und umfasst detaillierte Flussdiagramme für verschiedene Prozesse:

Für die Server-Kommunikation: