/ Projet · Challenge IA
Highlight Generator
Application web qui analyse automatiquement des vidéos d'événements musicaux et génère un clip court optimisé pour les réseaux sociaux — sans aucune compétence en montage requise.
Développé avec Hugo Métais — membre de La Fièvre, collectif de DJ en plein essor sur Annecy.
/ Architecture IA
🧍
17 points clés du corps par personne. Détecte bras levés, danse, agitation de foule.
🎵
5 métriques audio + détection spécifique des drops et build-ups musicaux.
👁️
Mouvement pixel par pixel, indépendamment du son.
Algorithme de scoring
Fusion des 3 signaux → cohérence temporelle (évite les coupures brutales) → extension dynamique des segments si l'intensité continue → sélection finale du meilleur clip.
/ Réalisations
🎯
Les organisateurs d'événements filment tout mais n'ont jamais le temps de monter. Né d'un constat partagé avec Hugo Métais (La Fièvre — collectif DJ Annecy).
🤖
Analyse des 17 points clés du corps de chaque personne : bras levés, danse, agitation de foule. Un moment où toute la foule danse les bras en l'air score plus haut qu'un passage fort mais statique.
🎵
5 métriques audio combinées avec une détection spécifique des drops et build-ups musicaux pour identifier les moments les plus intenses.
👁️
Mesure du mouvement pixel par pixel indépendamment du son, pour capturer l'agitation visuelle même lors de passages silencieux.
⚡
Proxy 240p à 0.5 fps via FFmpeg hwaccel CUDA + h264_nvenc. Analyse audio et vidéo en threads parallèles. Batch de 16 frames sur YOLOv8. Support vidéos jusqu'à 7 Go via Cloudflare R2.
🎬
10 présets (Concert, Club, Festival, DJ Set, Rave, Mariage...), 3 formats de sortie (9:16, 16:9, 1:1), durée paramétrable avec recommandation automatique.
/ Stack technique
Python
Backend principal
FastAPI
API REST
Celery + Redis
File de tâches async
React.js
Interface web
YOLOv8-Pose
Vision par ordinateur
Librosa
Analyse audio
OpenCV Optical Flow
Mouvement vidéo
FFmpeg CUDA
Encodage GPU
Cloudflare R2
Stockage vidéo
/ Compétences
/ Open Source
Le code est entièrement open source. Si tu organises des événements et veux tester Nocturne sur une vraie vidéo, contacte Gohan directement.
github.com/GGohan/nocturne-highlight-generator →