/ Projet · Challenge IA
Highlight Generator
Application web qui analyse automatiquement des vidéos d'événements musicaux et génère un clip court optimisé pour les réseaux sociaux, sans aucune compétence en montage requise.
Développé avec Hugo Métais, membre de La Fièvre, collectif de DJ en plein essor sur Annecy.
/ Architecture IA
🧍
17 points clés du corps par personne. Détecte bras levés, danse, agitation de foule.
🎵
5 métriques audio + détection spécifique des drops et build-ups musicaux.
👁️
Mouvement pixel par pixel, indépendamment du son.
Algorithme de scoring
Fusion des 3 signaux → cohérence temporelle (évite les coupures brutales) → extension dynamique des segments si l'intensité continue → sélection finale du meilleur clip.
/ Réalisations
🎯
Les organisateurs d'événements filment tout mais n'ont jamais le temps de monter. Né d'un constat partagé avec Hugo Métais (La Fièvre, collectif DJ Annecy).
🤖
Analyse des 17 points clés du corps de chaque personne : bras levés, danse, agitation de foule. Un moment où toute la foule danse les bras en l'air score plus haut qu'un passage fort mais statique.
🎵
5 métriques audio combinées avec une détection spécifique des drops et build-ups musicaux pour identifier les moments les plus intenses.
👁️
Mesure du mouvement pixel par pixel indépendamment du son, pour capturer l'agitation visuelle même lors de passages silencieux.
⚡
Proxy 240p à 0.5 fps via FFmpeg hwaccel CUDA + h264_nvenc. Analyse audio et vidéo en threads parallèles. Batch de 16 frames sur YOLOv8. Support vidéos jusqu'à 7 Go via Cloudflare R2.
🎬
10 présets (Concert, Club, Festival, DJ Set, Rave, Mariage...), 3 formats de sortie (9:16, 16:9, 1:1), durée paramétrable avec recommandation automatique.
/ Stack technique
Python
Backend principal
FastAPI
API REST
Celery + Redis
File de tâches async
React.js
Interface web
YOLOv8-Pose
Vision par ordinateur
Librosa
Analyse audio
OpenCV Optical Flow
Mouvement vidéo
FFmpeg CUDA
Encodage GPU
Cloudflare R2
Stockage vidéo
/ Compétences
/ Open Source
Le code est entièrement open source. Si tu organises des événements et veux tester Nocturne sur une vraie vidéo, contacte Gohan directement.
github.com/GGohan/nocturne-highlight-generator →