Cercetare · Proiect al fondatorului · 2024
Detecție de personaje în timp real
Două modele YOLOv8 de detecție a obiectelor, antrenate pe dataseturi proprii cu imagini din jocuri, unul pentru CS:GO și unul pentru vederea termică din GTA Online, rulând în timp real pe captura de ecran, cu un overlay transparent.
- 2
- modele de detecție antrenate de noi
- 0.84
- precizie pe validare (recall 0,50)
- Live
- inferență pe captura de ecran
Un proiect de computer vision care acoperă tot ciclul de antrenare: colectezi și etichetezi date, antrenezi, citești metricile, schimbi datasetul, antrenezi din nou. Jocurile sunt un teren bun de test pentru că imaginile se colectează ușor, iar scenele se schimbă constant.
Ce am construit
- Dataseturi proprii pentru două medii, refăcute în mai multe versiuni pe măsură ce analiza erorilor arăta ce îi scăpa modelului
- Rulări de antrenare cu modelele YOLOv8 nano și small, urmărite prin curbele de pierdere, precizie, recall și mAP
- Un script de inferență pentru imagini locale și o buclă în timp real pe captura de ecran, cu sărirea cadrelor și prag de încredere, care desenează rezultatele într-un overlay transparent
- Un script de conversie în TensorRT pentru inferență mai rapidă pe GPU-uri NVIDIA
Rezultate măsurate
Cea mai bună rulare pentru CS:GO (YOLOv8s, 30 de epoci la 640 px) a obținut precizie 0,84, recall 0,50 și mAP@50 de 0,59 pe setul de validare. Precizia este bună, recall-ul este limita: pasul următor sunt date de antrenare mai variate, nu un model mai mare.
