[pt] LOCALIZAÇÃO ESPAÇO-TEMPORAL DE ATORES EM VÍDEOS/VÍDEOS 360 E SUAS APLICAÇÕES
[pt] A popularidade de plataformas para o armazenamento e compartilhamento de vídeo tem criado um volume massivo de horas de vídeo. Dado um conjunto de atores presentes em um vídeo, a geração de metadados com a determinação temporal dos intervalos em que cada um desses atores está presente, bem como...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis doctoral |
| Estado: | Versión publicada |
| Fecha de publicación: | 2021 |
| País: | Brasil |
| Institución: | Pontifícia Universidade Católica do Rio de Janeiro (PUC-RIO) |
| Repositorio: | Repositório Institucional da PUC-RIO (Projeto Maxwell) |
| Idioma: | inglés |
| OAI Identifier: | oai:MAXWELL.puc-rio.br:54666 |
| Acceso en línea: | https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=54666&idi=1 https://www.maxwell.vrac.puc-rio.br/colecao.php?strSecao=resultado&nrSeq=54666&idi=2 http://doi.org/10.17771/PUCRio.acad.54666 |
| Access Level: | acceso abierto |
| Palabra clave: | [pt] CLUSTERIZACAO [pt] VIDEO 360 [pt] RECOMENDACAO DE VIDEO [pt] RECONHECIMENTO FACIAL [en] CLUSTERING [en] 360-VIDEO [en] VIDEO RECOMMENDATION [en] FACE RECOGNITION |
| Sumario: | [pt] A popularidade de plataformas para o armazenamento e compartilhamento de vídeo tem criado um volume massivo de horas de vídeo. Dado um conjunto de atores presentes em um vídeo, a geração de metadados com a determinação temporal dos intervalos em que cada um desses atores está presente, bem como a localização no espaço 2D dos quadros em cada um desses intervalos pode facilitar a recuperação de vídeo e a recomendação. Neste trabalho, nós investigamos a Clusterização Facial em Vídeo para a localização espaço-temporal de atores. Primeiro descrevemos nosso método de Clusterização Facial em Vídeo em que utilizamos métodos de detecção facial, geração de embeddings e clusterização para agrupar faces dos atores em diferentes quadros e fornecer a localização espaço-temporal destes atores. Então, nós exploramos, propomos, e investigamos aplicações inovadoras dessa localização espaço-temporal em três diferentes tarefas: (i) Reconhecimento Facial em Vídeo, (ii) Recomendação de Vídeos Educacionais e (iii) Posicionamento de Legendas em Vídeos 360 graus. Para a tarefa (i), propomos um método baseado na similaridade de clústeres que é facilmente escalável e obteve um recall de 99.435 por cento e uma precisão de 99.131 por cento em um conjunto de vídeos. Para a tarefa (ii), propomos um método não supervisionado baseado na presença de professores em diferentes vídeos. Tal método não requer nenhuma informação adicional sobre os vídeo e obteve um valor mAP aproximadamente 99 por cento. Para a tarefa (iii), propomos o posicionamento dinâmico de legendas baseado na localização de atores em vídeo 360 graus. |
|---|