RAIA-BRASIL/spellnet_asl

SpellNetASL

SpellNetASL é um modelo de classificação de letras em American Sign Language (ASL), treinado com redes neurais convolucionais (CNNs), com foco em reconhecimento de fingerspelling em tempo real. O modelo faz parte da plataforma interativa SpellNet, que permite ao usuário praticar soletração em LIBRAS ou ASL por meio da webcam, com feedback instantâneo. Seu principal objetivo é promover acessibilidade e inclusão no ensino de línguas de sinais.

Detalhes do Modelo

Descrição

• Desenvolvido por: Cecilia Sedenho, João Pedro Viguini, Daniel Carvalho, Bernardo Marques, Gabriel Iamato, Matheus Vicente
• Patrocinado por: SignLink
• Tipo do modelo: Classificador de imagem baseado em CNN (MobileNet via feature extraction)
• Modelo base: MobileNet
• Correspondência: raia.projetos@gmail.com, ceciliasedenho@gmail.com

Fontes

• Repositório: https://github.com/gruporaia/SpellNet
• Demo: Vídeo no YouTube

Usos

O modelo é destinado ao uso em aplicações de ensino e prática de fingerspelling em ASL. Os usuários interagem com a aplicação por meio de webcam, recebendo feedback letra por letra conforme tentam soletrar palavras. Pode ser usado por:

• Estudantes de ASL;
• Instrutores e intérpretes;
• Pesquisadores em acessibilidade e visão computacional;
• Desenvolvedores de aplicações educacionais.

Viéses, Riscos e Limitações

• Vieses nos dados de treinamento: Como os dados foram coletados por membros da equipe via webcam, há risco de viés relacionado à aparência das mãos, fundo, iluminação e estilo de gesticulação.
• Contextos inadequados: O modelo não é adequado para reconhecimento de gestos contínuos ou palavras com sinais únicos (sem soletração).

Como Usar

# Available backend options are: "jax", "torch", "tensorflow".
import os
os.environ["KERAS_BACKEND"] = "torch"
    
import keras

model = keras.saving.load_model("hf://RAIA-BRASIL/spellnet_asl")

Detalhes do treinamento

Dados de Treino

• Dados autorais capturados via webcam com ~5.000 imagens por classe para ASL (gestos estáticos de letras).

Procedimento

Pré-processamento

• Redimensionamento para 224x224 px
• Extração de landmarks com MediaPipe Hands
• Data augmentation: rotação, variações de cor, salt and pepper noise

Hiperparâmetros

[More Information Needed]

Infraestrutura computacional

Hardware

• 1x GPU (L4)
• Treinamento feito localmente com validação cruzada estratificada por intérprete

Software

• Python, TensorFlow/Keras, OpenCV, MediaPipe, Docker, Streamlit

Avaliação

Dados de Teste & Métricas

Dados de Teste

• Conjunto separado por intérprete (cross-validation estratificada)

Métricas

• Acurácia

Resultados

Tarefa	Dataset	Métrica	Resultado
Classificação de letras ASL	Dataset autoral	Acurácia	79%

Agradecimentos

Agradecimentos aos membros da RAIA e à equipe da SignLink, cuja colaboração foi essencial para o sucesso deste projeto.