Resumo do Artigo "A Comparative Study of Staff Removal Algorithms"

O artigo "A Comparative Study of Staff Removal Algorithms" de Dalitz et al. apresenta um novo método para remoção de compasso em imagens de partituras e faz um estudo comparativo de diversos algoritmos da literatura. O estudo é baseado na deformação de um conjunto de imagens sintéticas usando diversos modelos que simulam condições reais de digitalização. Os autores buscam avaliar se existe um algoritmo que é mais robusto em todos os contextos.

Primeiramente, o artigo apresenta um esquema genérico de detecção de compasso (sem o objetivo de remoção) que resulta em uma aproximação poligonal das linhas. Para permitir o uso desta técnica com algoritmos de remoção de compasso o algoritmo genérico é modificado para estimar um "esqueleto" de cada linha do compasso. Este algoritmo é utilizado no restante do artigo como detector de linhas de compasso (para os algoritmos que necessitam de uma etapa de detecção).

Em seguida os autores fazem uma categorizam diversos algoritmos da área em quatro categorias:

1. Line Tracking: algoritmos que primeiro detectam as linhas do compasso e depois removem os pixeis em torno de cada uma das linhas. O critério usado para remoção muda conforme o método; Refs [3][16] e [19] do artigo.
2. Vector Fields: algoritmos deste tipo calculam, para cada pixel preto da imagem, um vetor cujo ângulo e comprimento é baseado no maior segmento de reta que contém somente pontos pretos; Ref [15] do artigo.
3. Runlength Analysis: estes algoritmos consideram somente as sequências de pontos verticais e/ou horizontais de mesma cor (runlengths) e analisam a vizinhança de cada runlength para decidir se ela pertence ou não a uma linha do compasso; Refs [14] e [17] do artigo.
4. Skeletonization: algoritmos que utilizam o esqueleto da imagem de partitura para decidir se um pixel é ou não parte de uma linha. O método apresentado pelos autores se encaixa nesta categoria. Ref [18] do artigo.

A última parte do artigo consiste na comparação entre os diversos algoritmos apresentados. As imagens foram geradas em programas de notação musical e posteriormente deformadas usando 10 modelos diferentes (Figura 1). Como as imagens foram geradas sinteticamente, é possível extrair o compasso delas a partir do arquivo gerado. Desta maneira, os datasets deformados são criados deformando simultaneamente a imagem de entrada (com as linhas) e a imagem de saída (sem as linhas).


A avaliação dos métodos é feita utilizando três medidas de erro diferentes (entre elas a comparação de pixels "pura") e usando o teste estatístico descrito em [Mao1999]. Todo o software e imagens usados estão disponíveis na página do MusicStaves.

Para as imagens originais "perfeitas", não existe nenhum algoritmo que obtém resultados significativamente melhores que os outros. Para o restante das deformações, o algoritmo apresentado pelos autores só não obteve o melhor desempenho na deformação Typeset Emulation.

(a) Original image.

(b) Curvature.

(c) Thickness.

(d) White speckles.

(e) Interruptions.

(f) Typeset.

(g) Kanungo

(h) Y-Variation.

(i) Rotation.

Figure 1. Deformations used to test the robustness of staff removal methods.

Referência completa: C. Dalitz, M. Droettboom, B. Pranzas, and I. Fujinaga, “A comparative study of staff removal algorithms,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 30, no. 5, pp. 753–766, 2008.  [Download]

[Mao1999] Song Mao and Tapas Kanungo. 2001. Empirical Performance Evaluation Methodology and Its Application to Page Segmentation Algorithms. IEEE Trans. Pattern Anal. Mach. Intell. 23, 3 (March 2001), 242-256. DOI=10.1109/34.910877 [Download]

Resumo do artigo "The ICDAR 2013 Music Scores Competition: Staff Removal"

O artigo "The ICDAR 2013 Music Scores Competition: Staff Removal" apresenta os resultados da competição de remoção de compasso ocorrida no ICDAR 2013. Os autores descrevem o conjunto de imagens usado e os processamentos realizados para degradar as imagens para que elas se tornem similares a documentos históricos.  Também são apresentados os resultados da competição.

(Este resumo foca na descrição do conjunto de dados e nas métricas de avaliação de desempenho. Algumas informações foram retiradas do artigo "The ICDAR/GREC 2013 Music Scores Competition on Staff Removal")

O conjunto de dados utilizado na competição foi o CVC-MUSCIMA, que contém 1000 imagens de 20 partituras escritas por 50 músicos diferentes. Cada músico transcreveu as mesmas 20 páginas. Este conjunto de dados foi submetido à duas operações de degradação das imagens e as imagens são oferecidas tanto em binário como em níveis de cinza.

A primeira degradação adiciona ruído local de modo a imitar os traços de documentos antigos. São adicionados defeitos como pequenos borrões de tinta e falhas "brancas" nos traços da imagem.

A segunda deformação simula a digitalização de documentos deteriorados adicionando pequenas dobras e seções amassadas na imagem.

O conjunto de treinamento foi dividido em três partes:

1. TrainingSubset1: 1000 imagens geradas usando o modelo de distorção 3D com 2 meshes diferentes;
2. TrainingSubset2: 1000 imagens geradas com 3 níveis de ruído local;
3. TrainingSubset3: 2000 imagens geradas com combinações de distorção 3D e ruído local. Os parâmetros são os mesmos usados nos itens 1 e 2.

O conjunto de testes também foi dividido em 3 partes:

1. TestSubset1: 500 imagens geradas usando o modelo de distorção 3D com 2 meshes diferentes dos do treinamento;
2. TestSubset2: 500 imagens geradas com os mesmos 3 níveis de ruído local;
3. TestSubset3: 1000 imagens geradas com combinações de distorção 3D e ruído local. Os parâmetros são os mesmos usados nos itens 1 e 2 dos conjuntos de teste.

Os autores utilizaram 5 medidas de erro: Acurácia, Precisão, Recall, F-measure e Especificidade.

(Acurácia = taxa de erro, Precisão = TP/(TP + FP), Recall = TP/(TP + FN), Especificidade = TN/(TN + FP), F-measure= 2* (Precisão * Recall)/(Precisão + Recall) )

Os resultados de cada método podem ser vistos na tabela da última página do artigo [2].

Referências completas:

1. Visaniy, M.; Kieu, V.C.; Fornes, A.; Journet, N., "ICDAR 2013 Music Scores Competition: Staff Removal," Document Analysis and Recognition (ICDAR), 2013 12th International Conference on , vol., no., pp.1407,1411, 25-28 Aug. 2013. [Download]
2. V. Kieu, A. Fornes, M. Visani, and N. Journet, “The ICDAR/GREC 2013 Music Scores Competition on Staff Removal,” in 10th IAPR International Workshop on Graphics RECognition (GREC 2013), Bethlehem, PA, USA. [Download]

Resumo do Artigo "Staff Detection with Stable Paths"

 O artigo "Staff Detection with Stable Paths" de Cardoso et al. apresenta um método para a identificação do compasso em imagens de partituras utilizando caminhos em grafos. Segundo os autores, as abordagens anteriores utilizam somente informações locais das imagens sem considerar seu contexto. Em especial, os autores não conhecem trabalhos que explorem o fato das linhas serem os componentes mais largos da imagem.

O método apresentado trata a imagem como um grafo cujos vértices são os pixels da imagem e as arestas conectam pixels vizinhos. O peso das arestas leva em conta tanto a cor como outras propriedades contextuais de imagens de partituras. Supondo que caminhos contendo pixels pretos são menos custosos que caminhos com pixels brancos, as linhas do compasso são caminhos com menor custo que conectam as duas margens da página e que possuem somente um vértice de cada coluna. Iterando este algoritmo é possível encontrar todas as linhas de uma imagem.

Os autores definem um caminho P_{s, t} como um caminho estável (Stable Path) se P_{s, t} é, ao mesmo tempo, o caminho mais curto entre o pixel s e sua margem oposta e o caminho mais curto entre o pixel t e sua margem oposta. O algoritmo apresentado para calcular os caminhos estáveis possui complexidade similar ao de computar os caminhos ótimos entre as margens. Não existe garantia que o algoritmo encontrará um caminho estável para cada linha do compasso. Por isto, o método é iterado diversas vezes na imagem, apagando as linhas encontradas anteriormente. Uma etapa final de pós-processamento descarta linhas redundantes e agrupa as linhas em compassos. Linhas que não fazem parte de um compasso são descartadas.

A avaliação do método é feita utilizando as imagens da base do MusicStaves. O algoritmo apresenta bons resultados na comparação com o algoritmo de detecção de linhas apresentado em Dalitz et al2008. Os autores também testam o efeito da utilização deste algoritmo no lugar do implementado no MusicStaves para a remoção de compasso e obtém resultados competitivos com o Skeleton (apresentado em Dalitz et al2008 e que não detecta as linhas explicitamente).


Referência completa: dos Santos Cardoso, J.; Capela, A.; Rebelo, A.; Guedes, C.; Pinto da Costa, J., "Staff Detection with Stable Paths," Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.31, no.6, pp.1134,1139, June 2009 [Download]

Resumo do artigo "A Robust Detector for Music Staves"

O artigo "A robust detector for music staves" de Leplumey et al. descreve um método para a extração das linhas do compasso em partituras. O diferencial deste trabalho é que seu algoritmo foi desenvolvido para ser robusto a pequenas variações de curvatura e a interrupções nas linhas. Infelizmente, os autores não  fazem uma avaliação rigorosa do desempenho do algoritmo, apenas exibem seu resultado em uma imagem e comentam que o algoritmo errou apenas uma linha em um conjunto contendo 10 imagens.

O algoritmo depende, como em diversos outros trabalhos da área, de dois parâmetros: a "altura" da linha e a distância entre as linhas. A estimação destes parâmetros é feita da seguinte maneira. Primeiro, a imagem é analisada coluna a coluna e são computadas as frequências do comprimento de cada seguimento preto de cada coluna. O parâmetro staff_height é definido como o comprimento de componentes mais frequente. O parâmetro staff_space é definido como a distância entre segmentos pretos mais frequente. A lista de segmentos pretos por coluna é usada também nas próximas etapas do algoritmo.

O método apresentado possui dois níveis de análise para a detecção das linhas. No primeiro, ele busca agrupar localmente pequenos segmentos, chamados de stains, que possuam alta semelhança para caracterizar o início de uma linha. No segundo nível, os stains são expandidos para formar uma linha do compasso de modo a maximizar seu comprimento. Por fim, as linhas que possuem pouca curvatura (menor que 10 graus) são agrupadas usando um critério que leva em conta a posição e o grau de paralelismo entre as retas. Grupos com pelo menos 5 linhas paralelas são identificados como compassos.

Referência completa: Leplumey, I.; Camillerapp, J.; Lorette, G., "A robust detector for music staves," Document Analysis and Recognition, 1993., Proceedings of the Second International Conference on , vol., no., pp.902,905, 20-22 Oct 1993 [IEEExplore (necessita de autenticação :( ]

Resumo do artigo "An Effective Staff Detection and Removal Technique"

O artigo "An Effective Staff Detection and Removal Technique" de Bolan Su et al trata do problema de detecção e remoção das linhas de compasso em imagens de partitura. Os autores apresentam um novo método que modela o formato das linhas do compasso e utiliza o modelo estimado para a remoção do compasso.

O algoritmo é divido em 4 passos. No primeiro passo é aplicado um filtro 1D nas colunas da imagem que elimina grande parte dos símbolos musicais. No segundo passo, o modelo é estimado a partir da detecção preliminar obtida no primeiro passo. O modelo utilizado é uma sequência (O_i) de deslocamentos verticais, ou seja, a coordenada y do pixel k da linha é obtida somando O_k na coordenada y do pixel k-1. Para tornar o método mais robusto, o elemento O_i do modelo é determinado utilizando informações de todas as linhas presentes na imagem. Além disto, o algoritmo considera não somente o pixel imediatamente vizinho para o cálculo da orientação da linha, mas também os mais próximos das k colunas seguintes. O terceiro passo envolve a superposição da curva O_i encontrada no passo anterior para detectar a posição de cada linha na imagem. Por fim, a quarta etapa remove da imagem os componentes que cruzam as linhas encontradas e são mais compridos verticalmente do que o tamanho da linha detectado.

O método proposto foi testado no dataset CVC-MUSCIMA e comparado com um algoritmo de Line Tracking e com o ISI01-HA (vencedor da competição do ICDAR 2011). O algoritmo apresenta desempenho superior ao algoritmo de Line Tracking, porém inferior ao ISI01-HA. As principais vantagens do novo método seriam sua robustez à deformações que afetem o formato da linha, como curvatura e rotação. O algoritmo possui duas limitações. A primeira é a sua incapacidade de lidar com linhas grossas. A segunda limitação é a falta de precisão do modelo, que muitas vezes não encaixa perfeitamente nas linhas do compasso. Os autores atribuem esta discrepância a erros de interpolação e acreditam que incorporar informação local no modelo possa melhorar a detecção das linhas.

Referência completa: Su, B., Lu, S., Pal, U., & Tan, C. L. (2012, March). Aneffective staff detection and removal technique for musical documents. InDocument Analysis Systems (DAS), 2012 10th IAPR International Workshop on (pp.160-164). IEEE. [Download]