TC-STAR 2006 Evaluation Package - SLT English-to-Spanish

Instance of: Dataset
Description TC-STAR is a European integrated project focusing on Speech-to-Speech Translation (SST). To encourage significant breakthrough in all SST technologies, annual open competitive evaluations are organized. Automatic Speech Recognition (ASR), Spoken Language Translation (SLT) and Text-To-Speech (TTS) are evaluated independently and within an end-to-end system. The second TC-STAR evaluation campaign took place in March 2006. Three core technologies were evaluated during the campaign: • Automatic Speech Recognition (ASR), • Spoken Language Translation (SLT), • Text to Speech (TTS). Each evaluation package includes resources, protocols, scoring tools, results of the official campaign, etc., that were used or produced during the second evaluation campaign. The aim of these evaluation packages is to enable external players to evaluate their own system and compare their results with those obtained during the campaign itself. The speech databases made within the TC-STAR project were validated by SPEX, in the Netherlands, to assess their compliance with the TC-STAR format and content specifications. This package includes the material used for the TC-STAR 2006 Spoken Language Translation (SLT) second evaluation campaign for English-to-Spanish translation. The same packages are available for English (ELRA-E0011), Spanish (ELRA-E0012) and Mandarin Chinese (ELRA-E0013) for ASR and for SLT in 2 other directions, Spanish-to-English (ELRA-E0015) and Chinese-to-English (ELRA-E0016). To be able to chain the components, ASR, SLT and TTS evaluation tasks were designed to use common sets of raw data and conditions. Three evaluation tasks, common to ASR, SLT and TTS, were selected: EPPS (European Parliament Plenary Sessions) task, CORTES (Spanish Parliament Sessions) task and VOA (Voice of America) task. The CORTES data were used in addition to the EPPS data to evaluate ASR in Spanish and SLT from Spanish into English. This package was used within the EPPS task and consists of 2 data sets: - Development data set: built upon the ASR development data set, in order to enable end-to-end evaluation. Subsets of 50,000 words were selected from the EPPS verbatim transcriptions, and from the Final Text Edition documents. The source texts were then translated into Spanish by two independent translation agencies. All source text sets and reference translations were formatted using the same SGML DTD that has been used for the NIST Machine Translation evaluations. - Test data set: as for the development set, the same procedure was followed to produce the test data, i.e.: subsets of 50,000 words were selected from the test data set (Parliament’s sessions from 7 to 26 September 2005) both from the manual transcriptions and from the Final Text Edition documents. The source data were then translated into Spanish by two independent agencies.
TC-STAR est un projet intégré européen basé sur la traduction parole-parole (ou SST pour Speech-to-Speech Translation). Pour encourager de manière conséquente l’avancée dans toutes les technologies de la SST, des évaluations ouvertes à la concurrence sont organisées sur une base annuelle. Les technologies de la reconnaissance automatique de la parole (ou ASR pour « Automatic Speech Recognition »), de la traduction de la langue parlée (ou SLT pour « Spoken Language Translation ») et les technologies texte-parole (ou TTS pour « Text-to-Speech ») sont évaluées à la fois de façon indépendante et intégrées à un système « end-to-end » (de « bout en bout »). La deuxième campagne d’évaluation TC-STAR s’est déroulée en mars 2006. Trois technologies de base ont été évaluées lors de cette campagne: • la reconnaissance automatique de la parole (ASR), • la traduction de la langue parlée (SLT), • la synthèse texte-parole (TTS). Chaque package d’évaluation regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la seconde campagne d’évaluation. Le but de ces packages d’évaluation est de permettre à des acteurs externes d’évaluer leur propre système et de comparer leurs résultats à ceux obtenus pendant la campagne. Les bases de données orales produites dans le projet TC-STAR ont été validées par SPEX, Pays-Bas, selon le format et les spécifications de contenu TC-STAR. Ce package comprend le matériel utilisé pour la seconde campagne d’évaluation TC-STAR 2006 Spoken Language Translation (SLT) pour la traduction de l’anglais vers l’espagnol. Des packages similaires sont également disponibles pour l’anglais (ELRA-E0011), l’espagnol (ELRA-E0012) et le mandarin (ELRA-E0013) pour l’ASR, ainsi que pour la SLT dans 2 autres sens, espagnol vers anglais (ELRA-E0015), chinois vers anglais (ELRA-E0016). Pour permettre de regrouper les composants, les tâches d’évaluation ASR, SLT et TTS ont été conçues en utilisant des données brutes et des conditions communes. Trois tâches d’évaluation, communes à l’ASR, la SLT, et la TTS ont été choisies : la tâche EPPS (« European Parliament Plenary Sessions » – Sessions plénières du Parlement européen), la tâche CORTES (« Spanish Parliament Sessions ») et la tâche VOA (« Voice of America » - La voix de l’Amérique). Les données CORTES ont été utilisées en complement des données EPPS pour l’évaluation ASR en espagnol et SLT de l’espagnol vers l’anglais. Le présent package a été utilisé dans le cadre de la tâche EPPS et comprend 2 ensembles de données : - L’ensemble de données de développement : il a été construit à partir des données de développement de l’ASR, afin de permettre l’évaluation « end-to-end ». Un sous-ensemble de 50 000 mots a été choisi à partir des transcriptions orthographiques EPPS, et à partir des documents de l’Edition du texte final. Les textes sources ont été ensuite traduits en espagnol par deux agences de traductions indépendantes. Tous les ensembles de textes sources, ainsi que les traductions de référence ont été formatées en utilisant la même DTD SGML déjà utilisée par les évaluations NIST en traduction automatique. - L’ensemble de données de test : comme pour l’ensemble de développement, la même procédure a été suivie pour produire les données de test, soit : un sous-ensemble de 50 000 mots a été choisi à partir de l’ensemble de données de test (sessions du Parlement du 7 au 26 septembre 2005) à la fois à partir des transcriptions manuelles et des documents de l’Edition du texte final. Les données sources ont été ensuite traduites vers l’espagnol par deux sociétés indépendantes.
Language spa
eng
Language Spanish
English
Rights ELRA_EVALUATION
See Also http://metashare.elda.org/repository/browse/96561506de7611e2b1e400259011f6eafd90fa503264406b841cecc2b3b5d14b/
Source META-SHARE
Title TC-STAR 2006 Evaluation Package - SLT English-to-Spanish
Package d’évaluation TC-STAR – SLT anglais-espagnol 2006
Type Resource Info
Type Corpus
Is Is Replaced By of TC-STAR 2006 Evaluation Package - SLT English-to-Spanish

Contact Point

Communication Info
Address 55-57 rue Brillat-Savarin
City Paris
Country France
Distribution
Access URL http://www.elda.org
Type Distribution
URL
Email mapelli@elda.org
Fax Number +1 43 14 33 30
Telephone Number +1 43 13 33 33
Type Communication Info
Zip Code 75013
Given Name Mapelli
Surname Valérie
Type Contact Person
Person
Person Info Type

Corpus Info

Corpus Audio Info
Audio Size Info
Size Info
Size no size available
Size Unit Other
Type Size Info Type
Type Audio Size Info
Language Info
Language spa
Language Spanish
Language Name Spanish
Language Variety Info
Language Variety Name Castilian
Language Variety Type Dialect
Size Per Language Variety
Size 2
Size Unit Gb
Type Size Info Type
Type Language Variety Info
Type Language Info
Language English
Language eng
Language Name English
Type Language Info
Linguality Info
Linguality Type Monolingual
Type Linguality Info
Media Type Audio
Type Corpus Audio Info
Resource Type Corpus
Type Corpus Info

Distribution Info

Availability Available-restricted Use
Availability Start Date 2006-12-18 Date
License
Membership Info
Member true Boolean
Membership Institution ELRA
Type Membership Info
Permission
Constraint Metashare/96561506de7611e2b1e400259011f6eafd90fa503264406b841cecc2b3b5d14b#permission
Type Constraint
Permission
Restrictions Of Use
Same As http://www.elra.info/IMG/pdf_EVALUATION_140312.pdf
Type Licence Info
User Nature Academic
Membership Info Metashare/96561506de7611e2b1e400259011f6eafd90fa503264406b841cecc2b3b5d14b#membership Info2
Permission Metashare/96561506de7611e2b1e400259011f6eafd90fa503264406b841cecc2b3b5d14b#permission
Same As http://www.elra.info/IMG/pdf_EVALUATION_140312.pdf
Type Licence Info
User Nature Commercial
Membership Info
Member false Boolean
Membership Institution ELRA
Type Membership Info
Permission Metashare/96561506de7611e2b1e400259011f6eafd90fa503264406b841cecc2b3b5d14b#permission
Same As http://www.elra.info/IMG/pdf_EVALUATION_140312.pdf
Type Licence Info
User Nature Academic
Membership Info Metashare/96561506de7611e2b1e400259011f6eafd90fa503264406b841cecc2b3b5d14b#membership Info
Permission Metashare/96561506de7611e2b1e400259011f6eafd90fa503264406b841cecc2b3b5d14b#permission
Same As http://www.elra.info/IMG/pdf_EVALUATION_140312.pdf
Type Licence Info
User Nature Commercial
Type Distribution
Distribution Info

Identification Info

Description TC-STAR is a European integrated project focusing on Speech-to-Speech Translation (SST). To encourage significant breakthrough in all SST technologies, annual open competitive evaluations are organized. Automatic Speech Recognition (ASR), Spoken Language Translation (SLT) and Text-To-Speech (TTS) are evaluated independently and within an end-to-end system. The second TC-STAR evaluation campaign took place in March 2006. Three core technologies were evaluated during the campaign: • Automatic Speech Recognition (ASR), • Spoken Language Translation (SLT), • Text to Speech (TTS). Each evaluation package includes resources, protocols, scoring tools, results of the official campaign, etc., that were used or produced during the second evaluation campaign. The aim of these evaluation packages is to enable external players to evaluate their own system and compare their results with those obtained during the campaign itself. The speech databases made within the TC-STAR project were validated by SPEX, in the Netherlands, to assess their compliance with the TC-STAR format and content specifications. This package includes the material used for the TC-STAR 2006 Spoken Language Translation (SLT) second evaluation campaign for English-to-Spanish translation. The same packages are available for English (ELRA-E0011), Spanish (ELRA-E0012) and Mandarin Chinese (ELRA-E0013) for ASR and for SLT in 2 other directions, Spanish-to-English (ELRA-E0015) and Chinese-to-English (ELRA-E0016). To be able to chain the components, ASR, SLT and TTS evaluation tasks were designed to use common sets of raw data and conditions. Three evaluation tasks, common to ASR, SLT and TTS, were selected: EPPS (European Parliament Plenary Sessions) task, CORTES (Spanish Parliament Sessions) task and VOA (Voice of America) task. The CORTES data were used in addition to the EPPS data to evaluate ASR in Spanish and SLT from Spanish into English. This package was used within the EPPS task and consists of 2 data sets: - Development data set: built upon the ASR development data set, in order to enable end-to-end evaluation. Subsets of 50,000 words were selected from the EPPS verbatim transcriptions, and from the Final Text Edition documents. The source texts were then translated into Spanish by two independent translation agencies. All source text sets and reference translations were formatted using the same SGML DTD that has been used for the NIST Machine Translation evaluations. - Test data set: as for the development set, the same procedure was followed to produce the test data, i.e.: subsets of 50,000 words were selected from the test data set (Parliament’s sessions from 7 to 26 September 2005) both from the manual transcriptions and from the Final Text Edition documents. The source data were then translated into Spanish by two independent agencies.
TC-STAR est un projet intégré européen basé sur la traduction parole-parole (ou SST pour Speech-to-Speech Translation). Pour encourager de manière conséquente l’avancée dans toutes les technologies de la SST, des évaluations ouvertes à la concurrence sont organisées sur une base annuelle. Les technologies de la reconnaissance automatique de la parole (ou ASR pour « Automatic Speech Recognition »), de la traduction de la langue parlée (ou SLT pour « Spoken Language Translation ») et les technologies texte-parole (ou TTS pour « Text-to-Speech ») sont évaluées à la fois de façon indépendante et intégrées à un système « end-to-end » (de « bout en bout »). La deuxième campagne d’évaluation TC-STAR s’est déroulée en mars 2006. Trois technologies de base ont été évaluées lors de cette campagne: • la reconnaissance automatique de la parole (ASR), • la traduction de la langue parlée (SLT), • la synthèse texte-parole (TTS). Chaque package d’évaluation regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la seconde campagne d’évaluation. Le but de ces packages d’évaluation est de permettre à des acteurs externes d’évaluer leur propre système et de comparer leurs résultats à ceux obtenus pendant la campagne. Les bases de données orales produites dans le projet TC-STAR ont été validées par SPEX, Pays-Bas, selon le format et les spécifications de contenu TC-STAR. Ce package comprend le matériel utilisé pour la seconde campagne d’évaluation TC-STAR 2006 Spoken Language Translation (SLT) pour la traduction de l’anglais vers l’espagnol. Des packages similaires sont également disponibles pour l’anglais (ELRA-E0011), l’espagnol (ELRA-E0012) et le mandarin (ELRA-E0013) pour l’ASR, ainsi que pour la SLT dans 2 autres sens, espagnol vers anglais (ELRA-E0015), chinois vers anglais (ELRA-E0016). Pour permettre de regrouper les composants, les tâches d’évaluation ASR, SLT et TTS ont été conçues en utilisant des données brutes et des conditions communes. Trois tâches d’évaluation, communes à l’ASR, la SLT, et la TTS ont été choisies : la tâche EPPS (« European Parliament Plenary Sessions » – Sessions plénières du Parlement européen), la tâche CORTES (« Spanish Parliament Sessions ») et la tâche VOA (« Voice of America » - La voix de l’Amérique). Les données CORTES ont été utilisées en complement des données EPPS pour l’évaluation ASR en espagnol et SLT de l’espagnol vers l’anglais. Le présent package a été utilisé dans le cadre de la tâche EPPS et comprend 2 ensembles de données : - L’ensemble de données de développement : il a été construit à partir des données de développement de l’ASR, afin de permettre l’évaluation « end-to-end ». Un sous-ensemble de 50 000 mots a été choisi à partir des transcriptions orthographiques EPPS, et à partir des documents de l’Edition du texte final. Les textes sources ont été ensuite traduits en espagnol par deux agences de traductions indépendantes. Tous les ensembles de textes sources, ainsi que les traductions de référence ont été formatées en utilisant la même DTD SGML déjà utilisée par les évaluations NIST en traduction automatique. - L’ensemble de données de test : comme pour l’ensemble de développement, la même procédure a été suivie pour produire les données de test, soit : un sous-ensemble de 50 000 mots a été choisi à partir de l’ensemble de données de test (sessions du Parlement du 7 au 26 septembre 2005) à la fois à partir des transcriptions manuelles et des documents de l’Edition du texte final. Les données sources ont été ensuite traduites vers l’espagnol par deux sociétés indépendantes.
Distribution
Access URL http://catalog.elra.info/product_info.php?products_id=899
Type Distribution
URL
Identifier ELRA-E0014
Meta Share Id NOT_DEFINED_FOR_V2
Title TC-STAR 2006 Evaluation Package - SLT English-to-Spanish
Package d’évaluation TC-STAR – SLT anglais-espagnol 2006
Type Identification Info

Resource Creation Info

Funding Project
Funding Type Eu Funds
Project Name TC-STAR
Type Project Info Type
Type Resource Creation Info

Version Info

Has Version 1.0
Modified 2007-02-22 Date
Type Version Info

Metashare/96561506de7611e2b1e400259011f6eafd90fa503264406b841cecc2b3b5d14b#Header

Instance of: Catalog Record
Issued 2014-09-23T00:16:14Z Date
Primary Topic TC-STAR 2006 Evaluation Package - SLT English-to-Spanish
Set Spec corpus:audio
corpus

Metashare/96561506de7611e2b1e400259011f6eafd90fa503264406b841cecc2b3b5d14b#metadata Info

Instance of: Catalog Record
Created 2005-05-12 Date
Primary Topic TC-STAR 2006 Evaluation Package - SLT English-to-Spanish
Type Metadata Info