Қолмен аннотацияланған субкорпус - Википедия - Manually Annotated Sub-Corpus
 | Бұл мақалада бірнеше мәселе бар. Өтінемін көмектесіңіз оны жақсарту немесе осы мәселелерді талқылау талқылау беті. (Бұл шаблон хабарламаларын қалай және қашан жою керектігін біліп алыңыз) (Бұл шаблон хабарламасын қалай және қашан жою керектігін біліп алыңыз)
|
MASC бұл 500K сөзден тұратын теңдестірілген жиынтық және жазбаша мәтіндер мен транскрипцияланған сөйлеу, негізінен ашықтан алынған Американдық ұлттық корпорация (OANC). OANC - бұл 1990 жылдан бастап шығарылған 15 миллион сөзден тұратын (өсіп келе жатқан) американдық ағылшын корпусы, олардың барлығы қоғамдық меншікте немесе басқаша түрде пайдалану мен қайта бөлуге шектеулерсіз.
Барлық MASC логикалық құрылымға (тақырыптар, бөлімдер, абзацтар және т.б.), сөйлем шекараларына, сөйлеу белгілерінің байланысты бөлігімен үш түрлі токенге, таяз талдауға (зат есім мен етістіктің бөлшектеріне), атаулы тұлғаларға (адам, орналасқан жер, ұйымдастыру, күні мен уақыты), және Penn Treebank синтаксис. Қосымша қолмен жасалған немесе тексерілген аннотацияларды MASC жобасы суб-корпустың бөліктері үшін жасады, соның ішінде толық мәтінді аннотация FrameNet кадр элементтері және 100K + сөйлемдер корпусы WordNet 3.1 сезім белгілері, олардың оннан бір бөлігі де түсініктеме береді FrameNet жақтау элементтері. Барлық басқа тілдік құбылыстарға суб-корпустың барлық бөліктеріне немесе бөліктеріне аннотация басқа жобалар, соның ішінде PropBank, TimeBank, MPQA пікірі, және тағы басқалары. Барлық MASC корпусының қосалқы аннотациялары мен тармақ шекараларын 2016 жылдың соңына дейін шығару жоспарланған.
114 сөзден тұратын WordNet мағыналық аннотациясы MASC дистрибутивіне де енгізілген FrameNet 114 сөздің әрқайсысының 50-100 кездесуіне аннотация. Сөйлемдері WordNet және FrameNet аннотация сонымен қатар MASC Sentence Corpus.
Жанрлар
Лингвистикалық аннотацияларды қоса алғанда, еркін қол жетімді корпорациялардан айырмашылығы, MASC жанрлардың кең ауқымындағы теңдестірілген мәтіндерді ұсынады:
| Жанр | Файлдар жоқ | Сөз жоқ | Pct корпусы |
|---|---|---|---|
| Сот хаттамасы | 2 | 30052 | 6% |
| Пікірсайыстың стенограммасы | 2 | 32325 | 6% |
| Электрондық пошта | 78 | 27642 | 6% |
| Эссе | 7 | 25590 | 5% |
| Көркем әдебиет | 5 | 31518 | 6% |
| Мемлекеттік емес құжаттар | 5 | 24578 | 5% |
| Журнал | 10 | 25635 | 5% |
| Хаттар | 40 | 23325 | 5% |
| Газет | 41 | 23545 | 5% |
| Көркем емес | 4 | 25182 | 5% |
| Ауызекі | 11 | 25783 | 5% |
| Техникалық | 8 | 27895 | 6% |
| Саяхатшылар | 7 | 26708 | 5% |
| 2 | 24180 | 5% | |
| Блог | 21 | 28199 | 6% |
| Фликлет | 5 | 26299 | 5% |
| Фильм сценарийі | 2 | 28240 | 6% |
| Спам | 110 | 23490 | 5% |
| Әзілдер | 16 | 26582 | 5% |
| БАРЛЫҒЫ | 376 | 506768 |
Аннотация
Қазіргі уақытта MASC лингвистикалық аннотацияның он жеті түрін қамтиды (* = өндірісте; ** қазіргі уақытта тек түпнұсқа форматта қол жетімді):
| Аннотация түрі | Сөз жоқ |
|---|---|
| Логикалық | 506768 |
| Төкен | 506768 |
| Сөйлем | 506768 |
| POS / лемма (GATE) | 506768 |
| POS (Penn Treebank) | 506768 |
| POS (FrameNet) | 506768 |
| Зат есім | 506768 |
| Етістік бөліктері | 506768 |
| Атаулы нысандар (адам, ұйым, мекен-жайы, күні) | 506768 |
| Penn Treebank синтаксисі | 506768 |
| Негізгі анықтама | *506768 |
| Тармақ шекаралары, ядро / спутниктік айырмашылықтар, дискурс маркерлері | *506768 |
| FrameNet жақтаулары / кадр элементтері | 39160 |
| PropBank | **88530 |
| Пікір | 51243 |
| TimeBank | *55599 |
| Берілген сенім | 4614 |
| Іс-шара | 4614 |
| Тәуелділік ағашы | **5434 |
| Лексикалық ауыстыру | **35,547 |
Барлық MASC аннотациялары, өздері енгізген немесе өздері шығарған, ISO TC37 SC4’s Linguistic Annotation Framework (LAF) анықтаған Графикалық Аннотация Пішіміне (GrAF) көшіріледі. ANC2Go MASC-дің барлығына немесе бөліктеріне аннотацияны кез-келген басқа форматқа, соның ішінде CONLL IOB форматы мен форматтарында қолдануға болады. UIMA және Мәтіндік инженерияға арналған жалпы сәулет.
Тарату
MASC - кез-келген адам кез-келген мақсатта қолдана алатын ашық мәліметтер қоры. Сонымен бірге, бұл аннотациялар мен туынды деректердің қоғамдастық үлесімен қамтамасыз етілетін бірлескен қауымдастық ресурсы. Оны мына жерден жүктеуге болады MASC жүктеу парағы немесе арқылы Лингвистикалық мәліметтер консорциумы.
MASC сонымен бірге сөйлеу бөлігі ретінде белгіленген түрінде таратылады Табиғи тілдер құралы.
Сондай-ақ қараңыз
Әдебиеттер тізімі
- Иде, Н., Бейкер, С., Феллбаум, С., Пассонно, Р. (2010). Қолмен түсіндірілетін субкорпус: адамдарға арналған және қоғамға арналған ресурс. Компьютерлік лингвистика қауымдастығының 48-ші жылдық жиналысының материалдары, Уппсала, Швеция.
- Passonneau, R., Baker, C., Fellbaum, C., Ide, N. (2012). MASC Word Sense Sentence Corpus. Сегізінші тілдік ресурстар және бағалау конференциясының материалдары, Стамбул.
- Иде, Н., Судерман, К., Симмс, Б. (2010). ANC2Go: теңшелген корпусты құруға арналған веб-қосымша. Тілдік ресурстар мен бағалаудың жетінші конференциясының материалдары (LREC 2010), Валлетта, Мальта.