Viseme - Viseme

A визема бұл кез-келгені сөйлеу дыбыстары сол сияқты көрінеді, мысалы ерін оқу (Fisher 1968).

Visemes және фонемалар бір-бірімен хат алмасуға болмайды. Көбіне бірнеше фонемалар бір виземаға сәйкес келеді, өйткені бірнеше фонемалар шығарылған кезде бетіне бірдей көрінеді, мысалы. / k, ɡ, ŋ /, (қарау: / к /), / t͡ʃ, ʃ, d͡ʒ, ʒ / (көрініс: / ch /), / t, d, n, l / (viseme: / t /), және / p, b, m / (көрініс: / p /). Сияқты сөздер үй жануары, қоңырау, және ерлер ерін оқырмандары үшін оларды ажырату қиын, өйткені олардың барлығы үй жануарларына ұқсайды. Алайда нақты сөйлеу кезінде уақыт пен ұзақтылықта берілген қимылдың визуалды «қолтаңбасы» тұрғысынан айырмашылықтар болуы мүмкін, оларды бір фотосуретке түсіруге болмайды. Керісінше, акустикалық тұрғыдан ажырату қиын кейбір дыбыстарды бет-әлпеті айқын ажыратады (Chen 2001). Мысалы, ағылшын тілінде акустикалық сөйлеу / л / және / r / ұқсас болуы мүмкін (әсіресе «шөп» және «әйнек» сияқты кластерлерде), бірақ визуалды ақпарат айқын контрастты көрсете алады. Мұны телефондағы сөздерді адамның өзінен гөрі жиі естімеу көрсетеді. Кейбіреулер лингвистер сөйлеуді бимодаль (есту және визуалды) деп жақсы түсінеді, ал егер түсіну осы екі доменнің бірі болмаса, бұзылуы мүмкін деп тұжырымдады (МакГурк пен Макдональд 1976 ж ).

Visemes көбінесе әзіл-оспақты болуы мүмкін, мысалы, «піл шырыны» деген тіркесте, ерні оқылған кезде «мен сені жақсы көремін» дегенмен бірдей көрінеді.

Виземаларды зерттеуге арналған өтінімдерге кіреді сөйлеуді өңдеу, сөйлеуді тану, және компьютерлік анимация.

Сондай-ақ қараңыз

Әдебиеттер тізімі

  • Чен, Т. (1998, мамыр). «Көп модальды байланыстағы аудиовизуалды интеграция». IEEE материалдары 86, 837–852.
  • Чен, Т. (2001). «Аудиовизуалды сөйлеуді өңдеу». IEEE сигналдарды өңдеу журналы, 9–31.
  • Fisher, C. G. (1968). «Көрнекі түрде қабылданатын дауыссыздар арасындағы шатасулар». Сөйлеу және есту мәселелерін зерттеу журналы, 11(4):796–804.
  • McGurk, H. және MacDonald, J. (1976, желтоқсан). «Еріндерді есту және дауыстарды көру». Табиғат, 746–748.
  • Патрик Люси, Терренс Мартин, Шридха Шридхаран (2004). «Фонемалардың шулы ортадағы визема кластарына сәйкес топтастырылуы». Macquarie университетінің сөйлеу ғылымы және технологиясы бойынша оныншы Австралиялық халықаралық конференциясында ұсынылған, Сидней, 8-10 желтоқсан 2004 ж. Интернеттегі мақала (PDF құжаты)