简体中文
—
越语侦听 越语语音识别与档案
听懂越语对话，用中文与英文读懂它。
先看三步用法，再进入听说翻译、弹词图片识别或对话档案。
-
01
选一条路
听说翻译：说话或上传音频；弹词：上传刻本图片识别文字；档案：听精选戏曲并读剧情。
-
02
看三种文字
识别后自动出现简体、繁體与 English；档案页也可切换。
-
03
点时间即跳转
在档案里点击时间戳，音频会跳到那一行并播放。
听说 → 识别 → 翻译
使用麦克风或上传音频。稍候即可看到简体中文、繁體中文与 English。
实时麦克风使用浏览器语音引擎（推荐 Chrome / Edge）。上传文件使用设备端 Whisper（首次会下载小模型）。越语 / 舞台方言准确度会随档案语料积累而提升。
麦克风
上传音频
支持 MP3 / WAV / M4A · 短片段演示效果更好
已就绪。可用麦克风或上传音频——识别后会很快出现翻译。
识别结果
可编辑——改正后翻译会自动刷新。
繁體中文
—
English
—
弹词 · 图片文字识别
上传弹词刻本图片，识别文字后显示简体 / 繁體 / English。
本页只做图片识别（无麦克风）。上传刻本图片后识别文字，并显示简体 / 繁體 / English。语音请用「听说翻译」。
已就绪。选择清晰刻本图片后点击识别。
识别结果（可编辑）
改正后翻译会自动刷新；也可导出 JSON 写入档案。
简体中文
—
繁體中文
—
English
—
对话档案
本地语料精选档案——每条作品含简体 / 繁體 / English。点击时间戳即可跳转播放。
越剧为当前精选；弹词可在导航「弹词」页上传图片做 OCR，也可链到姊妹项目 Talcne；广播为下一步扩展。
精选
精选
精选
精选
精选
精选
精选
精选
多语
梁祝 · 十八相送
Butterfly Lovers · Eighteen Farewells · ~2.5 min
中国经典爱情悲剧：同窗分别，一方暗生情愫。选段：十八相送。台词含说话人标注。 中國經典愛情悲劇：同窗分別，一方暗生情愫。選段：十八相送。台詞含說話人標註。 China’s classic tragic love story—two students part on the road while one secretly loves the other. Clip: the farewell walk. Lines include speaker labels.
Transcript
29 lines
EN curated
29 cues
Source
Local pack
红楼梦 · 天上掉下个林妹妹
Dream of the Red Chamber · Lin Daiyu Arrives · ~2 min
林黛玉进贾府，与贾宝玉初见倾心。选段：天上掉下个林妹妹。 林黛玉進賈府，與賈寶玉初見傾心。選段：天上掉下個林妹妹。 Orphan Lin Daiyu enters the Jia mansion and meets Jia Baoyu. Clip: their first encounter.
Transcript
18 lines
EN curated
18 cues
Source
Local pack
西厢记 · 拷红
Western Chamber · Interrogating Hongniang · ~3 min
张生与莺莺相爱，红娘被夫人拷问。选段：拷红。 張生與鶯鶯相愛，紅娘被夫人拷問。選段：拷紅。 A scholar and a young lady fall in love; her witty maid is questioned by the mother. Clip: the interrogation scene.
Transcript
13 lines
EN curated
13 cues
Source
Local pack
祥林嫂 · 听他一番心酸话
Xianglin Sao · Hearing His Bitter Words · ~3 min
底层妇女在礼教压迫下的悲剧。选段：听他一番心酸话。台词含说话人标注。 底層婦女在禮教壓迫下的悲劇。選段：聽他一番心酸話。台詞含說話人標註。 A tragic village woman crushed by old social rules after widowhood and loss. Clip: a heartbreaking aria of grief. Lines include speaker labels.
Transcript
20 lines
EN curated
20 cues
Source
Local pack
五女拜寿 · 花树同园不同根
Five Daughters · Same Garden, Different Roots · ~2 min
五女在家境变化中显出真假孝心。选段：花树同园不同根。 五女在家境變化中顯出真假孝心。選段：花樹同園不同根。 Five daughters react differently when parents are rich—then poor. Clip: a song about true vs false filial love.
Transcript
10 lines
EN curated
10 cues
Source
Local pack
追鱼 · 观灯
The Chase of the Fish · Watching Lanterns · ~2 min
鲤鱼精化作人间妻子的喜剧。选段：观灯。 鯉魚精化作人間妻子的喜劇。選段：觀燈。 A fish spirit becomes a scholar’s “wife,” sparking comic chaos. Clip: a lively Lantern Festival outing.
Transcript
10 lines
EN curated
10 cues
Source
Local pack
碧玉簪 · 新房之中冷清清
The Jade Hairpin · Cold Bridal Chamber · ~3 min
碧玉簪引发误会，新娘独守冷清新房。选段：新房之中冷清清。 碧玉簪引發誤會，新娘獨守冷清新房。選段：新房之中冷清清。 A bride is wrongly suspected because of a jade hairpin and left alone. Clip: lonely night in the bridal room.
Transcript
12 lines
EN curated
12 cues
Source
Local pack
何文秀 · 算命
He Wenxiu · Fortune-Telling · ~3 min
蒙冤丈夫化身算命先生寻妻。选段：算命。 蒙冤丈夫化身算命先生尋妻。選段：算命。 A wronged husband searches for his lost wife while disguised as a fortune-teller. Clip: the fortune-telling scene.
Transcript
12 lines
EN curated
12 cues
Source
Local pack
新龙门客寨
New Dragon Inn · Yue opera adaptation
边关客栈里的忠奸与江湖恩怨。完整多语对照文本。 邊關客棧裡的忠奸與江湖恩怨。完整多語對照文本。 Wuxia at a frontier inn: loyal survivors, martial heroes, and imperial hunters collide. Full timed multilingual transcript.
Transcript
1,274 lines
EN curated
80 cues
Schema
v1.0.0
筹备中
广播 · 日常吴语
Radio / everyday Wu speech · coming next
为长辈与日常说话人预留席位：广播选段与生活口语，和舞台越剧并列，让档案更完整。 為長輩與日常說話人預留席位：廣播選段與生活口語，和舞臺越劇並列，讓檔案更完整。 A seat for elders and everyday speakers: radio clips and living speech beside stage Yue opera, so the archive is more complete.
＋
添加剧目
故事 · 我们为何做、如何做成
把吴语里听得见的话——尤其是长辈与日常的声音——变成年轻人和外人也能跟读的档案。
为什么重要
吴语社区正在变薄：许多老人仍用家乡话过日子，舞台上的越剧、书场里的弹词、广播里的口音，却越来越少被下一代听懂。越语侦听想留下可对读的声音样本——不夸大抢救，只认真记录，尤其珍视长辈与女性日常说话人的声音。
问题从哪里来
方言流失之外，还有一道缝：台上的韵白、散白与街上的口语并不相同。年轻人或外人往往能“听热闹”，却读不出字句。我们从越剧切入，也把弹词文字层与广播口语放进同一张地图，让对话既听得见，也读得懂。
收集与整理
从本地戏曲、弹词相关文本与广播选段出发，建立清单与精选片段，而不是把整包音频丢上公网。
转写与翻译
为选段加上时间轴、说话人、简体 / 繁體 / English，并写清剧情简介，让不懂戏的人也能跟得上。
真人试听检验
请熟悉方言或戏曲的长辈与本地说话人试听、试说，对照识别结果是否“说得通、听得懂”。
用档案反哺识别
把校对过的语料当作训练与评测依据，让听说翻译从“普通话基线”慢慢靠近越语与吴语现场。
当前识别仍是基线演示。故事的重点是方法与动机：听见吴语、读懂对话、请真人检验，再慢慢改进——而不是假装已经完美。
项目计划
越语侦听：面向越语变体的语言识别——以越剧舞台方言（韵白 / 散白）为切入，不限于单一剧目。
Task calibration
Scope is 越语 (Yueyu) linguistic ASR — broader than 越剧 alone. Yue opera stage dialect (韵白 / 散白 / 中州韵 hybrid) is the first high-value domain; everyday Shengzhou / Shaoxing speech can be mixed in later.
Two output layers planned:
- 汉字戏词 / 汉字转写 — most practical for school demos and archive reading
- wugniu 嵊州拉丁化 + 声调 — high research value for Wu linguistics; smaller audience
Phase 1 targets 汉字. Phase 2 adds 嵊州拼音 layer.
Speech types
- 散白 — closer to everyday Shengzhou speech; relatively easier to recognize
- 韵白 — hybrid of 中州韵 + Wu tones; where generic ASR fails hardest
Resource types & pipeline
| Source | Examples | Approach |
|---|---|---|
| Official recordings | CCTV, Zhejiang TV, Shaoxing Xiaobaihua DVDs | Extract audio + OCR subtitles → Whisper alignment → human correction |
| Scripts / subtitles | 戏考网, troupe publications | OCR + aeneas / whisper-timestamped coarse align → manual fix |
| Private corpus packs | Local Baidu 越剧-1451首 (~1,200+ tracks) | Inventory locally; publish curated clips + text only |
| Live / fan covers | Bilibili uploads | test-live split; contemporary pronunciation distribution |
Model approach
Don't train from scratch — Whisper-small (244M) + LoRA r=32 is the fastest open-source path.
- Encoder: frozen or LoRA on q,v (r=8)
- Decoder: tokenizer + ~200 吴语特字; LoRA r=32 on q,k,v,o
- Output: 汉字 with timestamps
- Optional second pass: wugniu-嵊州拼音 via small LM
200–500 hours of aligned data → usable small model. 1000 hours → medium or Data2vec2 + Qwen2 0.5B.
For broader 越语 coverage beyond Yue opera, mix everyday Shengzhou/Shaoxing speech with stage data.
Phonology & 韵白
Yue opera is based on 嵊州话 (Taihu Wu, Lin-Shao sub-group), but 韵白 is a hybrid — not pure Shengzhou.
- 吴语学堂 wugniu has Shengzhou data for 特字 ↔ pinyin mapping
- 《嵊县志·方言编》 + 钱乃荣《吴语声调实验录》 for tonal acoustics
- Stage "Shengzhou" ≠ everyday Shengzhou — document scope clearly in README
关于
开发者、网站介绍、隐私与版权。
1. 开发者
Alice Chen (Jiachen Chen)
本网站由 Alice Chen (Jiachen Chen) 开发，面向越语及相关语音的识别演示、对话档案整理，以及简体 / 繁體 / English 多语对照学习。
- 重点：听说翻译 + 精选对话档案
- 技术：TypeScript 静态站、浏览器麦克风识别、上传音频的设备端 Whisper
- 目标：让越语舞台对话更容易被学习者与研究者读懂
Yueyu Detecting is developed by Alice Chen (Jiachen Chen) as a linguistic and educational project on Yueyu / Wu-related speech, dialogue recognition, and multilingual archive design.
- Focus: speak → recognize → translate, plus a curated dialogue archive
- Stack: TypeScript static site, browser mic ASR, on-device Whisper for uploads
- Goal: make Yueyu stage dialogue readable for learners and researchers
2. 网站介绍
越语侦听 是产品化的演示与档案网站，两大支柱同等重要：
- 听说翻译 — 麦克风或上传音频，识别后阅读简体、繁體与英文
- 档案 — 浏览带剧情简介与时间轴的越语 / 越剧对话选段
使用方式
- 打开「听说翻译」：允许麦克风（推荐 Chrome / Edge），或选择音频文件
- 说完稍等几秒，翻译会自动出现；也可编辑识别文本
- 打开「档案」：选择作品，阅读剧情简介，点击时间戳跳转播放
- 用右上角 简体 / 繁體 / EN 切换整个网站界面语言
使用条件
- 用于教育、研究与个人学习
- 建议桌面版 Chrome / Edge 与稳定网络（首次 Whisper 上传可能下载小模型）
- 识别为基线演示；越语 / 舞台方言准确度会随语料积累提升
- 大型私有音源包留在开发者本地；网站仅展示精选片段与文本
- 请勿用本站转售或整包传播你无权分发的录音
Yueyu Detecting is a product-style archive and demo tool with two equal pillars:
- Speak — mic or upload audio; then read Simplified Chinese, Traditional Chinese, and English
- Archive — timed Yueyu / Yue opera clips with plot intros and multilingual transcripts
How to use
- Open Speak: allow the microphone (Chrome/Edge), or choose an audio file
- Wait a few seconds after speech — translations appear; you can edit the recognized text
- Open Archive: pick a piece, read the story intro, click any timestamp to jump and play
- Use the top-right 简体 / 繁體 / EN switcher to change the whole site language
Conditions of use
- For education, research, and personal learning
- Best on desktop Chrome or Edge with a stable network
- Recognition is a baseline demo; dialect accuracy improves as the corpus grows
- Large private source packs stay local; the site shows curated clips and text only
- Do not redistribute purchased recordings or claim rights you do not hold
3. 隐私
我们希望演示轻量，并尊重用户隐私。
- 麦克风：仅在你点击开始听写时于浏览器内使用；本站不自建服务器保存你的实时录音。
- 上传文件：尽可能在浏览器内做设备端识别。请勿上传无权处理或含敏感信息的录音。
- 翻译：识别文本可能发送至第三方翻译接口以生成繁體 / English。请勿在识别框粘贴私密个人信息。
- 无账号系统：无需登录，也不会有意建立用户画像。
- 本地访问：在自己电脑打开（
127.0.0.1）时，除字体、模型/CDN 与你触发的翻译请求外，流量主要留在本机。
We aim to keep the demo lightweight and respectful of privacy.
- Microphone: used in your browser only when you start listening. We do not run a custom server that stores live mic audio.
- Uploads: processed in-browser for on-device recognition when possible. Do not upload recordings you are not allowed to process.
- Translation: recognized text may be sent to a third-party API for Traditional Chinese / English. Avoid pasting private personal data.
- No accounts: no login and no intentional user profiling.
- Local hosting: on your machine (
127.0.0.1), traffic stays local except fonts, model/CDN assets, and translation requests you trigger.
4. 版权与权利
越语侦听 的网站代码、界面设计、精选转写、剧情介绍与编辑整理，除另有说明外，属于 Alice Chen (Jiachen Chen) 的项目成果。
- 网站与软件：界面、逻辑、数据结构与多语整理层受保护。可用于学习研究并注明出处；未经许可请勿整站复制、去署名或冒充自有产品。
- 戏曲录音与唱词：权利归表演者、剧团、出版方或相关权利人。本站短选段用于学习研究演示，不构成整包传播授权。
- 第三方工具：浏览器语音引擎、Whisper、字体与翻译接口遵循各自许可与条款。
- 名称：「越语侦听」「Yueyu Detecting」标识本项目，请勿暗示未经同意的官方背书。
授权、引用或下架请求，请通过项目仓库维护渠道联系开发者 Alice Chen (Jiachen Chen)。
Website code, interface design, curated transcripts, plot introductions, and editorial arrangement of Yueyu Detecting are the work of Alice Chen (Jiachen Chen), unless otherwise noted.
- Site & software: protected project work — cite for school/research; do not copy wholesale or remove credit without permission.
- Opera recordings & scripts: rights remain with performers, troupes, publishers, or rights holders. Short clips are for educational demo only — not a license to redistribute full packs.
- Third-party tools: speech engines, Whisper, fonts, and translation APIs keep their own terms.
- Name: “Yueyu Detecting” identifies this project; do not imply official endorsement without consent.
For permissions or takedown notices, contact Alice Chen (Jiachen Chen) via the project repository maintainer channel.