找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 19|回复: 1

[应用软件] 言泉拼音输入法 v2.6.0

[复制链接]
发表于 昨天 00:33 | 显示全部楼层 |阅读模式
软件简介:
言泉是一个开源的 Windows 拼音输入法。没有广告,不捆绑软件,也不会上传你的输入记录——词库、设置和学习数据都只存在本机。代码全部公开,它做了什么,你随时可以查证。

主要特性:
TSF 文本服务:注册、激活、组合生命周期的主流程已可用,并注册 TSF COM-less 能力类别,以适配采用该激活方式的宿主。TSF DLL 同时支持 Win64 与 Win32(svr.dll / svr32.dll),host 进程仅保留 Win64。

候选窗口:支持候选翻页、选词与上屏;可在设置中开启多行展开模式,翻页时最多显示三行候选,数字键选择当前行的词,Tab 补全区不受影响。

英文识别:中文全拼、半角输入时,英文单词和名称(如 pro、markdown、Effie)、带大写字母的输入以及曾按字母上屏的输入,可显示在编号候选之前。输入没有整词中文读法时默认选中,空格原样上屏;有中文读法时(如 bug、mac),由语言模型结合上文在字母与中文之间权衡:选中、只显示不选中,或不显示。中文候选的数字编号不变。默认开启,可在“常规”设置中关闭;双拼仍按中文处理。

光标旁的中英文提示:切换中英文时(默认按 Shift,也可用自定义快捷键或任务栏的输入指示器),光标上方短暂显示言泉 logo 和“中”或“英”;从其他输入法切换到言泉时(Win+Space、Alt+Shift 或任务栏的输入指示器)也显示当前状态。在英文状态下进入输入框时同样提示:英文状态直接输出字母,没有任何输入法的迹象;中文状态按下第一个键就会出现候选窗,因此不提示。提示不抢焦点、不拦截点击,按任意键即收起;在密码框中或取不到光标位置时不显示。默认开启,可在“外观”设置中关闭。

一键补全(言泉原创):候选窗每次只显示一个可信的续写方案,按配置键即可补全。用户词、基础词库 exact 词和离线复核的强转移补全立即显示;语言模型随后在后台重新排序,光标前有文字时一并参考。在长句中,它补完当前词或续写后面的短语,把握不足时不提示。

自定义短语:在“设置 > 自定义短语”中为短语设置字母快捷码。完整输入快捷码时,短语显示在一键补全区,按补全键原样上屏(包括换行);编号候选和空格不变。列表保持顺序,可用 JSON 导入导出。

长句:受词库约束的路径搜索给出完整候选(例如 womenjintian → 我们今天),同时保留前缀候选供分段上屏。语言模型在完整候选中选择,再对照输入的拼音和输入位置之前的文字,修正选中句子里少量的同音错字。

短词:多个精确候选竞争时由语言模型判断,光标前有已上屏的文字时一并参考。

短语:三到五个音节、词库里没有的输入(例如 jiuguize → 旧规则),由词库中的词拼出若干整句方案,语言模型结合光标前的文字选出一个,再对照输入的拼音修正同音字;把握接近时,首选之后最多再给出两个整句。

拼音方案:全拼及六种可选双拼方案(微软双拼、小鹤双拼、自然码双拼、搜狗双拼、紫光双拼和拼音加加)共用候选排序与用户学习数据;常见声母、韵母的模糊规则可独立配置;支持首字母简拼(例如 jt → 今天)。

词库:简体基础库、繁体基础库与用户词库相互分离。在“高级”设置中点“导入输入频次”,可导入其他输入法导出的词频(每行“词,拼音,次数”,逗号或 Tab 分隔),作为自己的选词习惯记入用户词库。

快捷输入:ufh 输入符号,uxh 输入数字序号,usx 输入数学符号,urq 输入当前日期;i123.45 或 v123.45 转换中文数字及金额大写。数字模式中数字键继续录入,按候选旁的 a/b/c/d、方向键加空格或鼠标选词;双拼需用 Shift+U/I/V 进入。详见快捷输入说明。

中文标点:中文标点、半角输入时,可在“常规”设置的“保持半角的符号”中指定原样输出的符号,也可一键换成 Markdown 预设或标准中文标点。默认的 Markdown 预设为 -#*+_=`~[]<>|@;逗号、句号、问号、感叹号、圆括号和引号仍按中文习惯输入,反斜杠输入顿号。

上下文同步:与应用同步光标前后的文本(surrounding text)和按键状态。

完全本地:不联网,不需要 GPU。语言模型尚未加载或不可用时,候选照常给出,只是不经过语言模型排序。

语言模型:
一个模型,管全部选词
同样的拼音可以拆出很多种结果:yanquan 是「言泉」,也可以是「眼圈」「烟圈」。句子越长,可能的组合越多,引擎要在几十条路径里挑出你想说的那条。从 v2.0.0 起,这件事交给同一个本地语言模型,全程不联网。

第一阶段
v1.1 – v1.29
一路加模型
v1.x 的每个版本几乎都靠「再加一个模型」来改进:先是统计语言模型,然后是神经网络重排器、参与路径搜索的模型、受约束的 Transformer,再到拼音约束的局部纠错。每一步都让选词更准,也让整套东西越来越重:动一处,要重新校准一串。

第二阶段
v1.30 – v1.31
共享语言模型出现
v1.30.0 引入基于独立中文语料训练的共享字符级语言模型,把整句连贯性和前文语境用于长句选词、上下文短词和 Tab 续写;v1.31.0 升级模型,并让它参与补全的选择。到这时,安装包里有 11 个神经模型文件,引擎里还编译进 43 组模型参数,一次选词往往要依次经过其中好几个。

第三阶段
v2.0 起
只留一个
v2.0.0 把它们清掉了:神经模型从 11 个减到 1 个,引擎里的模型参数从 43 组减到 7 组。留下的是一个约 1.5 亿参数的字符级语言模型,由本项目自己训练,长句、短词、补全和同音纠错都问它;加载模型占用的内存从约 447 MiB 降到约 183 MiB。

这不是一次功能堆叠,而是一次收拾:以后的改进只需要做在一处,语言模型变好,所有输入场景一起受益。

模型只在外部 Host 进程中加载,后台就绪、仅用 CPU;未就绪或超时的时候,候选照常给出,只是不经过模型排序。代价是延迟:每个决定现在都要经过一个更大的模型,下面各项基准的耗时大多高于 v1.31.0(长句整句解码平均 73 ms 对 61 ms);日常逐键输入时,每个按键的响应通常仍在几十毫秒以内。以下各套基准测试的语料都与训练数据隔离,成绩里没有「背题」的水分。

更新日志:
v2.6.0
主要更新
长句更准。 主要来自长句纠错的两处改进(见下文):拼音纠错模型和语言模型共同决定是否改写;句中的词可以整个换成同拼音的另一个词。例如:

zhongduanchuangkouyipiankongbai → 终端窗口一片空白(不再是“中断窗口一片空白”)
xiangshicongshuimianzhongxinglai → 像是从睡眠中醒来(不再是“像是从水面中醒来”)
tazaixinlimomodumiao → 他在心里默默读秒(不再是“默默独苗”)
长句选词时也会参考每个词在通用文本中的常用程度。长句 Tab 续写命中从 3896 次增加到 3949 次。

有上文的短词,按真实打字时的上文判断。 打字时,输入法看到的上文是从上一个句号到光标的整段文字,包括前面用逗号隔开的分句。本版为有上文的短词单独训练了一个模型,训练用的正是这样的上文。第二候选也更可靠:短词上下文前两位从 99.13% 提高到 99.26%,Contested 前两位从 96.05% 提高到 96.53%。

一个音节也可以拆成两个。 shua 除了“刷、耍”,后面还会列出“书|a、数|a”,可以先选“书”再接着打。以 a 结尾的输入不再轻易读成“词+啊”:ganshua → 干爽(不再是“甘薯啊”),chihua → 迟缓(不再是“赤狐啊”);xinkua 仍是“辛苦啊”。

没有上文时,单字按使用频率排序。 单个音节的字不再被短词模型重新排序:jiao → 交(不再是“嚼”),zhua → 抓(不再是“爪”)。在模型没有见过的文本上检验,单独成词的单字排在首位的比例:聊天消息 72.3% → 75.0%,小说 66.1% → 67.3%,通用文本 58.6% → 59.1%。另外,只有单独选一个字上屏时,这个字才会被记住;在一段拼音里先确认前面的词、最后选末尾的单字,这个字不会成为该音节以后的首选。

词库更新。 新增约 660 个日常用语;通用文本词频改为按最少词数切分统计;简体和繁体的读音彼此独立,繁体的“伺服器”读 sifuqi,不再沿用简体“服务器”的读音;“伺”补充了 si 读音(伺服、伺机)。详见 cassotis-lexicon v2.6.0。

关于长句纠错
打长句时,言泉先根据词库和语言模型拼出整句,再由一个看拼音的纠错模型检查这句话,改正其中个别的字。以前由纠错模型单独决定改不改:只要改后比原句高出一定分数就改。这样它有时会改成语言模型认为明显更差的句子,有时又放过语言模型认为更好的改法。本版改为两个模型共同决定:两者对改动的判断加在一起,够了才改。

纠错模型一次只改一个字,遇到需要换掉整个词的句子,比如把“中断”换成“终端”,往往改不过来。本版把句中每个两到四字的词,分别换成同一拼音下最常用的另外三个词,作为候选句一起比较。只有纠错模型认为某个替换有希望时,才会完整计算这个候选句,三到四成的句子会用到。

这项计算让长句平均多花约 5 毫秒,长句选词参考词频又多约 2 毫秒,见下面的基准测试。繁体状态下,长句仍由纠错模型单独决定,也不做同音词替换。

软件官网:https://www.yanquan.org/
开源地址:https://github.com/shenmin/cassotis-ime

下载地址:
夸克盘:https://pan.quark.cn/s/41267935666d
迅雷盘:https://pan.xunlei.com/s/VP5ADqvLR6q5gGGJ1tB8xTxjA1?pwd=24mx
百度盘:https://pan.baidu.com/s/1LlMEDDQadXgIKGg6LtKBZw?pwd=9s8v
123 盘:https://1847923186.share.123pan.cn/123pan/K4u3vd-837bA

回复

使用道具 举报

发表于 昨天 17:17 | 显示全部楼层
言泉拼音输入法要装运行库吗,感谢楼主
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|腾飞在线 ( 冀ICP备05002530号 )

GMT+8, 2026-11-7 01:06 , Processed in 0.054193 second(s), 16 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表