[{"content":"随着时序模型的发展，当下做不定长解码的方法越来越丰富。\n比较知名的有深度学习中的：\nencoder-decoder架构：\n优点是泛用性好，无论怎么对齐都可以，尤其配合transformer架构下，注意力可以理解几乎任何信息。\n唯一缺点是体积大，不轻便。\nctcloss+encoder架构：\n核心在于ctcloss这个损失函数，其数学原理比较复杂，下面我将尽我所能，介绍清楚，文章中设计ai攥写部分会有标明。\nCTCLoss 包含ctcloss的结构目前分为两类，一类是轻量级的纯ctcloss架构，一类是结合了词袋（ngram）模型的ctcloss架构\n这里提到了词袋模型，其原理简单，数学原理就是全概率公式和马尔可夫链，属于纯统计学模型，其中的n就是其建模假设中，第m个词（即下一个词）跟前n个词相关。虽然模型很简单，推理时间复杂度极低，但是由于词典单词总体量巨大，模型参数两与n成指数关系，例如3-gram模型加载到内存的参数量仅 30GB 左右，5-gram 400GB左右。\n闲言碎语\n后续皆为2026/10/16日补，之前实在太懒了，哈哈哈哈。\n下面直接介绍一下ctcloss的前向解码和反向传播的方案\n前向解码 在RNN类的序列模型输出了一个序列的多分类输出后（在语音翻译场景下，这里的输出为一串音素序列），解码的时候，模型把相邻的重复值合并成一个，没了\n反向传播 ctcloss的梯度回传方案需要用到BPT（时序反向传播算法，说白了就是记录每次RNN单元输出所产生的更新然后加起来一次更新，简单粗暴，hhh）。剩下就要关注loss怎么从ctcloss传递到RNN上去的。\nctcloss是个概率统计学的损失函数，数学性质很强（至少比交叉熵损失啥的有意思~~（不好理解）~~）\n这里最大的问题是，RNN类模型的输出不能和target对齐。ctcloss解码方案选择的是把target序列拆成多条RNN规范下的序列，而且很显然，不同的序列出现的概率不一样，由此，我们就得到了RNN的 伪target，以及这个伪target对应的权重，在使用BPT更新参数的时候，我们这条序列的参数更新方向还要×上这个权重。\n由此，ctcloss通过美妙的数学实现了反直觉的数学传播。概率还是太重要了\n","permalink":"https://www.zchens.cn/archives/ctcloss/","summary":"\u003cp\u003e随着时序模型的发展，当下做不定长解码的方法越来越丰富。\u003cbr\u003e\n比较知名的有深度学习中的：\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003e\n\u003cp\u003eencoder-decoder架构：\u003cbr\u003e\n优点是泛用性好，无论怎么对齐都可以，尤其配合transformer架构下，注意力可以理解几乎任何信息。\u003cbr\u003e\n唯一缺点是体积大，不轻便。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003ectcloss+encoder架构：\u003cbr\u003e\n核心在于ctcloss这个损失函数，其数学原理比较复杂，下面我将尽我所能，介绍清楚，文章中设计ai攥写部分会有标明。\u003c/p\u003e\n\u003c/li\u003e\n\u003c/ol\u003e","title":"CTCLoss"},{"content":"\r好吧，用完之后再写实在感觉没有写的必要了，抓完校园网的宽带账号密码之后感觉也没什么用处。\n","permalink":"https://www.zchens.cn/archives/wiresharkru-men-bi-ji/","summary":"\u003cfigure style=\"align-items: start; display: flex; flex-direction: column\" data-content-type=\"image\"\u003e\r\n\u003cimg src=\"/upload/屏幕截图%202025-12-09%20022442.png\" style=\"width:100.0%;height:100.0%\" sizes=\"(max-width: 640px) 94vw, (max-width: 768px) 92vw, (max-width: 1024px) 88vw, min(800px, 85vw)\" srcset=\"/upload/%E5%B1%8F%E5%B9%95%E6%88%AA%E5%9B%BE%202025-12-09%20022442.png?width=800 800w, /upload/%E5%B1%8F%E5%B9%95%E6%88%AA%E5%9B%BE%202025-12-09%20022442.png?width=1200 1200w, /upload/%E5%B1%8F%E5%B9%95%E6%88%AA%E5%9B%BE%202025-12-09%20022442.png?width=1600 1600w, /upload/%E5%B1%8F%E5%B9%95%E6%88%AA%E5%9B%BE%202025-12-09%20022442.png?width=400 400w\" /\u003e\r\n\u003c/figure\u003e\r\n\u003cp\u003e好吧，用完之后再写实在感觉没有写的必要了，抓完校园网的宽带账号密码之后感觉也没什么用处。\u003c/p\u003e","title":"WireShark入门笔记"},{"content":"众所周知，claude desktop的稳定性和功能性远远强于chatgpt（codex desktop）。二者在使用api的时候，都容易遇到问题。但是claude desktop相关答案很难搜到。\n在尝试多种方案后，在cc-switch的issues区里找到了解决方案：\nhttps://github.com/farion1231/cc-switch/issues/4380\n下面复制一段issues的原文内容，仅用于增强索引：\n1. SSH 主机配置\n~/Library/Application Support/Claude/ssh_configs.json ~/Library/Application Support/Claude-3p/ssh_configs.json\n{\n\u0026ldquo;configs\u0026rdquo;: [{\n\u0026ldquo;id\u0026rdquo;: \u0026ldquo;ssh-devbox\u0026rdquo;,\n\u0026ldquo;name\u0026rdquo;: \u0026ldquo;devbox\u0026rdquo;,\n\u0026ldquo;sshHost\u0026rdquo;: \u0026ldquo;user@host\u0026rdquo;,\n\u0026ldquo;sshPort\u0026rdquo;: 22,\n\u0026ldquo;sshIdentityFile\u0026rdquo;: \u0026ldquo;\u0026rdquo;,\n\u0026ldquo;remoteCwd\u0026rdquo;: \u0026ldquo;/home/user\u0026rdquo;\n}],\n\u0026ldquo;trustedHosts\u0026rdquo;: [\u0026ldquo;user@host\u0026rdquo;, \u0026ldquo;host\u0026rdquo;]\n}\n2. 如果 Code 页菜单没有 SSH 入口，patch App bundle：\n/Applications/Claude.app/Contents/Resources/ion-dist/assets/v1/*.js\n把 SSH config 接到 Code 页菜单，然后重启 App。\n3. Auto 模式\n~/.claude/settings.json 加：\n{\n\u0026ldquo;autoModeEnabled\u0026rdquo;: true,\n\u0026ldquo;permissions\u0026rdquo;: { \u0026ldquo;defaultMode\u0026rdquo;: \u0026ldquo;auto\u0026rdquo; },\n\u0026ldquo;env\u0026rdquo;: { \u0026ldquo;CLAUDE_CODE_ENABLE_AUTO_MODE\u0026rdquo;: \u0026ldquo;1\u0026rdquo; }\n}\n","permalink":"https://www.zchens.cn/archives/claude-desktop-apimo-xing-xia-qi-yong-auto-ssh-deng-gong-neng/","summary":"\u003cp\u003e众所周知，claude desktop的稳定性和功能性远远强于chatgpt（codex desktop）。二者在使用api的时候，都容易遇到问题。但是claude desktop相关答案很难搜到。\u003c/p\u003e","title":"Claude Desktop api模式下启用auto、ssh等功能"},{"content":"https://linux.do/t/topic/2571606\n好文不需要解读，不是我懒，嘻嘻。\n","permalink":"https://www.zchens.cn/archives/hao-wen-fen-xiang-----cong-vibe-coding-dao-spec-coding/","summary":"\u003cp\u003e\u003ca href=\"https://linux.do/t/topic/2571606\" target=\"_blank\"\u003e\u003ca href=\"https://linux.do/t/topic/2571606\"\u003ehttps://linux.do/t/topic/2571606\u003c/a\u003e\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003e好文不需要解读，不是我懒，嘻嘻。\u003c/p\u003e","title":"好文分享——《从 vibe coding 到 spec coding》"},{"content":"24/5/- pm\n千风拂乱，星子低垂\nsoon~\n行路不难，踌躇不远\n","permalink":"https://www.zchens.cn/moments/moment-sngfsgxk/","summary":"\u003cp\u003e24/5/- pm\u003c/p\u003e\n\u003cp\u003e千风拂乱，星子低垂\u003cbr\u003e\nsoon~\u003cbr\u003e\n行路不难，踌躇不远\u003c/p\u003e","title":"碎碎念 · 2026-07-14 00:38"},{"content":"本来打算写一篇vibecoding心得的，但是技巧千千万，学不完，心法胜方法。下面就以讲故事的方式讲心得。\n这三天全都在折腾我的ZhiFlo商业生态，比如komari服务器监控呀，uptime 服务器监控呀，还有SMTP邮件服务器呀，飞书（飞书是少数不需要公司或学校账号就能用机器人的平台，这里点名批评钉钉）提醒呀。\n稀里糊涂一通，基础设施终于弄好，由于是ai商业生态，顺带也就搞个newapi了。然后接了一个上游，这时候问题来了。newapi对上游自动同步的功能不强，我是不想自己二开的，newapi反正有暴露管理员api端口的，索性用青龙脚本做自动化监听上游和同步功能。\n青龙脚本听过好久了，现在才第一次用，我要狠狠吐槽一下它的日志功能，因为照我的脚本运行频率，每过1周我就要手动清一次日志。不然空间就满了。它甚至连自动清理都没有。。。\n这个担子又落到了codex身上。气人的来了，gpt5.5对业务的理解能力为0。或者说，完全没有自主意识，活生生的机器人，往好了说叫执行力强，指令遵循能力强。往坏了说叫理解不了用户意图。下面这是gpt给我设计的飞书通知，可读性可以说是完全没有了。后面我又重新让gpt理解我的业务，重新设计通知，依旧一坨，我都懒得发新版。新版就是比这旧版的坨拉的大些，长些。\nZhiFlo NewAPI 同步完成\r运行ID: 20260620165024-ab8ae4fb\r模式: auto-apply\r决策: apply (safe_public_price_update)\r价格更新: 有\r安全更新: 是\r安全检查: 15，不安全项: 0，下游需抬价: 0\r新建下游渠道: 14\r删除旧下游渠道: 14\r这时候我清楚的意识到，gpt很容易会错意。我的提示词必须精准无比，这时候我们的美国豆包（gemini）登场，舔狗的性格果然很容易理解我的需求(╹ڡ╹ )。在gemini大人优化完的提示词后，codex大人完美展示赛博牛马的能力，精准理解并执行了gemini的命令。\n[此处省略一张图，由于服务器带宽骤降，图床也懒得修，所以暂时这样]\n伟大无需多言！\n","permalink":"https://www.zchens.cn/archives/guan-yu-vibecodinggei-wo-dai-lai-de-man-zu-gan/","summary":"\u003cp\u003e本来打算写一篇vibecoding心得的，但是技巧千千万，学不完，心法胜方法。下面就以讲故事的方式讲心得。\u003c/p\u003e\n\u003cp\u003e这三天全都在折腾我的ZhiFlo商业生态，比如komari服务器监控呀，uptime 服务器监控呀，还有SMTP邮件服务器呀，飞书（飞书是少数不需要公司或学校账号就能用机器人的平台，这里点名批评钉钉）提醒呀。\u003cbr\u003e\n稀里糊涂一通，基础设施终于弄好，由于是ai商业生态，顺带也就搞个newapi了。然后接了一个上游，这时候问题来了。newapi对上游自动同步的功能不强，我是不想自己二开的，newapi反正有暴露管理员api端口的，索性用青龙脚本做自动化监听上游和同步功能。\u003c/p\u003e","title":"关于VibeCoding给我带来的满足感"},{"content":"近期在两台windows电脑上遇到了光标变白的问题，极其影响使用体验。根据网络资料，部分是HDR的原因，需要关闭windows的自动HDR。\n我目前遇到的问题在显卡驱动和windows系统兼容性的问题。问题一般只出现在chrome，edge浏览器，office全家桶中。最干脆的方法就是在软件内禁用gpu加速。当然，对于有独显的机型。可以在windows设置里针对该应用选择使用核显（如果核显驱动没问题的话）。\n锅全在windows系统更新上，建议关闭windows系统更新或者使用精简且几乎不更新的企业版。\n","permalink":"https://www.zchens.cn/archives/guang-biao-bian-bai-wen-ti-jie-jue-fang-an----gpuqu-dong-yu-windowsxi-tong-ban-ben-bu-jian-rong/","summary":"\u003cp\u003e近期在两台windows电脑上遇到了光标变白的问题，极其影响使用体验。根据网络资料，部分是HDR的原因，需要关闭windows的自动HDR。\u003c/p\u003e\n\u003cp\u003e我目前遇到的问题在显卡驱动和windows系统兼容性的问题。问题一般只出现在chrome，edge浏览器，office全家桶中。最干脆的方法就是在软件内禁用gpu加速。当然，对于有独显的机型。可以在windows设置里针对该应用选择使用核显（如果核显驱动没问题的话）。\u003c/p\u003e","title":"光标变白问题解决方案——gpu驱动与windows系统版本不兼容"},{"content":" 前情：本人服务器因手贱下载了一个大文件将存储空间塞满，导致mysql等非静态服务无法正常访问。问题和gitea之前出现的类似。上次是通过清理日志腾出临时空间进1pannel面板解决的。这次由于问题定位准确，故采用命令行方法定位大文件。\n主要操作思路是使用 du 命令（centos自带）查看当前目录下各个文件（目录）的占用空间，逐层定位。\n参数主要是 \u0026ndash;max-depth，不推荐设置太大，浪费时间。\ndu -h \u0026ndash;max-depth=1\n","permalink":"https://www.zchens.cn/archives/wei-hu-ri-zhi----da-wen-jian-qing-li/","summary":"\u003cblockquote\u003e\n\u003cp\u003e前情：本人服务器因手贱下载了一个大文件将存储空间塞满，导致mysql等非静态服务无法正常访问。问题和gitea之前出现的类似。上次是通过清理日志腾出临时空间进1pannel面板解决的。这次由于问题定位准确，故采用命令行方法定位大文件。\u003c/p\u003e\n\u003c/blockquote\u003e","title":"维护日志——大文件清理"},{"content":"一川烟雨，满城风絮，梅子黄时雨\n","permalink":"https://www.zchens.cn/moments/moment-ckowdegf/","summary":"\u003cp\u003e一川烟雨，满城风絮，梅子黄时雨\u003c/p\u003e","title":"碎碎念 · 2025-12-26 00:54"},{"content":"在windows 系统中使用docker 搭建的flinkjob时，尽管我们已经使用了轻量化的docker来模拟，但是对于16G 内存的电脑来说依旧吃紧，更何况，近期内存硬盘疯涨(作者一个朋友3年前2000买的裸金属服务器，现在因为内存和硬盘涨价，单算硬盘和内存，黄鱼价格来到4000。。。。。)\n内存不够引起的问题主要有两种，一种并不算内存不足，算是分配给容器的内存不足：\n分配给容器的内存不足 鉴别方式：最显著的特征是taskmanager任务中止但是容器仍然在运行。报错提示jvm heap 溢出之类。flink里能看到被杀掉的taskmanager留下的错误日志。\n问题原因：每个taskmanager默认只分配1G内存。\n解决方法：\n使用更大的并行度(注意！不是docker运行更多的taskmanager)，原理是将任务的内存压力分摊开来。放置数据堆积在少数几个slot里面。\n增大docker 配置文件中给每个 taskmanager 和 slot 分配的内存大小。\n机器内存不足 鉴别方式：taskmanager容器被杀掉或者重启(如果配置了重启)。flink中只见fail报错，不见日志(日志随着taskmanager报错丢失，或者还没来得及报错，直接被windows杀掉，master发现taskmanager消失才报错)。\n解决方法：\n用微软电脑管家不停得手动清内存。\n提高内存交换优先级。\n硬盘空间充足且时间充足的话可以装linux双系统，linux系统进程几乎不占内存。哪怕占！swapness优先级往高了调而已。通常设置10，鄙人博客所在服务器曾设置为100，相较于关闭swap，内存占用减少了大约70%。此时mysql读写时间尺度以秒为单位\n关闭一些taskmanager，一个taskmanager跑n个slot，该taskmanager共分配大约n GB内存。通过减少docker容器的待机内存损耗来节省内存\n云容器服务，爆金币吧。这个算便宜的了，按量付费。\n改flinkjob的算法，可通过控制水位线，窗口大小和步长等方式优化空间复杂度。\n","permalink":"https://www.zchens.cn/archives/flinkjob-problem-shooting/","summary":"\u003cp\u003e在windows 系统中使用docker 搭建的flinkjob时，尽管我们已经使用了轻量化的docker来模拟，但是对于16G 内存的电脑来说依旧吃紧，更何况，近期内存硬盘疯涨(作者一个朋友3年前2000买的裸金属服务器，现在因为内存和硬盘涨价，单算硬盘和内存，黄鱼价格来到4000。。。。。)\u003c/p\u003e","title":"FlinkJob-docker OOM"},{"content":"为有牺牲多壮志，敢叫日月换新天\n","permalink":"https://www.zchens.cn/moments/moment-e6gdnjxs/","summary":"\u003cp\u003e为有牺牲多壮志，敢叫日月换新天\u003c/p\u003e","title":"碎碎念 · 2025-12-10 23:41"},{"content":"这里记录一些朋友的站点。\nByteVibe Insights - Sharing Knowledge, One Byte at a Time — Sharing Knowledge, One Byte at a Time ","permalink":"https://www.zchens.cn/friends/","summary":"\u003cp\u003e这里记录一些朋友的站点。\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003ca href=\"https://blog.bytevibe.dev/\"\u003eByteVibe Insights - Sharing Knowledge, One Byte at a Time\u003c/a\u003e — Sharing Knowledge, One Byte at a Time\u003c/li\u003e\n\u003c/ul\u003e","title":"友情链接"},{"content":"休将故人思故国，且将新火试新茶，诗酒趁年华。\n","permalink":"https://www.zchens.cn/moments/moment-ryzidwno/","summary":"\u003cp\u003e\u003cspan style=\"color: #22c55e\"\u003e休将故人思故国，且将新火试新茶，诗酒趁年华。\u003c/span\u003e\u003c/p\u003e","title":"碎碎念 · 2025-12-07 19:59"},{"content":" 环境：CentOS 6.7（glibc 2.12）、Hadoop 2.6.5\n目标：消除执行 hadoop fs ... 时出现的警告：\nWARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable\n1. 问题现象 在创建 HDFS 目录时：\nhadoop fs -mkdir /myhive2 出现警告：\nWARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable\r这个警告的含义是：Hadoop 没有成功加载 native（C/C++）库，于是退回到纯 Java 实现。\n2. 初步判断：native 库到底有没有？ 先看 $HADOOP_HOME/lib/native：\nls -l $HADOOP_HOME/lib/native 我这边能看到：\nlibhadoop.so -\u0026gt; libhadoop.so.1.0.0\nlibhdfs.so -\u0026gt; libhdfs.so.0.0.0\n说明 库文件本身存在，但仍然无法加载，问题大概率在：\nJVM/动态链接器找不到库或依赖\n库和系统不兼容（最典型：glibc 版本不匹配）\n3. 关键定位：ldd 报 GLIBC 版本不满足 我用 ldd 检查 libhadoop.so：\nldd $HADOOP_HOME/lib/native/libhadoop.so.1.0.0 | egrep \u0026#34;not found|GLIBC\u0026#34; 得到致命信息：\n/lib64/libc.so.6: version `GLIBC_2.14' not found\r这就说明：当前 libhadoop.so 是在需要 glibc 2.14 的系统上编译的，而我这台机器是 CentOS 6.7，glibc 版本更低。\n4. 进一步确认：系统 glibc 版本是多少？ cat /etc/redhat-release ldd --version | head -n 1 输出：\nCentOS release 6.7 (Final)\nglibc 2.12\n再看系统实际提供的符号版本：\nstrings /lib64/libc.so.6 | grep -E \u0026#39;GLIBC_2\\.(1[0-2])\u0026#39; | tail 结果包含 GLIBC_2.10/2.11/2.12，但 没有 GLIBC_2.14。\n这也解释了一个常见误区：\nyum update glibc 只能更新 2.12 的 release（修补版），并不会把 CentOS 6 的 glibc 升到 2.14。\n5. 解决思路：让 native 库在本系统上可用 既然核心矛盾是 glibc 不兼容，那解决方案就很清晰：\n✅ 推荐：在 CentOS 6.7 上重新编译 Hadoop 2.6.5 native（生成只依赖 GLIBC_2.12 的 .so）\n✅ 或者：直接找一套在 CentOS 6 上编译好的 native 目录替换\n❌ 不推荐：强行升级系统 glibc 到 2.14（风险极高，可能把系统“地基”搞崩）\n我选择了 重新编译 Hadoop 2.6.5 的 native。\n6. 重新编译 Hadoop native：过程中的坑与修复 6.1 先装 Maven（CentOS 6 默认源没有 maven） 我手头有 apache-maven-3.6.3-bin.zip，安装方式如下：\nyum -y install unzip mkdir -p /opt cd /opt unzip -q /root/apache-maven-3.6.3-bin.zip ln -sfn /opt/apache-maven-3.6.3 /opt/maven cat \u0026gt;/etc/profile.d/maven.sh \u0026lt;\u0026lt;\u0026#39;EOF\u0026#39; export MAVEN_HOME=/opt/maven export PATH=$MAVEN_HOME/bin:$PATH EOF source /etc/profile.d/maven.sh mvn -version 6.2 Javadoc 构建失败：直接跳过 用 JDK8 构建 Hadoop 2.6.5 时，hadoop-annotations 会因为 javadoc HTML 更严格而失败。解决办法：跳过 javadoc。\nmvn -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true clean package 6.3 下载依赖“卡住”：配置 Maven 镜像 构建过程中会下载大量依赖，我用阿里云 Maven 镜像加速（注意必须有 \u0026lt;settings\u0026gt; 根节点）：\n~/.m2/settings.xml：\n\u0026lt;settings xmlns=\u0026#34;http://maven.apache.org/SETTINGS/1.0.0\u0026#34; xmlns:xsi=\u0026#34;http://www.w3.org/2001/XMLSchema-instance\u0026#34; xsi:schemaLocation=\u0026#34;http://maven.apache.org/SETTINGS/1.0.0 https://maven.apache.org/xsd/settings-1.0.0.xsd\u0026#34;\u0026gt; \u0026lt;mirrors\u0026gt; \u0026lt;mirror\u0026gt; \u0026lt;id\u0026gt;aliyunmaven\u0026lt;/id\u0026gt; \u0026lt;mirrorOf\u0026gt;*\u0026lt;/mirrorOf\u0026gt; \u0026lt;url\u0026gt;https://maven.aliyun.com/repository/public\u0026lt;/url\u0026gt; \u0026lt;/mirror\u0026gt; \u0026lt;/mirrors\u0026gt; \u0026lt;/settings\u0026gt; 6.4 protoc 缺失：手动编译 protobuf 2.5.0 构建失败提示：\nCannot run program \u0026quot;protoc\u0026quot;: No such file or directory\rCentOS 6 的源里也没有 protobuf-compiler，于是我选择编译安装 protobuf 2.5.0（带 protoc）：\n# 解压源码 protobuf-2.5.0.tar.gz 后 cd protobuf-2.5.0 ./configure --prefix=/usr/local make -j$(nproc) make install ldconfig /usr/local/bin/protoc --version 并确保 /usr/local/bin 在 PATH：\necho \u0026#39;export PATH=/usr/local/bin:$PATH\u0026#39; \u0026gt;/etc/profile.d/localbin.sh source /etc/profile.d/localbin.sh 6.5 Ant 下载 Tomcat 反复卡：手动放置到 downloads 目录 构建过程中（KMS/HttpFS）会通过 Ant \u0026lt;get\u0026gt; 下载 Tomcat 6.0.41：\nhadoop-common-project/hadoop-kms/downloads/\nhadoop-hdfs-project/hadoop-hdfs-httpfs/downloads/\n这两个目录是分开的，所以会“下载两次”。做法是 手动下载一次，然后软链接/复制到另一个目录。\n7. 找到新编译的 native 库并验证 GLIBC 版本 编译完成后我用 find 定位 libhadoop.so：\ncd /root/hadoop-2.6.5-src find . -name \u0026#39;libhadoop.so*\u0026#39; -o -name \u0026#39;libhdfs.so*\u0026#39; | head -n 50 最终选择发行版目录里的这份：\n./hadoop-dist/target/hadoop-2.6.5/lib/native/libhadoop.so.1.0.0\r验证其依赖的 GLIBC：\nstrings ./hadoop-dist/target/hadoop-2.6.5/lib/native/libhadoop.so.1.0.0 \\ | grep GLIBC_ | sort -V | tail -n 10 输出最高只有：\nGLIBC_2.12\r✅ 这正是我需要的（兼容 CentOS 6.7）。\n8. 替换现网 Hadoop 的 native 并验证 8.1 备份并替换 export HADOOP_HOME=/usr/local/hadoop-2.6.5 mv $HADOOP_HOME/lib/native $HADOOP_HOME/lib/native.bak.$(date +%F) mkdir -p $HADOOP_HOME/lib/native cp -a /root/hadoop-2.6.5-src/hadoop-dist/target/hadoop-2.6.5/lib/native/* \\ $HADOOP_HOME/lib/native/ echo \u0026#34;$HADOOP_HOME/lib/native\u0026#34; \u0026gt; /etc/ld.so.conf.d/hadoop.conf ldconfig 确保 hadoop-env.sh 里有：\nexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS=\u0026#34;$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native\u0026#34; 8.2 验证 native 已加载 hadoop checknative -a 看到关键行：\nhadoop: true /usr/local/hadoop-2.6.5/lib/native/libhadoop.so.1.0.0\rsnappy: true ...\rzlib: true ...\ropenssl: true ...\r再执行：\nhadoop fs -mkdir /myhive2 不再出现 NativeCodeLoader 警告（如果目录已存在则提示 File exists 属正常行为）。\n9. 分发到多台 slave（只同步 native，避免覆盖配置） 为了让集群其他节点也不再告警，我采用“只分发 native”方案：\nmaster 上打包并 scp cd /usr/local/hadoop-2.6.5 tar czf /tmp/hadoop-2.6.5-native-centos6.tgz -C lib native for h in slave1 slave2 slave3; do scp /tmp/hadoop-2.6.5-native-centos6.tgz root@$h:/tmp/ done 每台 slave 上替换并验证 HADOOP_HOME=/usr/local/hadoop-2.6.5 mv $HADOOP_HOME/lib/native $HADOOP_HOME/lib/native.bak.$(date +%F_%H%M%S) tar xzf /tmp/hadoop-2.6.5-native-centos6.tgz -C $HADOOP_HOME/lib echo \u0026#34;$HADOOP_HOME/lib/native\u0026#34; \u0026gt; /etc/ld.so.conf.d/hadoop.conf ldconfig $HADOOP_HOME/bin/hadoop checknative -a 10. 总结 这次问题的核心不是“没有 lib/native 文件”，而是：\nnative 库与系统 glibc 不兼容（GLIBC_2.14 not found）\nCentOS 6 只能稳定提供 glibc 2.12，所以必须：\n换一份在 CentOS 6 上编译的 native\n或在本机重新编译（最终我选择了这条）\n最终效果：\nhadoop checknative -a 显示 hadoop: true\nhadoop fs ... 不再出现 NativeCodeLoader WARN\n分发到 slave 后全节点一致生效\n如果你也在 CentOS 6 上折腾 Hadoop native，建议直接记住一句话：\n遇到 GLIBC_x.y not found，别纠结 Hadoop 配置，先确认 native 库是在哪个系统上编译的。\n","permalink":"https://www.zchens.cn/archives/hadoop-2.6.5-for-centos-6.7/","summary":"\u003cblockquote\u003e\n\u003cp\u003e环境：CentOS 6.7（glibc 2.12）、Hadoop 2.6.5\u003cbr\u003e\n目标：消除执行 \u003ccode\u003ehadoop fs ...\u003c/code\u003e 时出现的警告：\u003cbr\u003e\n\u003ccode\u003eWARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable\u003c/code\u003e\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003chr\u003e\n\u003ch2 id=\"1-问题现象\"\u003e1. 问题现象\u003c/h2\u003e\n\u003cp\u003e在创建 HDFS 目录时：\u003c/p\u003e","title":"CentOS 6.7 上消除 Hadoop “Unable to load native-hadoop library” 警告：从定位到编译替换一条龙"},{"content":"“我自有我自为之，我自风情万种，与世无争。”\n","permalink":"https://www.zchens.cn/moments/moment-oozk1f2b/","summary":"\u003cp\u003e“我自有我自为之，我自风情万种，与世无争。”\u003c/p\u003e","title":"碎碎念 · 2025-11-27 20:36"},{"content":"倒是连爬虫都不愿看了\n","permalink":"https://www.zchens.cn/moments/moment-ffwvoet7/","summary":"\u003cp\u003e倒是连爬虫都不愿看了\u003c/p\u003e","title":"碎碎念 · 2025-11-26 22:50"},{"content":"落笔反倒不知道要写些什么了。\n总之是今晚的月亮依旧圆，太阳照常升起\n","permalink":"https://www.zchens.cn/archives/2025-11-26/","summary":"\u003cp\u003e落笔反倒不知道要写些什么了。\u003c/p\u003e\n\u003cp\u003e总之是今晚的月亮依旧圆，太阳照常升起\u003c/p\u003e","title":"2025/11/26"},{"content":"寰宇的博识尊\n在此，我向你发问！\n","permalink":"https://www.zchens.cn/moments/moment-tfnbyoz5/","summary":"\u003cp\u003e寰宇的博识尊\u003cbr\u003e\n在此，我向你发问！\u003c/p\u003e","title":"碎碎念 · 2025-11-26 09:54"},{"content":"docker-desktop将docker驱动和数据全存在c盘，起步就占用10G。同时为了节省内存，如果系统也有使用wsl2的子系统的话，可以不使用docker-desktop内置的系统，节约内存空间（若wsl2自启动太多，可能不会节省）。\n此处进入设置界面（不会有人找不到设置入口吧。。。）\n最终设置结果如下：\n","permalink":"https://www.zchens.cn/archives/oh-save-my-disk-c/","summary":"\u003cp\u003edocker-desktop将docker驱动和数据全存在c盘，起步就占用10G。同时为了节省内存，如果系统也有使用wsl2的子系统的话，可以不使用docker-desktop内置的系统，节约内存空间（若wsl2自启动太多，可能不会节省）。\u003c/p\u003e","title":"Oh! Save MY disk-C "},{"content":"春风得意马蹄疾，一日看尽长安花\n","permalink":"https://www.zchens.cn/moments/moment-aqus5ibl/","summary":"\u003cp\u003e春风得意马蹄疾，一日看尽长安花\u003c/p\u003e","title":"碎碎念 · 2025-11-20 19:47"},{"content":"最是一年春好处，绝胜烟柳满皇都\n","permalink":"https://www.zchens.cn/moments/moment-voedejwy/","summary":"\u003cp\u003e最是一年春好处，绝胜烟柳满皇都\u003c/p\u003e","title":"碎碎念 · 2025-11-20 19:46"},{"content":"评论区欢迎提出新的建议！\n适配“瞬间”插件（不知道要不要接入 memos，难度有点大，留待考虑） 进度 Moments 页面无适配 404 最后一页（或者说图片解析问题）修复 详情页面可评论（需审核） 图片展示适配度不高 列表页展示样式下间距写死，不美观 其他 添加《狂风三作》《狂风三作——诗》等专用页面模板，当然直接链接到别的展示框架也不失为一种选择。 已知问题 BUG：使用的主题对于评论插件的适配有 bug，具体表现为在暗色模式下，评论文字几乎不可见，未配置好随主题色更换色调的功能。 ","permalink":"https://www.zchens.cn/todo/","summary":"\u003cp\u003e评论区欢迎提出新的建议！\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cinput disabled=\"\" type=\"checkbox\"\u003e 适配“瞬间”插件（不知道要不要接入 memos，难度有点大，留待考虑）\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch2 id=\"进度\"\u003e进度\u003c/h2\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cinput checked=\"\" disabled=\"\" type=\"checkbox\"\u003e Moments 页面无适配 404\u003c/li\u003e\n\u003cli\u003e\u003cinput checked=\"\" disabled=\"\" type=\"checkbox\"\u003e 最后一页（或者说图片解析问题）修复\u003c/li\u003e\n\u003cli\u003e\u003cinput checked=\"\" disabled=\"\" type=\"checkbox\"\u003e 详情页面可评论（需审核）\u003c/li\u003e\n\u003cli\u003e\u003cinput disabled=\"\" type=\"checkbox\"\u003e 图片展示适配度不高\u003c/li\u003e\n\u003cli\u003e\u003cinput disabled=\"\" type=\"checkbox\"\u003e 列表页展示样式下间距写死，不美观\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch2 id=\"其他\"\u003e其他\u003c/h2\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cinput disabled=\"\" type=\"checkbox\"\u003e 添加《狂风三作》《狂风三作——诗》等专用页面模板，当然直接链接到别的展示框架也不失为一种选择。\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch2 id=\"已知问题\"\u003e已知问题\u003c/h2\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cinput checked=\"\" disabled=\"\" type=\"checkbox\"\u003e BUG：使用的主题对于评论插件的适配有 bug，具体表现为在暗色模式下，评论文字几乎不可见，未配置好随主题色更换色调的功能。\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e\u003cimg alt=\"评论插件暗色模式问题\" loading=\"lazy\" src=\"/upload/image-WTTP.png\"\u003e\u003c/p\u003e","title":"未完待续"},{"content":"莫听穿林打叶声，何妨吟萧且徐行\n","permalink":"https://www.zchens.cn/moments/moment-kgosyapn/","summary":"\u003cp\u003e莫听穿林打叶声，何妨吟萧且徐行\u003c/p\u003e","title":"碎碎念 · 2025-11-16 21:44"},{"content":"自古逢秋悲寂寥，我言秋日胜春朝。\n晴空一鹤排云上，便引诗情到碧霄。\n","permalink":"https://www.zchens.cn/moments/moment-bcdzxxk6/","summary":"\u003cp\u003e自古逢秋悲寂寥，我言秋日胜春朝。\u003c/p\u003e\n\u003cp\u003e晴空一鹤排云上，便引诗情到碧霄。\u003c/p\u003e","title":"碎碎念 · 2025-11-13 19:22"},{"content":"妈呀，idea来的时候根本来不及记就忘了\n","permalink":"https://www.zchens.cn/moments/moment-5ossubgo/","summary":"\u003cp\u003e妈呀，idea来的时候根本来不及记就忘了\u003c/p\u003e","title":"碎碎念 · 2025-11-11 10:37"},{"content":"相见时难别亦难 东风无力百花残\n","permalink":"https://www.zchens.cn/moments/moment-saanu90h/","summary":"\u003cp\u003e相见时难别亦难 东风无力百花残\u003c/p\u003e","title":"碎碎念 · 2025-11-11 10:23"},{"content":"论文原文 https://arxiv.org/abs/2406.18516\n前置知识 降噪\n跨域问题\n扩散模型\n背景 真实物理环境下图像的噪声恢复，噪声如：雨、雾、噪点（噪点的产生也受到物理世界中的时间影响）\n核心难点 物理世界下，照片中的时间维度无法复现。导致数据集难以构建标签。解决方法可解耦为两部分：\n数据集构建：通过标签y伪造输入x以获取数据集(x,y) 。\n模型设计：跨域问题引出的一系列方法，如，无监督学习、半监督学习、对比学习等。\n研究现状 跨域研究\n像素空间伪造\n特征空间伪造\n作者首次提出噪声空间的伪造\n模型设计 可以分为一个恢复模型（网络）和扩散模型。\n恢复模型做的就是简单的图生图，没有别的模块。\n扩散模型实现的真实域和伪造域的融合，这里甚至不要求真实图像和伪造图像有任何关系。\n扩散模型输入的三个通道介绍：\n扩散模型目标是预测噪声，这个噪声是我们在模型输入层特意引入的一个高斯噪声通道。\n另外两个通道是真实域数据的输出和伪造域数据的输出\n这块可以参考🔌老师的回复：\n🧩 一、普通扩散模型在做什么\n扩散模型是一种逐步去噪的生成模型。\n它的目标是：从随机噪声恢复出干净图像。\nStep 1：加噪（forward process） 我们先拿一张干净图像y，逐步加噪，直到完全变成高斯噪声：\nq(\\tilde{y}_t|y) = \\sqrt{\\bar{\\alpha}_t},y + \\sqrt{1-\\bar{\\alpha}_t},\\epsilon, \\quad \\epsilon \\sim \\mathcal{N}(0, I)\n所以\\tilde{y}_t是加噪的图像。\nStep 2：去噪（reverse process） 训练一个神经网络 \\epsilon_\\theta(\\tilde{y}_t, t)，让它学会预测出噪声 \\epsilon。\n它的训练目标是：\nL = E_{y,t,\\epsilon}\\big[|\\epsilon - \\epsilon_\\theta(\\tilde{y}_t, t)|^2\\big]\n也就是说——\n扩散模型不是直接生成图像，而是“猜出加进去的噪声”是多少。\n一旦模型能准确预测噪声，就能反向一步步“去掉噪声”，从而生成干净图像。\n🧠 二、在本文中的角色：作为“教师”指导恢复网络 在这篇论文里，扩散模型不再是生成图像的主角，而是变成一个评估者（teacher / critic）。\n它仍然执行“预测噪声”这个任务，但其输入被特别设计来实现“域对齐（domain adaptation）”。\n模型输入与输出： 名称 含义 来源$ \\tilde{y}_s 扩散输入（被加噪的干净图像） 从合成数据的干净真值加噪得到 C(\\hat{y}_s, \\hat{y}_r) 条件输入（condition） 是恢复网络输出的合成图像和真实图像 输出 \u0026lt;span content=\u0026quot;\\epsilon_\\theta(\\tilde{y}_s C(\\hat{y}_s, \\hat{y}_r), t)\u0026quot; math-inline=\u0026quot;\u0026quot;\u0026gt;\\epsilon_\\theta(\\tilde{y}_s | C(\\hat{y}_s, \\hat{y}_r), t) 扩散模型预测的噪声 损失函数： L_{Dif} = E\\big[|\\epsilon - \\epsilon_\\theta(\\tilde{y}_s | C(\\hat{y}_s, \\hat{y}_r), t)|^2\\big]\n这里\\epsilon是我们加噪时用的“真实噪声”，\n\\epsilon_\\theta​是扩散模型的预测，\n目标是让两者接近。\n🔍 三、那为什么这样能“指导恢复网络”？ 这是关键直觉：\n如果条件 C(\\hat{y}_s, \\hat{y}_r)（也就是恢复网络输出的图像）更接近真实干净分布，\n那扩散模型就能更准确地预测噪声。\n换句话说：\n扩散模型本身“知道什么是干净图像”（它学过 clean distribution）；\n当恢复网络输出的结果（condition）比较干净时，它的噪声预测误差更小；\n所以我们用扩散模型的噪声预测误差来“奖励”恢复网络。\n于是恢复网络的目标变成：\n生成那种能让扩散模型更容易预测噪声的图像。\n也就是——输出更符合干净图像分布的结果。\n⚙️ 四、总结成一句话 模型 输入 任务 输出 损失来源 扩散模型（teacher） 加噪图像 + 条件（两域的复原图） 预测噪声 预测噪声\\epsilon_\\theta 与真实噪声 ϵ\\epsilonϵ 的差距 恢复网络（student） 退化图像（synthetic/real） 复原图像 \\hat{y}_s, \\hat{y}_r​ 通过扩散损失间接更新 扩散模型通过噪声预测误差间接告诉恢复网络：\n“你输出的结果离干净图像分布有多远。”\n✅ 一句话总结：\n扩散模型的任务仍然是“预测噪声”，但在这篇论文里，它不再用来生成图像，而是作为一个“分布判别器”，通过噪声预测误差来引导恢复网络的输出在合成域与真实域之间对齐到干净域。\n模型 输入 任务 输出 损失来源 扩散模型（teacher） 加噪图像 + 条件（两域的复原图） 预测噪声 预测噪声 (\\epsilon_\\theta) 与真实噪声 (\\epsilon) 的差距 恢复网络（student） 退化图像（synthetic/real） 复原图像 (\\hat{y}_s, \\hat{y}_r) 通过扩散损失间接更新 ","permalink":"https://www.zchens.cn/archives/ccf-alei-hui-yi-iclr2025lun-wen-noise-damo-xing-lun-wen-xue-xi-bi-ji/","summary":"\u003ch2 id=\"论文原文\"\u003e论文原文\u003c/h2\u003e\n\u003cp\u003e\u003ca href=\"https://arxiv.org/abs/2406.18516\" target=\"_blank\"\u003e\u003ca href=\"https://arxiv.org/abs/2406.18516\"\u003ehttps://arxiv.org/abs/2406.18516\u003c/a\u003e\u003c/a\u003e\u003c/p\u003e\n\u003ch2 id=\"前置知识\"\u003e前置知识\u003c/h2\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e降噪\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e跨域问题\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e扩散模型\u003c/p\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch2 id=\"背景\"\u003e背景\u003c/h2\u003e\n\u003cp\u003e真实物理环境下图像的噪声恢复，噪声如：雨、雾、噪点（噪点的产生也受到物理世界中的时间影响）\u003c/p\u003e\n\u003ch3 id=\"核心难点\"\u003e核心难点\u003c/h3\u003e\n\u003cp\u003e物理世界下，照片中的时间维度无法复现。导致数据集难以构建标签。解决方法可解耦为两部分：\u003c/p\u003e","title":"CCF A类会议 ICLR2025论文：Noise-DA模型论文学习笔记"},{"content":"将琴代语兮，聊写衷肠。\n","permalink":"https://www.zchens.cn/moments/moment-1uejqdpg/","summary":"\u003cp\u003e\u003cspan style=\"font-size: 16px; color: rgb(36, 41, 47)\"\u003e将琴代语兮，聊写衷肠。\u003c/span\u003e\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:12"},{"content":"《凤求凰》\n有一美人兮，见之不忘。\n一日不见兮，思之如狂。\n凤飞翱翔兮，四海求凰。\n无奈佳人兮，不在东墙。\n将琴代语兮，聊写衷肠。\n何时见许兮，慰我彷徨。\n愿言配德兮，携手相将。\n不得於飞兮，使我沦亡。\n凤兮凤兮归故乡，遨游四海求其凰。\n时未遇兮无所将，何悟今兮升斯堂！\n有艳淑女在闺房，室迩人遐毒我肠。\n何缘交颈为鸳鸯，胡颉颃兮共翱翔！\n凰兮凰兮从我栖，得托孳尾永为妃。\n交情通意心和谐，中夜相从知者谁？\n双翼俱起翻高飞，无感我思使余悲。\n","permalink":"https://www.zchens.cn/moments/moment-ey0r8l3u/","summary":"\u003cp\u003e\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e《\u003c/span\u003e\u003ca href=\"https://www.gushiwen.cn/shiwenv_13f153478a2a.aspx\"\u003e凤求凰\u003c/a\u003e\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e》\u003c/span\u003e\u003c/p\u003e\n\u003cp\u003e有一美人兮，见之不忘。\u003cbr\u003e\n一日不见兮，思之如狂。\u003cbr\u003e\n凤飞翱翔兮，四海求凰。\u003cbr\u003e\n无奈佳人兮，不在东墙。\u003cbr\u003e\n将琴代语兮，聊写衷肠。\u003cbr\u003e\n何时见许兮，慰我彷徨。\u003cbr\u003e\n愿言配德兮，携手相将。\u003cbr\u003e\n不得於飞兮，使我沦亡。\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:09"},{"content":"不得於飞兮，使我沦亡。\n","permalink":"https://www.zchens.cn/moments/moment-xrsv8ftr/","summary":"\u003cp\u003e不得於飞兮，使我沦亡。\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:07"},{"content":"愿言配德兮，携手相将。\n","permalink":"https://www.zchens.cn/moments/moment-eahileo0/","summary":"\u003cp\u003e愿言配德兮，携手相将。\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:07"},{"content":"何时见许兮，慰我彷徨\n","permalink":"https://www.zchens.cn/moments/moment-ilbeuh6r/","summary":"\u003cp\u003e何时见许兮，慰我彷徨\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:07"},{"content":"将琴代语兮，聊写衷肠\n","permalink":"https://www.zchens.cn/moments/moment-etkrunpy/","summary":"\u003cp\u003e将琴代语兮，聊写衷肠\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:06"},{"content":"无奈佳人兮，不在东墙\n","permalink":"https://www.zchens.cn/moments/moment-crrnecvk/","summary":"\u003cp\u003e无奈佳人兮，不在东墙\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:05"},{"content":"凤飞翱翔兮，四海求凰\n","permalink":"https://www.zchens.cn/moments/moment-ghk1ionh/","summary":"\u003cp\u003e凤飞翱翔兮，四海求凰\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:05"},{"content":"一日不见兮，思之如狂\n","permalink":"https://www.zchens.cn/moments/moment-xa5ruozt/","summary":"\u003cp\u003e一日不见兮，思之如狂\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:05"},{"content":"有一美人兮，见之不忘\n","permalink":"https://www.zchens.cn/moments/moment-jdnykydw/","summary":"\u003cp\u003e有一美人兮，见之不忘\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:05"},{"content":"渔舟唱晚，响穷彭蠡之滨，雁阵惊寒，声断衡阳之浦。\n","permalink":"https://www.zchens.cn/moments/moment-h6it5uf3/","summary":"\u003cp\u003e渔舟唱晚，响穷彭蠡之滨，雁阵惊寒，声断衡阳之浦。\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:04"},{"content":"同是天涯沦落人，相逢何必曾相识！\n","permalink":"https://www.zchens.cn/moments/moment-et5mmjnj/","summary":"\u003cp\u003e同是天涯沦落人，相逢何必曾相识！\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:03"},{"content":"《春江花月夜》\n春江潮水连海平，海上明月共潮生。\n滟滟随波千万里，何处春江无月明。\n江流宛转绕芳甸，月照花林皆似霰。\n空里流霜不觉飞，汀上白沙看不见。\n江天一色无纤尘，皎皎空中孤月轮。\n江畔何人初见月？江月何年初照人？\n人生代代无穷已，江月年年望相似。\n不知江月待何人，但见长江送流水。\n白云一片去悠悠，青枫浦上不胜愁。\n谁家今夜扁舟子？何处相思明月楼？\n可怜楼上月裴回，应照离人妆镜台。\n玉户帘中卷不去，捣衣砧上拂还来。\n此时相望不相闻，愿逐月华流照君。\n鸿雁长飞光不度，鱼龙潜跃水成文。\n昨夜闲潭梦落花，可怜春半不还家。\n江水流春去欲尽，江潭落月复西斜。\n斜月沉沉藏海雾，碣石潇湘无限路。\n不知乘月几人归，落月摇情满江树。\n","permalink":"https://www.zchens.cn/moments/moment-gco0vgbf/","summary":"\u003cp\u003e《春江花月夜》\u003c/p\u003e\n\u003cp\u003e\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e春江潮水连海平，海上明月共潮生。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e滟滟随波千万里，何处春江无月明。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e江流宛转绕芳甸，月照花林皆似霰。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e空里流霜不觉飞，汀上白沙看不见。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e江天一色无纤尘，皎皎空中孤月轮。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e江畔何人初见月？江月何年初照人？\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e人生代代无穷已，江月年年望相似。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e不知江月待何人，但见长江送流水。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e白云一片去悠悠，青枫浦上不胜愁。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e谁家今夜扁舟子？何处相思明月楼？\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e可怜楼上月裴回，应照离人妆镜台。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e玉户帘中卷不去，捣衣砧上拂还来。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e此时相望不相闻，愿逐月华流照君。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e鸿雁长飞光不度，鱼龙潜跃水成文。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e昨夜闲潭梦落花，可怜春半不还家。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e江水流春去欲尽，江潭落月复西斜。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e斜月沉沉藏海雾，碣石潇湘无限路。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e不知乘月几人归，落月摇情满江树。\u003c/span\u003e\u003c/p\u003e","title":"碎碎念 · 2025-11-10 02:03"},{"content":"老当益壮，宁移白首之心？穷且益坚，不坠青云之志。\n","permalink":"https://www.zchens.cn/moments/moment-fgocnckd/","summary":"\u003cp\u003e老当益壮，宁移白首之心？穷且益坚，不坠青云之志。\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:58"},{"content":"孟尝高洁，阮籍猖狂\n","permalink":"https://www.zchens.cn/moments/moment-ujuwcmmi/","summary":"\u003cp\u003e孟尝高洁，阮籍猖狂\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:57"},{"content":"劝君更尽一杯酒，西出阳关无故人。\n","permalink":"https://www.zchens.cn/moments/moment-scwa2suc/","summary":"\u003cp\u003e劝君更尽一杯酒，西出阳关无故人。\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:57"},{"content":"少年不识愁滋味，爱上层楼。\n爱上层楼，为赋新词强说愁；\n而今尽识愁滋味，欲说还休。\n欲说还休，却道天凉好个秋！\n","permalink":"https://www.zchens.cn/moments/moment-urgemmhp/","summary":"\u003cp\u003e少年不识愁滋味，爱上层楼。\u003c/p\u003e\n\u003cp\u003e爱上层楼，为赋新词强说愁；\u003c/p\u003e\n\u003cp\u003e而今尽识愁滋味，欲说还休。\u003c/p\u003e\n\u003cp\u003e欲说还休，却道天凉好个秋！\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:56"},{"content":"力拔山兮气盖世。时不利兮骓不逝。\n骓不逝兮可奈何！虞兮虞兮奈若何！\n","permalink":"https://www.zchens.cn/moments/moment-4pb4vise/","summary":"\u003cp\u003e力拔山兮气盖世。时不利兮骓不逝。\u003c/p\u003e\n\u003cp\u003e骓不逝兮可奈何！虞兮虞兮奈若何！\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:54"},{"content":"我有一剑，可搬山，可倒海。\n","permalink":"https://www.zchens.cn/moments/moment-ekoocnu0/","summary":"\u003cp\u003e\u003cstrong\u003e我有一剑，可搬山，可倒海。\u003c/strong\u003e\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:47"},{"content":"万剑穿心终不悔，相视一笑轻王权。\n——佚名\n","permalink":"https://www.zchens.cn/moments/moment-kj0kgtw1/","summary":"\u003cp\u003e万剑穿心终不悔，相视一笑轻王权。\u003c/p\u003e\n\u003cp\u003e——佚名\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:46"},{"content":"忽魂悸以魄动，恍惊起而长嗟。\n惟觉时之枕席，失向来之烟霞。\n——李白《梦游天姥吟留别》\n","permalink":"https://www.zchens.cn/moments/moment-ywkhzc5a/","summary":"\u003cp\u003e\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e忽魂悸以魄动，恍惊起而长嗟。\u003c/span\u003e\u003cbr\u003e\n\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e惟觉时之枕席，失向来之烟霞。\u003c/span\u003e\u003c/p\u003e\n\u003cp\u003e——李白《梦游天姥吟留别》\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:43"},{"content":"挑兮达兮，在城阙兮。一日不见，如三月兮！\n——佚名《子衿》\n","permalink":"https://www.zchens.cn/moments/moment-slegirtg/","summary":"\u003cp\u003e\u003cspan style=\"font-size: 16px; color: rgb(176, 8, 21)\"\u003e挑兮达兮，在城阙兮。\u003c/span\u003e\u003cspan style=\"font-size: 16px; color: rgb(15, 15, 15)\"\u003e一日不见，如三月兮！\u003c/span\u003e\u003c/p\u003e\n\u003cp\u003e——佚名《子衿》\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:41"},{"content":"纵有千种风情，更与何人说？\n","permalink":"https://www.zchens.cn/moments/moment-qh7x6poa/","summary":"\u003cp\u003e纵有千种风情，更与何人说？\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:40"},{"content":"把烦恼向浩渺的互联网诉说，内心竟然也会平静一些。当真有些滑稽了\n","permalink":"https://www.zchens.cn/moments/moment-ha1e7m7x/","summary":"\u003cp\u003e把烦恼向浩渺的互联网诉说，内心竟然也会平静一些。当真有些滑稽了\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:39"},{"content":"一花一世界，一树一菩提。\n","permalink":"https://www.zchens.cn/moments/moment-natioiji/","summary":"\u003cp\u003e一花一世界，一树一菩提。\u003c/p\u003e","title":"碎碎念 · 2025-11-10 01:37"},{"content":"“他们管这叫成长”\n","permalink":"https://www.zchens.cn/moments/moment-psnsnqnd/","summary":"\u003cp\u003e“他们管这叫成长”\u003c/p\u003e","title":"碎碎念 · 2025-11-09 21:39"},{"content":"halo 的主题还是太不好看了，得想办法自己写一个了\n","permalink":"https://www.zchens.cn/moments/moment-qnhm3it7/","summary":"\u003cp\u003ehalo 的主题还是太不好看了，得想办法自己写一个了\u003c/p\u003e","title":"碎碎念 · 2025-11-09 19:41"},{"content":"服务器面板是世界上最伟大的发明，哈哈哈\n","permalink":"https://www.zchens.cn/moments/moment-qr7svxrp/","summary":"\u003cp\u003e服务器面板是世界上最伟大的发明，哈哈哈\u003c/p\u003e","title":"碎碎念 · 2025-11-09 19:38"},{"content":"你这细雨绵绵\n催人性命啊\n树林里\n坡子上\n你怎么哪里都在\n怎这个阴魂不散\n","permalink":"https://www.zchens.cn/archives/yu/","summary":"\u003cp\u003e你这细雨绵绵\u003c/p\u003e\n\u003cp\u003e催人性命啊\u003c/p\u003e\n\u003cp\u003e树林里\u003c/p\u003e\n\u003cp\u003e坡子上\u003c/p\u003e\n\u003cp\u003e你怎么哪里都在\u003c/p\u003e\n\u003cp\u003e怎这个阴魂不散\u003c/p\u003e","title":"《雨》"},{"content":"在完成vmware的虚拟克隆功能后,我们还需要进行后续的收尾操作来使得克隆后的虚拟机正常工作, 本栏使用的是比较干净的虚拟机环境, 没有多余配置.只是为了简化课程实验的步骤. 在实际生产中一般不允许使用实例迁移. 当然, 生产不用虚拟机的.\n实验环境: Centos 6.7\n实验步骤 克隆虚拟机的本质是复制，这会导致新旧两台机器在网络身份、系统身份和安全身份上完全相同。我们的目标就是把新克隆的虚拟机变成一个独一无二的、干净的独立个体，以避免在网络中产生任何冲突。\n第一部分：网络配置修复 (最关键) 这是解决“网络不通”问题的核心，目标是让系统配置与虚拟机的新硬件（尤其是新MAC地址）完全匹配。\n首选方案：保留原始网卡名 (如 eth0)\n获取新MAC地址: 启动克隆机后，用 ip addr show 或 ifconfig -a 查到新网卡的真实MAC地址和它被临时分配的名字 (如 eth1)。\n清除旧硬件规则: 删除系统对“旧MAC地址 -\u0026gt; eth0”的记忆。\ncodeBash\nrm -f /etc/udev/rules.d/70-persistent-net.rules\r修改网卡配置文件: 编辑 /etc/sysconfig/network-scripts/ifcfg-eth0。\nHWADDR: 必须修改为第1步中获取的新MAC地址。\nUUID: 必须将该行删除，让系统重新生成。\nIPADDR: 如果使用静态IP，必须修改为一个新的、未被占用的IP地址。\n重启使规则生效: 必须执行 reboot 重启整个虚拟机，不能只重启网络服务。\n第二部分：系统身份修改 (避免混淆) 目标是让新虚拟机在网络中拥有自己独一无二的名字。\n修改主机名 (Hostname):\n永久修改: 编辑 /etc/sysconfig/network 文件，修改 HOSTNAME 字段为一个新名字（例如 slave, node2 等）。\n立即生效: 执行 hostname [新主机名]，可以让当前会话立即看到新名字。\n更新本地解析文件 (/etc/hosts):\n编辑 /etc/hosts 文件。\n找到包含旧主机名和旧IP地址的那一行。\n将其更新为新的IP地址和新的主机名，确保本机能正确解析自己。\n示例：\ncodeCode\n# 修改前\r192.168.1.10 master.localdomain master\r# 修改后\r192.168.1.20 slave.localdomain slave\r第三部分：安全身份重置 (避免安全警告) 目标是为新虚拟机生成一套全新的SSH身份密钥，防止SSH客户端因密钥重复而发出安全警告。\n删除旧的SSH主机密钥:\ncodeBash\nrm -f /etc/ssh/ssh_host_*\r重新生成新密钥:\n最简单的方法就是重启虚拟机 (reboot)。系统在启动sshd服务时，发现密钥不存在会自动创建。\n或者，也可以只重启sshd服务：service sshd restart。\n简明操作流程总结 下次克隆虚拟机后，您可以直接按照这个简化流程操作：\n启动克隆机，用 ip addr show 记录下新网卡的MAC地址。\nrm -f /etc/udev/rules.d/70-persistent-net.rules\nvi /etc/sysconfig/network-scripts/ifcfg-eth0\n修改 HWADDR 为新MAC。\n修改 IPADDR 为新IP。\n删除 UUID 行。\nvi /etc/sysconfig/network\n修改 HOSTNAME 为新主机名。 vi /etc/hosts\n更新IP和主机名映射。 rm -f /etc/ssh/ssh_host_*\nreboot\n","permalink":"https://www.zchens.cn/archives/vmware-xu-ni-ji-ke-long/","summary":"\u003cp\u003e在完成vmware的虚拟克隆功能后,我们还需要进行后续的收尾操作来使得克隆后的虚拟机正常工作, 本栏使用的是比较干净的虚拟机环境, 没有多余配置.只是为了简化课程实验的步骤\u003csub\u003e.\u003c/sub\u003e 在实际生产中一般不允许使用实例迁移. 当然, 生产不用虚拟机的.\u003c/p\u003e","title":"vmware 虚拟机克隆"},{"content":"前情提要 如图，我的服务器存储空间爆了，幸亏分区够细，要是是auto-dl上的虚拟机，单分区的话，这时候已经得刷机了，哈哈哈。\n原因 Gitea归档文件爆满。\n“鬼知道这个gitea闲的没事把我cpu核心吃满干嘛，早怀疑他了”\n具体原因定位为：每次git clone 新版本，都将所有文件打包一次保存在repo_archive文件夹下，实现用空间换性能。\n解决方式 如图，把repo_archive全删了就好，但是根治的话。。。。计划用rclone+alist，但是我的alist并不稳定。\n","permalink":"https://www.zchens.cn/archives/wei-ming-ming-wen-zhang-JnaSZDTr/","summary":"\u003ch3 id=\"前情提要\"\u003e前情提要\u003c/h3\u003e\n\u003cimg src=\"/upload/屏幕截图%202025-11-04%20232341.png\" style=\"display: inline-block;width:50.0%\" sizes=\"(max-width: 640px) 94vw, (max-width: 768px) 92vw, (max-width: 1024px) 88vw, min(800px, 85vw)\" srcset=\"/upload/%E5%B1%8F%E5%B9%95%E6%88%AA%E5%9B%BE%202025-11-04%20232341.png?width=800 800w, /upload/%E5%B1%8F%E5%B9%95%E6%88%AA%E5%9B%BE%202025-11-04%20232341.png?width=1200 1200w, /upload/%E5%B1%8F%E5%B9%95%E6%88%AA%E5%9B%BE%202025-11-04%20232341.png?width=1600 1600w, /upload/%E5%B1%8F%E5%B9%95%E6%88%AA%E5%9B%BE%202025-11-04%20232341.png?width=400 400w\" /\u003e\r\n\u003cp\u003e如图，我的服务器存储空间爆了，幸亏分区够细，要是是auto-dl上的虚拟机，单分区的话，这时候已经得刷机了，哈哈哈。\u003c/p\u003e","title":"维护日志——Gitea"},{"content":"最近出现了批量查询某个实验室省市信息的需求，虽然不多，但也有200来个吧。纯懒人是不可能手搓的，最初计划用ai的研究功能查询，但尝试了gpt search ，gemini search。两个效果都不理想。最终没办法，尝试找找高德有没有免费api，所以有了这篇文章。\nurl：https://console.amap.com\n个人账户的免费额度就很够很够用了。\n刚刚就使用了360次查询，免费额度完全抵消了。\n同时，它的免费额度很多：\n其api具有软件版本的全部功能，如果你手机上有操作需要批量进行，是用api即可。更高级的api需要就根据个人需求了解了。\n","permalink":"https://www.zchens.cn/archives/di-zhi-pi-cha-xun----gao-de-api/","summary":"\u003cp\u003e最近出现了批量查询某个实验室省市信息的需求，虽然不多，但也有200来个吧。纯懒人是不可能手搓的，最初计划用ai的研究功能查询，但尝试了gpt search ，gemini search。两个效果都不理想。最终没办法，尝试找找高德有没有免费api，所以有了这篇文章。\u003c/p\u003e","title":"地址批查询——高德API"},{"content":"你也不想打游戏还有个mongodb在跑吧。下面来关掉它\nWIN + X ——\u0026gt;点击 终端管理员 输入 net stop mongodb 这个mongodb名称和你最开始设置的服务名字有关，默认是叫这个。\n忘了的话net应该有search功能，可以自己查。\n下次要启动mongodb需要运行 net start mongodb。\n","permalink":"https://www.zchens.cn/archives/windows-mongodbguan-bi/","summary":"\u003cp\u003e你也不想打游戏还有个mongodb在跑吧。下面来关掉它\u003c/p\u003e\n\u003cp\u003eWIN + X ——\u0026gt;点击 \u003ccode\u003e终端管理员\u003c/code\u003e 输入 \u003ccode\u003enet stop mongodb\u003c/code\u003e 这个mongodb名称和你最开始设置的服务名字有关，默认是叫这个。\u003c/p\u003e","title":"windows MongoDB关闭"},{"content":" 通知: Gitea仓库因个人无维护能力停止服务\n这是头铁版的解决方式，ai神力。\n2.1.0flink版本的 代码上传至我的 git 仓库\nhttp://ecs.zchens.cn:3000/zchen/flink-course-exp3.git\ngit clone 请使用高速线路https://zchens.cn:3000/zchen/flink-course-exp3.git 。这里这么做的原因是我自己网站的历史遗留问题，懒得解决了。直接下载你会享受3Mbps的超大带宽，另一个是200Mbps，但也只能git clone用。\n主要问题是网络的访问，这里主要介绍不放在同一个docker network下的解决方式。\nexternal 一定要填电脑的IP地址，windows 用ipconfig 看，linux 为ifconfig。\n因为用的不是回环地址，走了网卡，可能（如果没在防火墙配置端口放行）会被防火墙拦住。\n只需要放行19092 29092 39092 三个端口即可。\n","permalink":"https://www.zchens.cn/archives/kafka-flink-docker-bu-shu/","summary":"\u003cblockquote\u003e\n\u003cp\u003e通知: Gitea仓库因个人无维护能力停止服务\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003cp\u003e这是头铁版的解决方式，ai神力。\u003c/p\u003e\n\u003cp\u003e2.1.0flink版本的 代码上传至我的 git 仓库\u003c/p\u003e\n\u003cp\u003e\u003ca href=\"http://ecs.zchens.cn:3000/zchen/flink-course-exp3.git\" target=\"_self\" rel=\"\"\u003e\u003cdel\u003e\u003ca href=\"http://ecs.zchens.cn:3000/zchen/flink-course-exp3.git\"\u003ehttp://ecs.zchens.cn:3000/zchen/flink-course-exp3.git\u003c/a\u003e\u003c/del\u003e\u003c/a\u003e\u003c/p\u003e\n\u003cp\u003e\u003cu\u003egit clone 请使用高速线路\u003c/u\u003e\u003ca href=\"https://zchens.cn:3000/zchen/flink-course-exp3.git\" target=\"_blank\" rel=\"\"\u003e\u003cdel\u003e\u003cu\u003e\u003ca href=\"https://zchens.cn:3000/zchen/flink-course-exp3.git\"\u003ehttps://zchens.cn:3000/zchen/flink-course-exp3.git\u003c/a\u003e\u003c/u\u003e\u003c/del\u003e\u003c/a\u003e \u003cu\u003e。这里这么做的原因是我自己网站的历史遗留问题，懒得解决了。直接下载你会享受3Mbps的超大带宽，另一个是200Mbps，但也只能git clone用。\u003c/u\u003e\u003c/p\u003e","title":"kafka+flink docker 部署"},{"content":"最近后台访问速度提升不少，原因不明。是知道我想换hexo开始挽留了吗？哈哈哈哈。\n发现是服务器swap优先级调太高了，数据库读取速度过慢。hhh\n","permalink":"https://www.zchens.cn/archives/wei-hu-ri-zhi/","summary":"\u003cp\u003e最近后台访问速度提升不少，原因不明。是知道我想换hexo开始挽留了吗？哈哈哈哈。\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003e发现是服务器swap优先级调太高了，数据库读取速度过慢。hhh\u003c/p\u003e\n\u003c/blockquote\u003e","title":"访问速度提升"},{"content":"在windows下（docker-desktop）进行docker分布式部署kafka环境时，遇到了部分网络问题，具体问题细节不清楚了。大致可以归结到端口映射上去。\n如下，kafka内部端口为9092，不需要映射到容器外部。广播端口为19092，需要广播。\n另外，在外部通信ip部分，为了便捷性，请尽量填写回环地址。实际生产环境虽然不推荐，但是这个可以避免你使用自身ip地址被自己电脑防火墙拦住的可能性（我被拦了）。windows开防火墙没了解过，也不想学，hhhh。已经被服务器的 网关安全组功能养成傻子了，可视化真好用。\nservices: kafka1: container_name: kafka1 image: bitnami/kafka:3.6.1 user: root ports: - \u0026#34;19092:19092\u0026#34; # 外部端口映射到外部监听器端口 - \u0026#34;19093:9093\u0026#34; environment: # 允许使用KRaft - KAFKA_ENABLE_KRAFT=yes - KAFKA_CFG_PROCESS_ROLES=broker,controller - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER # 定义监听器名称与安全协议的映射关系 - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT # 定义监听器：内部网络用9092，外部网络用19092，控制器用9093 - KAFKA_CFG_LISTENERS=INTERNAL://:9092,EXTERNAL://:19092,CONTROLLER://:9093 # 定义宣告地址：内部用服务名，外部用宿主机IP - KAFKA_CFG_ADVERTISED_LISTENERS=INTERNAL://kafka1:9092,EXTERNAL://localhost:19092 # 指定broker间通信使用内部监听器 - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=INTERNAL - KAFKA_CFG_NODE_ID=1 - KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI # 使用服务名作为控制器地址，更具弹性 - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093 - ALLOW_PLAINTEXT_LISTENER=yes # 设置broker最大内存和初始内存 - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M volumes: # 挂载路径，标红处修改为自己的路径 - /E/dockers/volume/kafka/broker01:/bitnami/kafka:rw networks: netkafka: ipv4_address: 172.23.0.11 kafka2: container_name: kafka2 image: bitnami/kafka:3.6.1 user: root ports: - \u0026#34;29092:29092\u0026#34; # 外部端口映射到外部监听器端口 - \u0026#34;29093:9093\u0026#34; environment: - KAFKA_ENABLE_KRAFT=yes - KAFKA_CFG_PROCESS_ROLES=broker,controller - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER # 定义监听器名称与安全协议的映射关系 - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT # 定义监听器：内部网络用9092，外部网络用29092，控制器用9093 - KAFKA_CFG_LISTENERS=INTERNAL://:9092,EXTERNAL://:29092,CONTROLLER://:9093 # 定义宣告地址：内部用服务名，外部用宿主机IP - KAFKA_CFG_ADVERTISED_LISTENERS=INTERNAL://kafka2:9092,EXTERNAL://localhost:29092 # 指定broker间通信使用内部监听器 - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=INTERNAL - KAFKA_CFG_NODE_ID=2 - KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI # 三个节点保持一致 # 使用服务名作为控制器地址，更具弹性 - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093 - ALLOW_PLAINTEXT_LISTENER=yes - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M volumes: # 挂载路径，标红处修改为自己的路径 - /E/dockers/volume/kafka/broker02:/bitnami/kafka:rw networks: netkafka: ipv4_address: 172.23.0.12 kafka3: container_name: kafka3 image: bitnami/kafka:3.6.1 user: root ports: - \u0026#34;39092:39092\u0026#34; # 外部端口映射到外部监听器端口 - \u0026#34;39093:9093\u0026#34; environment: - KAFKA_ENABLE_KRAFT=yes - KAFKA_CFG_PROCESS_ROLES=broker,controller - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER # 定义监听器名称与安全协议的映射关系 - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT # 定义监听器：内部网络用9092，外部网络用39092，控制器用9093 - KAFKA_CFG_LISTENERS=INTERNAL://:9092,EXTERNAL://:39092,CONTROLLER://:9093 # 定义宣告地址：内部用服务名，外部用宿主机IP - KAFKA_CFG_ADVERTISED_LISTENERS=INTERNAL://kafka3:9092,EXTERNAL://localhost:39092 # 指定broker间通信使用内部监听器 - KAFKA_CFG_INTER_BROKER_LISTENER_NAME=INTERNAL - KAFKA_CFG_NODE_ID=3 - KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI # 使用服务名作为控制器地址，更具弹性 - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093 - ALLOW_PLAINTEXT_LISTENER=yes - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M volumes: # 挂载路径，标红处修改为自己的路径 - /E/dockers/volume/kafka/broker03:/bitnami/kafka:rw networks: netkafka: ipv4_address: 172.23.0.13 networks: netkafka: external: true driver: bridge name: netkafka ipam: driver: default config: - subnet: 172.23.0.0/25 gateway: 172.23.0.1 ","permalink":"https://www.zchens.cn/archives/wei-ming-ming-wen-zhang/","summary":"\u003cp\u003e在windows下（docker-desktop）进行docker分布式部署kafka环境时，遇到了部分网络问题，具体问题细节不清楚了。大致可以归结到端口映射上去。\u003c/p\u003e","title":"docker下的Kafka分布式部署"},{"content":"问题概要：\n白嫖鼠鼠在快乐的白嫖kaggle 的 超强TPU v5e-8的时候，历尽千辛万苦把模型从torch-cuda 迁移到tensorflow中来。\n然后却频繁报错，报错中提到一个我已经删除了的损失函数类，CTCLoss，这个的实现最开始没用库。写的有问题，后来删掉了，却在报错中发现了报错位置在这里。\n查询资料可以知道：\ntensorflow会将xla缓存图默认存放在磁盘中，猜测是磁盘缓存造成影响，同时我用的环境是kaggle上很老的一个环境，很可能这个环境多次分配给了我一个人，而没有重新构建过。导致硬盘的缓存一直都在，哪怕重启。但是我觉得tensorflow框架应该不至于连缓存命中机制都能写错。。。。。\n解决方式：\npip install tf-seq2seq-losses\n这里别人重写的版本，替换掉tensorflow 的 ctc_loss即可。问题仅出现在kaggle环境中，hhhhh。\n详细可从下方链接了解。\nGoogle - American Sign Language Fingerspelling Recognition | Kaggle\nCTC Loss errors on TPU · Issue #61297 · tensorflow/tensorflow\ntensorflow - Compilation failure: Detected unsupported operations when trying to compile graph get_loss_cond_1_true_88089_rewritten[] - Stack Overflow\n","permalink":"https://www.zchens.cn/archives/guan-yu-bei-tpu-xlatu-huan-cun-zuo-ju/","summary":"\u003cp\u003e问题概要：\u003c/p\u003e\n\u003cp\u003e白嫖鼠鼠在快乐的白嫖kaggle 的 超强TPU v5e-8的时候，历尽千辛万苦把模型从torch-cuda 迁移到tensorflow中来。\u003c/p\u003e","title":"关于被TPU xla图缓存做局"},{"content":"2025/10/19日，建站。\n目标暂定为长期维护\n域名：zchens.cn 长期维护，一年三十块钱还是有的。\n服务器资源没有便宜的话，后面会迁移到claw cloud run 上，白嫖。就是国内访问会稍微慢一些些，虽然现在也不快。\nHalo性能确实不太好，没有wordpress \u0026ldquo;臃肿\u0026rdquo;，却比wp还慢。\n这个多用户挺有意思的，还没玩过。\n第一篇就这样吧！\n","permalink":"https://www.zchens.cn/archives/qian-yan/","summary":"\u003cp\u003e2025/10/19日，建站。\u003c/p\u003e\n\u003cp\u003e目标暂定为长期维护\u003c/p\u003e\n\u003cp\u003e域名：zchens.cn 长期维护，一年三十块钱还是有的。\u003c/p\u003e\n\u003cp\u003e服务器资源没有便宜的话，后面会迁移到claw cloud run 上，白嫖。就是国内访问会稍微慢一些些，虽然现在也不快。\u003c/p\u003e","title":"以前的笔记随缘再上传，如今，新开一笔"},{"content":"欢迎来到我的一方世界，作者喜欢计算机，喜欢折腾，不善言辞。\n另附：\n落花有意，流水无情。\n人生南北多歧路，君向潇湘我向秦。\n","permalink":"https://www.zchens.cn/about/","summary":"\u003cp\u003e欢迎来到我的一方世界，作者喜欢计算机，喜欢折腾，不善言辞。\u003c/p\u003e\n\u003cp\u003e另附：\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003e落花有意，流水无情。\u003c/p\u003e\n\u003cp\u003e人生南北多歧路，君向潇湘我向秦。\u003c/p\u003e\n\u003c/blockquote\u003e","title":"关于"},{"content":" 题是后来起的，单独两篇共用的大标题，因为两篇同时写的，不好拆开。\n——2025/11/5\n咱们去那儿 星星说\n那里，好\n我们就去\n那里\n星星色 豆大的汗\n和我落在草原上\n我不向往\n草原\n豆大的星星\n落在\n银河里\n眼神闪烁\n我看着他\n","permalink":"https://www.zchens.cn/archives/wu-bian-zhi-feng-de-juan-gu/","summary":"\u003cblockquote\u003e\n\u003cp\u003e题是后来起的，单独两篇共用的大标题，因为两篇同时写的，不好拆开。\u003c/p\u003e\n\u003cp\u003e——2025/11/5\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003ch3 id=\"咱们去那儿\"\u003e咱们去那儿\u003c/h3\u003e\n\u003cp\u003e星星说\u003c/p\u003e\n\u003cp\u003e那里，好\u003c/p\u003e\n\u003cp\u003e我们就去\u003c/p\u003e\n\u003cp\u003e那里\u003c/p\u003e\n\u003chr\u003e\n\u003ch3 id=\"星星色\"\u003e星星色\u003c/h3\u003e\n\u003cp\u003e豆大的汗\u003c/p\u003e\n\u003cp\u003e和我落在草原上\u003c/p\u003e\n\u003cp\u003e我不向往\u003c/p\u003e\n\u003cp\u003e草原\u003c/p\u003e\n\u003cp\u003e豆大的星星\u003c/p\u003e\n\u003cp\u003e落在\u003c/p\u003e","title":"《无边之风的眷顾》"},{"content":" 1. Introduction and Context: The introduction is clear, but you could add a brief overview of what Gradient Descent and Backpropagation are before diving into the details. This would help readers who might be new to these concepts.\n2. Clarity in Mathematical Concepts: When introducing mathematical symbols like y_n and J_{y_n}, ensure that each symbol and its role in the algorithm are explicitly defined. Consider using bullet points or breaking down equations to make them easier to follow.\n3. Flow and Transitions: Consider adding smoother transitions between sections, especially when moving from the introduction to the technical content. You could add a sentence or two that explains why the next section is important in the context of the overall discussion.\n4. Detailed Examples: Adding a simple, concrete example of how gradients are calculated and how they influence weight updates could help solidify understanding.\n5. Conclusion: Adding a brief conclusion summarizing the key points discussed and how they tie together could reinforce the material for the reader.\nGradient Descent Algorithm \u0026amp; Backpropagation This article focuses on helping to understand the relationship between various concepts and the rationale behind constructing these algorithms. Note that some of the mathematical expressions may not be rigorously formal; the author expresses them in a way that is understandable for those without a strong mathematical background.\nIntroduction Recently, I\u0026rsquo;ve been working with the backpropagation method in the context of model training. This technique allows us to propagate errors backward through the network, adjusting the parameters of each layer to optimize the model. The algorithm used for this optimization is known as the Gradient Descent Algorithm.\nFirst, let\u0026rsquo;s refresh our understanding of the concept of gradients from calculus, as it is crucial for understanding the gradient descent algorithm.\nPrerequisite Knowledge Gradient The gradient can be represented as a matrix or vector, pointing in the direction of the steepest increase of the function at a particular point.\nLoss In essence, model training is about fine-tuning parameters to better fit the data. To quantify how well our model fits the data, we need a metric to evaluate the quality of our predictions, which we call Loss.\nThere are many ways to define Loss, with Mean Squared Error (MSE) being one of the most commonly used metrics.\nText Part \u0026lt;!\u0026ndash; Now that we have defined the goal of minimizing Loss, let\u0026rsquo;s discuss how it\u0026rsquo;s calculated. The final Loss value is directly related to the model\u0026rsquo;s output, which we\u0026rsquo;ll denote as ***y\u0026lt;sub\u0026gt;n\u0026lt;/sub\u0026gt;*** (where ***y\u0026lt;sub\u0026gt;n\u0026lt;/sub\u0026gt;*** can be a matrix, often used to store numerical values). Using the formula for Loss (assuming MSE), we can define a function ***J(y\u0026lt;sub\u0026gt;n\u0026lt;/sub\u0026gt;)***. By taking the gradient of ***J*** with respect to the function\u0026rsquo;s parameters (which in this case are the outputs of the n-th layer), we can determine how to adjust these outputs in the direction that decreases Loss. This gradient is then distributed (or propagated) to the individual neurons in the n-th layer, indicating how each neuron\u0026rsquo;s output should change. The difference between the actual output and the optimized output is then used to update the weights and biases accordingly, optimizing the parameters of the n-th layer. This process is repeated for each layer in the network. \u0026ndash;\u0026gt;\nNow that we have defined the goal of minimizing Loss, let’s delve into how it is calculated:\n1. Model Output:\n- The final Loss value is directly tied to the model’s output, which we’ll denote as y_n.\n- y_ncan be a matrix, typically used to store numerical values representing the output of the n-th layer.\n2. Defining the Loss Function:\n- Using a standard Loss function, such as Mean Squared Error (MSE), we define a function J_n that calculates the Loss based on the outputs.\n3. Calculating the Gradient:\n- To optimize the model, we calculate the gradient of J with respect to the parameters of the function, which in this case are the outputs of the n-th layer.\n- This gradient indicates how we should adjust these outputs to reduce the Loss.\n4. Propagation of the Gradient:\n- The calculated gradient is then distributed (or propagated) to each neuron in the n-th layer, guiding how each neuron\u0026rsquo;s output should be modified.\n5. Updating Weights and Biases:\n- The difference between the actual output and the optimized output is used to update the weights and biases in the network. This step optimizes the parameters of the n-th layer.\n- This process is repeated layer by layer across the entire network.\n","permalink":"https://www.zchens.cn/archives/gradient-descent-algorithm-back-propogation/","summary":"\u003cblockquote\u003e\n\u003cp\u003e1. \u003cstrong\u003eIntroduction and Context\u003c/strong\u003e: The introduction is clear, but you could add a brief overview of what Gradient Descent and Backpropagation are before diving into the details. This would help readers who might be new to these concepts.\u003c/p\u003e\n\u003cp\u003e2. \u003cstrong\u003eClarity in Mathematical Concepts\u003c/strong\u003e: When introducing mathematical symbols like \u003cspan content=\"y_n\" math-inline=\"\"\u003ey_n\u003c/span\u003e and \u003cspan content=\"J_{y_n}\" math-inline=\"\"\u003eJ_{y_n}\u003c/span\u003e, ensure that each symbol and its role in the algorithm are explicitly defined. Consider using bullet points or breaking down equations to make them easier to follow.\u003c/p\u003e\n\u003cp\u003e3. \u003cstrong\u003eFlow and Transitions\u003c/strong\u003e: Consider adding smoother transitions between sections, especially when moving from the introduction to the technical content. You could add a sentence or two that explains why the next section is important in the context of the overall discussion.\u003c/p\u003e\n\u003cp\u003e4. \u003cstrong\u003eDetailed Examples\u003c/strong\u003e: Adding a simple, concrete example of how gradients are calculated and how they influence weight updates could help solidify understanding.\u003c/p\u003e\n\u003cp\u003e5. \u003cstrong\u003eConclusion\u003c/strong\u003e: Adding a brief conclusion summarizing the key points discussed and how they tie together could reinforce the material for the reader.\u003c/p\u003e\n\u003c/blockquote\u003e","title":"Gradient descent algorithm \u0026 Back propogation"},{"content":"于是又拿起笔\n好不称手\n大笔一挥\n纸上竟凭空多了几个字\n说是——\n江郎才尽\n","permalink":"https://www.zchens.cn/archives/kua-bu-xiang-jin-ye-zhao-yang/","summary":"\u003cp\u003e于是又拿起笔\u003c/p\u003e\n\u003cp\u003e好不称手\u003c/p\u003e\n\u003cp\u003e大笔一挥\u003c/p\u003e\n\u003cp\u003e纸上竟凭空多了几个字\u003c/p\u003e\n\u003cp\u003e说是——\u003c/p\u003e\n\u003cp\u003e江郎才尽\u003c/p\u003e","title":"《跨步向今夜朝阳》"},{"content":" 攥写时间具体记不得了，选了个大致的时间吧。\n他举起手中的剑与盾，\n要与它决战了\n他化成他的样子——\n星空也叹息，\n再激不起一缕风浪\n冒险家啊\n咱们擎着船儿返航吧！\n\u0026mdash;-漫游的行者啊，你是在？\n捕风么\n是哪位吟游诗人惊醒了你的梦呀？\n","permalink":"https://www.zchens.cn/archives/feng-de-jiang-diao/","summary":"\u003cblockquote\u003e\n\u003cp\u003e攥写时间具体记不得了，选了个大致的时间吧。\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003cp\u003e他举起手中的剑与盾，\u003c/p\u003e\n\u003cp\u003e要与它决战了\u003c/p\u003e\n\u003cp\u003e他化成他的样子——\u003c/p\u003e\n\u003cp\u003e星空也叹息，\u003c/p\u003e\n\u003cp\u003e再激不起一缕风浪\u003c/p\u003e\n\u003cp\u003e冒险家啊\u003c/p\u003e\n\u003cp\u003e咱们擎着船儿返航吧！\u003c/p\u003e\n\u003cp\u003e\u0026mdash;-漫游的行者啊，你是在？\u003c/p\u003e","title":"《风的降调》"}]