12月因为期末没有更博客,寒假开始补上一些内容。
最近在训模型时遇到需要用01向量来作为门控的时候,发现01向量的梯度会消失,需要使用特殊的技巧来处理,师兄让俺来学一下Gumbel-max,所以有了这篇博客。
这里主要讲一下01向量实现可微分的代码实现,原理部分讲解可能不太清楚。
12月因为期末没有更博客,寒假开始补上一些内容。
最近在训模型时遇到需要用01向量来作为门控的时候,发现01向量的梯度会消失,需要使用特殊的技巧来处理,师兄让俺来学一下Gumbel-max,所以有了这篇博客。
这里主要讲一下01向量实现可微分的代码实现,原理部分讲解可能不太清楚。
本博客主要写: 对此博客创建的初衷与对笔者自己的介绍。
一个来自某某师专的菜鸟ACMer,创建此博客的初衷是分享学习与生活、解决各种问题的过程。
本人是来自某某师专(bushi)的学生,专业是计算机科学与技术,在编写此博客时,是一名大一的本科学生。
已经参与过数学建模、ICPC等ACM竞赛、CTF竞赛,并且在逐步学习前后端开发知识,对人工智能也颇有兴趣。 创建本博客也正是为了记录各类知识学习的过程。
编写此博客时,笔者正在学习SpringBoot与Vue框架,希望能成为一个不写屎山代码的全栈程序员。同时,算法的学习不会停下脚步,正在codeforces、Acwing、洛谷等平台进行算法的学习。
由于本人恋爱脑的性格,所以说不定会(肯定会)在这里分享一些恋爱日常。(小狗饼too可爱!)
最近学LLMs量化压缩,看到一篇把代码库写得比较完善的论文:
对应的代码库在:xTuring
git作为目前最先进的分布式版本管理系统。
git是分布式版本控制系统,那么它就没有中央服务器的,每个人的电脑就是一个完整的版本库,这样,工作的时候就不需要联网了,因为版本都是在自己的电脑上。既然每个人的电脑都有一个完整的版本库,那多个人如何协作呢?比如说自己在电脑上改了文件A,其他人也在电脑上改了文件A,这时,你们两之间只需把各自的修改推送给对方,就可以互相看到对方的修改了。
COLD: A Benchmark for Chinese Offensive Language Detection论文原文