StreamSparkAI

speaker 1: 来继续来讲这个语言模型的有关大语言模型的那我们今天来讲就是loa的training。 那我们作业三应该就是做这个instruction tuning啊tuning我再训练一下我们这个台湾妈妈不好，应该是用7B的模型。 那请问有人开始做了吗？ 如果有人开始做的话，可以举个手吗？ 好，有有少数开始做了。 那有训。
speaker 2: 练完了吗？
speaker 1: 训练好没有回答，反正就是在有人开始做了。 好，那这个instruction tuning就是我们做作业三。 那其实很大一个问题就是你你可不可以你可不可以跑你可不可以跑得动。 呃，那因为大部分人大家应该都不会拿到A 100或是H 100的这个呃显示卡。 所以你如果在用这个呃家用级的显示卡的时候，你需要做一些把它做的啊或是呃一些做一些改动，那设定做一些改动。 那我们在因为其实现在的训练这个frawork是非常非常的容易的。 那助教应该有提供给你们相关的这个training school。
speaker 2: 那我到最后面会两页同影片友会跟你讲说怎么去训练哈那基本上你是完全不用写call了。
speaker 1: 你只要把资料整理成一个格式，然后呢其实安装套件写con就好了。 那我看到有面有人看到在在在看这张图，这张图是用那个gt产生的那我就把呃对我们原本那个图那个呃这个拉那他后来我就说么么之类的，后来没想到这个应该是我没有讲说在象山，那这个很明显的应该是在象山。 那还有很厉害的101，这没什么了不起的。 你看到101右边那个有一个威风男山，我觉得很厉害。 因为因为有有威风男山应该是这五年内才啊至少才凸起来的这个东西。 那里面应该是没有看到其他的呃显著的建筑物，没有看到世猫啊什么之类的，反正我都觉得非常非常的啊非常非常的厉害，没想到他们竟然这些英就图像更新到啊更新到这个这个这近五年了。 好，那我们回到就是如你可不可以跑啊，那其实我建议他去谷搜寻，就是。 Can you run m version? 他们就会告诉你去说你要去看哪一个模型，你可不可以可不可以训练，然后再把你的我放上去，比如说的啊可能4090A100等等等东西。 他就告诉你说如果用30 26B16或是Q它需要多少exactly多少的memory，就是这个minimum的这个啊requirement .
speaker 2: no .
speaker 1: hello好，就是他会告诉你最低最低要多少，那这个蛮蛮有用的哈，你不用自己去算，那自己去算也是可以，但是呃就会呃稍微麻烦一点点。 那你会想说，那这个four 32跟b four 16那到底要看哪一个呢？ 如果你的话，你就看int four那个，那如果是你要four tun啊, 基本上是看B或16。 好，那这是推荐大家这个网站啊，大家就可以去看。 如果你要买显示卡的时候，也稍微看一下怎样你才是啊才符合你的需求。 好，那我们讲这个A它其实都都会多多少少听过。 那他一开始motivation是从啊飞A现在它一篇paper它就说interesting，就是你这个魔大模型的内涵的这个R啊就是矩阵的这个R其, 实是相当的低啊。 那这个有一个呃finding，就说呃finding就是说这个low rank很低，内在的rank很低。 但但这个是其实想象的rank不是真的，你去做啊这个operation或是color operation得到的这个independence。 但是它有一个呃呃影响，就是说现在的language model其实可以被少少的资料to to的原因是因为它里面那个rank很低，所以你只要有少资料去to那个小的R去解那个方程才是比会比较可行。 那另外一个的话就是我们其实那是不是可以把我们把矩阵做拆解，矩阵做拆解的话我们预算会比较快。 好，所以这个我们刚刚讲rank并不是真的去呃把模型的那个呃可能低by低的去做呃矩阵相乘，不是这样子做，或是也甚至不是做什么V D或是等等那种东西，它是比较脑中比较你想象出来的那个rank，它不不是，它只是啊生并不是真的线性代数里面讲的。 好，那我们回顾一下，我们上礼拜讲我们讲到这个transformer妈妈的模型总共大概是有organization zation，然后self attention最后是接了呃for network，那我们现在啊只通常都只用在self attention那边。
speaker 2: 那说self attention不是就是运算吗？ 没有，self attention里面有四个矩阵，1WQWK、W B W O, 就是他这个原本的个进去这个self要过个同样度的。
speaker 1: 那边我们不会加bi的, 应该说整个transformer现在通常是不加bias的，就是同样维度的projection q kv做一次，然后最后output的时候也再做一次。 好，那我们来看一下这个loa它的这个这个是啊从hanface上面抓出来的这个这个动画原本的put原本的矩阵乘法复制两份，左边走啊pre位就是完全没有动，原本拉玛pre完怎样就是怎样。 右边的话是你新加的两个橘色的方程式啊的矩阵，然后两左边做矩阵乘法，右边做两次矩阵乘法后，直接把它们相加，这就是laa的ID那你说loa有什么好处呢？ 因为原本左边的啊矩阵的话，你如果做低低维度到低啊啊英文字母这个D啊这个D D to d的这个protec的话，你的这个圈位的话是啊一定就是D百D嘛。 那如果你是用A的话，你可以两个矩阵去approximate，一个是d by R一个是R D那这个D呢通常是远远小于R是远远小于这个D因为D的话至少都什么512768，但是这个R呢通常是一啊248，是634，最常用就是4。 所以你可以看到可以训练的参数就比你减少掉很多了。 因为你这个低，如果是512的话，就是512乘512。 但是如果你啊是选成四的话，就是51 2乘4乘2，所以你需要训练的啊呃参数量就会显著的少很多。 所以大家用loa的话，就常常那个层次会跳出来说啊圈的部位的equal数，什么0.001的original。 就看到就很开心，因为就觉得说哎我们要训练的参数同时一下子变得好好少好少。 那还有lo拉还有另外一个好处了，就是它其实因为它这个维度，这个漏的跟off其实速度很快嘛。 那还有说你可以露的一个再漏的两个，再漏三个啊，你不一定啊，只能一个嘛，可好几个啊，但是好几个啊，这个比较多应用是在应用就是那个他们啊这个那个community的。 就他们会比如说训练在一个呃台湾的这个style，然他也是用训练的，然后再训练一个可能二次元的style，然后他把两个加起来就变台湾二次元的style这样子。 好，那A呢到底要去用在哪里？
speaker 2: 我们刚刚讲说Q K V O嘛，那如果你只用在啊一个的话，你可以瑞比较高，你用法。 那如果你用了两个的话，瑞可以比较就需要比较低，不然跑起来嘛，不然就是这个参数量其实也不不懂，不不太吻合。 那瑞果跑四个的话，你就有那2，那基本上他就测出来。
speaker 1: 大概现在大家都是用Q跟V至少会用两个Q跟V然后选4，那瑞到底要多少？ 如果是124864，其实4864就呃这个呃这个边际效应就越来越递减了，所以基本上就用了4，不要用在一跟二会有点少哈。 因为你一跟二你再去做呃用就做矩阵乘法的时候，你就只是在跟他做就是向量相乘而已，就是有点太太低，没有去运用到这个硬体的特性。 好，那如果这个啊这我们。
speaker 2: 看generally啊q Lora and Lora都是一个啊parameter eff的fine ing的方式。 那pm还有之前讲过的，就比如说啊你只fine tunadapter啊或者fine tun什么。 Preing啊prom啊不是啊。
speaker 1: 只fine几。
speaker 2: 那这边就告你说不用就用就好了。 那因为其他的老。
speaker 1: 实说现在呃也许其他的方法可能会有在某一个东西会有好的好的用处，但是它比较不实用啊啊，其实比较啊其实比较简单。 然后performance就还可以这样子。 好，那我们看完A的时候，我们loa就是再回顾一下，就是分两路嘛，一路啊可以可以经过，一路就是有训练。
speaker 2: 一路没训练好。 但是你会想说lo拉的话，那有loa这么好，那为什么还要有Q A那问题就是在于现在的你去训，只用了就训练没有用的，你还是觉得啊还是常常记忆不够，还是有那问题不是出在于右边那个东西，因为右边的东西已经够小了，还是出在于原本的东西。 因为你现在的话，你虽然的时候不用去算左边那个大矩阵，但你的时候还是要左边那个大矩阵。 那左边那个大学生，如果你还是存在16变成32变的话。
speaker 1: 还是非常非常的大。 因为现在模型动不动就是什么13个B脸啊、34个B脸啊、70个B脸。 你看你连influence ference其实都有困难，更不用讲说to那个右边那个Lora wait，所以A的如何解决左边这个东西哈，还有记忆体啊非常的少的的问题，就是有人投提出来这个呃呃q loa那讲Q A之前我们要先讲一。
speaker 2: 下这个浮点数的格式。 一般人大家在讲这浮点数的格式就是four 32，那还有这个four 64了，那我们就不提，因为没比较现在比较少人在用在做啊深度学习相关的那还有另外一个就是T30，这个也还好，那或是说FD16，FD16呢呃它的精度跟FD32比精度下降锐下降。 然后但是这个有一个很大的问题，就是F16你在backword的的时候，其实你是要很大的range的。 你forward的时候是需要精度，你back的时候是需要range。 所以你啊十六用十六用来训练的时候，你的range常常会over。 那这个问题呢你就会出现，你会有你漏会有很多low Spike。 那meta的啊有一个呃模型meta出的叫meta opt，它也是有到175 billion.
speaker 1: 模型的参数。 那他到175 billion的时候，训练时候常常遇到就是常常。
speaker 2: 遇到low Spike，就是不不是flow，那它的问题就是出在16。 当大家知道这个问题的时候，大家全部现在业界的标准应该就是b four使用。 因为b four 6跟B36B你可以看到它的range都是八个B值，但是它的preci只只变七个B那我们就砍掉一些preci然后，换取啊足够的这个啊动数值的空间，让这种这。
speaker 1: 这些东西不要over flow。 好，那更激进的哈，现在呃4090跟H 100接下来的呃呃芯片会有呃资源V8FV8就是下面这两个哈呃啊exponent就是range比较多的是用来back然后比较小，比较多的是用来forward的那它还需要一些的技术，那有兴趣可以看这个的网站。 好，那我们回来讲loa哦，那我们这个拉不是用F P8，我们这里更甚至用到啊要4。 他这边就是这自己自定一个规格叫no Flo 4. 好，那A跟Q A比16变成transformer，变成4B的transformer。 还有另外。
speaker 2: 一个东西，就是它这个上面它叫做呃这个配这个然它其实东西就是调用提供的这个函函数库，然后来把那个state用做。 然后有候你但是你为把memory就帮你做这件事情。
speaker 1: 但是个非常非常的慢，所基本上是不要用，如果你机体能够负荷的话就要不要用。 好，那我们讲Q罗Q啦，它其实就是就是这样。
speaker 2: 这个这个第一条的含啊第五个啊equation，它这个Y啊就是就是上面这个原本这个的的这个上边的黄色上面这个这个填。 那它右边这一块X L one l two就是原本input乘上你的那个A第一个小矩阵l two再乘上第二个A的小矩阵。 那它这边都是用啊正常的精度，就是全部都6。
speaker 1: 那如果另外一侧呢就是它我们这个呃。
speaker 2: 呃这个work最重要的地方就是把减少腿圈位的这个精度嘛。 那他把它存在它的这个for ID的normal force.
speaker 1: 那它会去要做的话，原本是它存的时候，存在记忆体的时候是存在，但它真的资料流进来的时候，人家来的时候，他要去把它把它还原成16B的方式，就是用下面这条他要去两次，因为它是做了两个部分，第一个部分你想说他框台是做什么？
speaker 2: 他框台是原本啊这个x 30这个东西，它会去把它找出它里面值最大的。 比如它里面是啊-2000字最大的值，那你就哎取得绝对值变2000，然后把它压在127的这个range。 因为这个就是呃呃这个这个这个它这个八的这个range，然后他把它压在这里之后呢，然后去把它做就会得到一个这个127除以这个absolu的话。 你就可以得到一个C的这个的这个vec那啊这个呃的那如果你这个C存在M30的话，那他就可以去把月份的这个拿，然后再变。
speaker 1: 成就是你把它做网格这样子。 那他不只做一次这个框台，这是做一次框zation。 那他不只做这个框zation，他还去做刚刚那个C啊，因为那个C原本中间32B的那你他还去特别再去做啊更更更进一步的框框。 因为他不止想要啊，他是觉得那个三十太大了，他要继续做框。 那还有另外一个值得一提的就是他这边是讲black wise，就是因为他不是一一条直接去找啊。 最大因为如果你有一个啊极端值的话，你会让如果你有一个极端值是1亿，那你让其他的，但是大部分都是分布在一万之内，那你的你这个会变得非常非常大，所以你的值都会被你压的很低，那大家会压到0，那这样是很不好的。 所以他就他可能就是十个十个十个这样看就会比较数值会比较稳定。 好，所以就比的话be之后就是for fine tun当然是最好的。 那就比laa跟laa这个用four bit然后double quanti的话其实差不多差不多的效果，所以现在蛮多人都是啊可以用啊，如果你没法直接for fine的话，就直接用啊。 好，那最后两张投影片就是how to use laa很简单，大家上网give号的时候选x lot，那后这是它的githupage，那这现在蛮多啊这个open source community的人都是用用都是用这个。 那他们后面的开发者也蛮多，都还蛮有名的，很多都有被那个啊，如果A16Z如果大家做知道cr的话，应该知道A 16他是他们放就是有这些这些这些开发者。 好，如果然后你再点进去example拉to q点某，然后你就看到它有机，它就它就只有一个的，它没有它没有什么城市码，它城市码就帮你写好了。 然后你只要打开第一个load in bit，然后sequence这sequence这应该是adap最右边。 你可以调啊，就是我们刚刚讲那个4啊86 3那东，然后这个的话就是它的那个强度，它那个加起来强度或者你不要做，然后你要给我刚讲你的还是还是单一个都可以。 好，你把它设定完之后哦，还有这个data set，你把它改成那个啊啊我们这是训练，这是作业的data.
speaker 2: 我们训作业data set应该是。
speaker 1: gt的格式啊，大家可以再再看一下。 不过他资源很多格式了，那最后你就laacc然后test你的东西东西就完成了。 那所以现在现在啊这个是一个完全啊几乎是no code训练的方法了。 那如果啊大家还有想要掌握比较多底层的话，当还是可以用那个huface啊T的那个应该助教应该也是提供那个来去做训练。 好，那大家啊我们今天比较早，大家有什么问题吗？ 就是任何的问题都可以问。 好，如果没有的话，我们今天就到这边。
speaker 2: 谢谢。 我们看一下上面。
speaker 1: 有没有看一下。