~ M w a h ~

天气好热吖

前段时间，山灵推出了一款H0解码耳放，超小的体积，可以提供超强的输出功率，着实令我有些吃惊，趁着把玩H0的机会，我凑齐了H全系列便携解码耳放，来做一个综合体验分享，对山灵家H系列砖头感兴趣的观众，都来看看吧~

W_2矩阵一般是4d\times d的，那么它的rank最高为d，也就是说至少有3d行可以被其他行线性表出，假设某个inputx\in R^{1\times d}在经过W_1以及激活函数后的hidden state为h\in R^{1\times 4d}那么FFN的outputh\cdot W_2可以看作是对W_2的4d行进行一个加权求和\sum_{i=1}^{4d}{h_i}W_{2,i}，其中h_i代表h的第i个分量，W_{2,i}......