企业官网建设流程全解析

360 的网站链接怎么做,网站前台可以打开,wordpress页面分栏,网站备案掉了怎么办文章目录本周计划GPT-2 BPE匹配规则本周计划 学透BPE算法#xff0c;动手构建#xff0c;优化2部分 1 更新算法 2 多线程训练 为什么去空格 优化更新函数 优化多线程计算 GPT-2 官方实现 https://github.com/openai/gpt-2/blob/master/src/encoder.py收尾happy_llm#xff…文章目录本周计划GPT-2 BPE匹配规则本周计划学透BPE算法动手构建优化2部分 1 更新算法 2 多线程训练为什么去空格优化更新函数优化多线程计算GPT-2 官方实现 https://github.com/openai/gpt-2/blob/master/src/encoder.py收尾happy_llm小批量训练tokenizer小参数预训练happy_llm 目标能够对话 看到loss收敛开始minimind的学习快过预训练尽快开始SFT和强化学习。周三今天必须开始看李宏毅强化学习课GPT-2 BPE匹配规则importregexasre GPT2_PATTERNr(?:[sdmt]|ll|ve|re)| ?\p{L}| ?\p{N}| ?[^\s\p{L}\p{N}]|\s(?!\S)|\scompiled_patternre.compile(GPT2_PATTERN,re.UNICODE)pretokenized[]forsegmentindoc_segments:ifnotsegment.strip():continuepre_tokenscompiled_pattern.findall(segment)print(fpretokens:{pre_tokens})# breakforptinpre_tokens:ifnotpt.strip():continue# byte_seq tuple(pt) #.encode(utf-8))# pt pt.strip()byte_seqtuple(char.encode(utf-8)forcharinpt)# 此步直接将单词拆分成数字序列pretokenized.append(byte_seq)returnpretokenized当我打印出来pre_token才发现每个单词前面都有一个空格 ater’, ’ to’, ’ make’, ’ it’, ’ nice’, ’ and’, ’ bubbly’, ‘.’, ’ He’, ’ relaxed’, ’ again’, ’ and’, ’ felt’, ’ all’, ’ the’, ’ worries’, ’ wash’, ’ away’, ‘.’, ‘\n’, ‘The’, ’ king’, ’ was’, ’ so’, ’ happy’, ’ that’, ’ he’, ’ had’, ’ been’, ’ able’, ’ to’, ’ clean’, ’ up’, ’ the’, ’ mess’, ’ he’, ’ had’, ’ made’, ’ and’, ’ enjoy’, ’ a’, ’ nice’, ’ soak’, ‘.’, ’ He’, ’ dried’, ’ off’, ’ and’, ’ wrapped’, ’ himself’, ’ up’, ’ in’, ’ a’, ’ big’, ’ towel’, ‘.’, ’ Then’, ‘,’, ’ the’, ’ king’, ’ wen这是因为我使用了GPT-2的pattern进行切分的对吗GPT-2如此做的更深层次原因是什么呢二、核心优化方向 2多线程 / 多进程并行针对独立序列你的判断是对的每个预分词后的序列如单个单词 / 短语的合并逻辑完全独立因此可以并行处理。但注意❌ 合并规则选最高频best_pair是全局的必须单线程确定✅ 合并best_pair到各序列的过程_merge_byte_pair、统计各序列内的字节对频次均可并行。