繁華落盡 似水流年

# 算法竞赛进阶指南 # 基础算法 # 位运算 Problem TimeStamp a^b 2024-09-09 增加模数 2024-09-09 64 位整数乘法 2024-09-09 最短 Hamilton 路径 2024-09-09 # 递推与递归 Problem TimeStamp 递归实现指数型枚举 2024-09-09 递归实现组合型枚举 2024-09-09 递归实现排列型枚举 2024-09-09

# Faster Transformer

# GPT

# ZooKeeper

# DolphinScheduler # 关于 DolphinScheduler Apache DolphinScheduler 是一个分布式的易扩展的可视化 DAG 工作流任务调度系统。旨在解决复杂大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排. DophinScheduler 以 DAG 流的方式组装任务，可以及时监控任务的执行状态，支持重试. 丰富的使用场景 高可靠性： High Reliability , 去中心化设计，确保稳定性。原生支持高可用 High Avaliable 的任务队列，提供过载容错能力. 搞扩展性： High Scalability ,...

# 云端部署问题 # 服务正常，外部无法访问 检查服务的端口是否处于打开，即是否处于 LISTEN 状态 netstat -an | grep 80 产看防火墙状态，是否的防火墙将外部的请求隔离了 systemctl status firewalld 若防火墙处于开启状态，则检查其是否放行服务所需要的端口 firewall-cmd --list-all # 产看防火墙所放行的所以端口 如果没有放行所需要的服务端口，则为防火墙添加放行端口 firewall-cmd --zone=public --add-port=80/tcp --permanent #...

# Tensor Parallelism # 权重切分 对于矩阵乘法，如下X∗W=YX * W = YX∗W=Y, 其中： b ： batch_size , 批量大小 s ： sequence_length ，输入序列长度 h ： hidden_size/embedding_size # 按行切分权重 # forward # backward W 的 backward ： ∂L∂W1=∂L∂Y∗∂Y∂W1∂L∂W2=∂L∂Y∗∂Y∂W2\frac{\partial L} {\partial W_{1}} = \frac{\partial L}...

2024-08-03 2024-08-04 2024-08-10 2024-08-11 2024-08-15

# 激活函数 # 激活函数的分类 # 饱和激活函数 Sigmoid, Tanh # 非饱和激活函数 ReLU # Sigmoid f(x)=11+e−xf(x)=\frac{1}{1+e^{-x}} f(x)=1+e−x1​ # 适用场景 Sigmoid 函数输出范围是 0 到 1，非常适合将预测概率作为输出的模型 梯度平滑，避免跳跃的输出值。 # 缺陷 容易出现梯度消失。 函数的输出并不是以零为中心的，梯度更新会具有偏向性 Sigmoid 中涉及到指数运算，计算机在对这部分的运算比较慢，往往需要 SFU 来加速. #...