Llama_index 源码解读(2)
本文介绍了RAG的基础概念，并基于llama_index的源码解读进一步演示了RAG的流程，包括data loader、transformation、index、query等。此外，本文也对llama_index RAG流程进行了一些性能上的分析并给出了对应优化建议。
Deep Dive to Pytorch Contiguous Operator(4)
这篇博客介绍了PyTorch TensorIterator 针对任意输入tensor计算output stride的过程。
Distributed Training Strategy Introduction
这篇博客介绍了分布式并行训练策略，包括 Data Parallelism (DP), Zero Redundancy Optimizer (Zero), Pipeline Parallelism (PP) 和 Tensor Parallelism (TP)。
Deep Dive into PyTorch Device Copy Operations
这篇文章主要介绍了 PyTorch 设备 copy的细节，包含D2H/H2D和D2D（在同一设备与不同设备上）等内容。
ProxyLab
在proxy lab中，我们构建了一个简单的web proxy，包含多线程处理并发请求和一个LRU cache快速返回静态资源。
Demystifying Dtype Promotion in PyTorch
本文深入探讨了 PyTorch 中的数据类型提升(dtype promotion)机制，包含 promotion 的基本规则、scalar 如何被 wrapped 成 tensor、TensorIterator 在计算数据类型时的作用等细节。
Exploring Structured Kernel and Tensor Iterator in PyTorch
在本文中，我们将深入探讨 PyTorch 中的结构化内核（Structured Kernel）和张量迭代器（TensorIterator），包括在Structured Kernel中的
meta、impl函数及 TensorIterator 的构建和算子计算调用的过程。Pytorch Compiler Introduction
本文介绍了 Pytorch 的编译功能，我们从代码示例开始展示使用编译对代码执行的加速效果，随后补充介绍了pytorch
FX 相关基础知识，最后整体介绍了 TorchDynamo相关内容，包括对 Python 字节码的调整、Guard、Cache等。Pytorch Cuda Streams Introduction
本文探讨了Cuda **流(Stream)的基本概念、并行执行和多GPU同步策略。我们分析了使用多个Cuda流的优势，以及如何通过Cuda事件(Event)**确保任务同步，利用Cuda流优化程序性能。
Overview of PyTorch Distributed Training
本文提供了一个关于PyTorch分布式训练能力的全面概述，涵盖了
torch.distributed的核心组件，深入探讨了Distributed Data-Parallel Training (DDP)、RPC-Based Distributed Training、Collective Communication (c10d) 等内容。