AI is all you need——Transformer 架构原理 LLM 一、深度学习与数学基础 后续上传 二、Transformer介绍——LLM 的基础架构 attention is all you need：https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd05
vllm 原理解析 LLM 1. vllm 的核心优势——PagedAttention PagedAttention是vLLM最核心的技术创新，它解决了大型语言模型推理过程中的内存管理难题。 1.1 传统 attention 遇到的挑战 在标准Transformer推理中，存在两个关键阶段： 预填充阶段(Prefill)：处理
HAMi GPU 虚拟化详细解析 AI Infra github 仓库： GitHub - Project-HAMi/HAMi: Heterogeneous AI Computing Virtualization Middleware GitHub - Project-HAMi/HAMi-core: HAMi-core compiles libvgp
volcano 核心原理 AI Infra 1. volcano 架构 Volcano 是一个基于 Kubernetes 构建的批处理系统。主要分为四个模块： Scheduler：负责作业的调度决策，有多种调度策略，如 gang 调度、priority 调度等 controller manager：负责管理各种自定义资源（CRD）（volca
LlamaFactory 训练参数详细介绍 LLM LlamaFactory 训练参数详细介绍 官方文档： SFT 训练 - LLaMA Factory 1（基础与通用参数）： 参数名称 是否必须 / 默认值 参数含义（详解） 使用示例 取值范围 -h, --help 非必须, 无默认值 <
Fluid 使用解析 AI Infra 一、使用方式 1.1 创建Dataset资源 创建一个Dataset资源对象，描述你想要访问的远程数据集 apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: demo spec:
数据集编排&加速介绍 AI Infra 1. 模型训练&存储的基本概念 1.1 M-P神经元模型 在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。 a_1,a_2 ～
AI is all you need——大模型应用技术 LLM 一、LLM 介绍 1.1 LLM是什么？ LLM（Large Language Model， 大语言模型）是一种基于深度学习 Transformer 架构 的自然语言处理模型，通常拥有数十亿甚至上千亿的参数。这类模型通过大规模的数据训练，能够理解和生成自然语言文本，并可以在各种任务上表现出强大的能力
向量数据库技术分享 LLM 一、向量 Vector & Embeddings 1.1 什么是向量？ 在数学和计算机领域，向量有着不同的含义 ==数学概念——Vector（向量）== 数学上的通用概念，是一个有方向和大小的实体，可以在几何空间中表示，也可以是一个 n 维的数值序列。 形式：向量通常如下图所示 ，可以表示几何点、物
Milvus 集群线上问题记录 向量检索 Milvus 集群线上问题记录 问题现象 下午 2点多，突然线上Milvus集群全部崩溃了，具体表现如下： 大量Node OOM 机器负载本不高，但1-2分钟内cpu、内存、负载全部被打满
Milvus 多租户方案选型 向量检索 Milvus 多租户方案选型 方案选型 在 milvus 中实现多租户方案，有以下几个备选方案 方案 方案名称 方案详细设计 优点 缺点 A 一个集合用于所有租户 使用单个集合通过添加租户字段来区分租户来实现多租户是比较简单的。对特定租户进行 ANN 搜索时，使用 expr 过滤掉其他租户的数据。这
程序员的长衫系类（三）——Flask 遇到 GIL 性能瓶颈的解决方案 程序员的长衫 Flask 遇到 GIL 性能瓶颈的解决方案 1. 什么是 GIL Python 中的 GIL（全局解释器锁，Global Interpreter Lock）是一个机制，确保在任何时候只有一个线程可以执行 Python 字节码。这是为了简化 CPython 的内存管理，但是它也带来了一些性能问题，尤
Trouve : 简单、方便、快捷！服务于 Spring 项目的一款内嵌式集成服务发现、服务注册、服务转发的通用组件，相比于需要独立部署的 zookeeper、nacos 等，使用和部署更加简易方便 开源建设 Trouve : 简单、方便、快捷！服务于 Spring 项目的一款内嵌式集成服务发现、服务注册、服务转发的通用组件，相比于需要独立部署的 zookeeper、nacos 等，使用和部署更加简易方便 https://github.com/SuperMarioYL/trouve 介绍 最新版本： <d
程序员的长衫系列（二）——linux问题排查常用命令 程序员的长衫 ps 查看系统进程窗状态 详细信息 参数信息： -a：显示所有终端机下执行的程序，除了阶段作业领导者之外。 a：显示现行终端机下的所有程序，包括其他用户的程序。 -A：显示所有程序。 -c：显示CLS和PRI栏位。 c：列出程序时，显示每个程序真正的指令名称，而不包含路径，选项或常驻服务的标示。 -
程序员的长衫系列（一）——Java8内存结构介绍 程序员的长衫 java8内存结构介绍 java虚拟机在jdk8改变了许多，网络上各种解释都有，在查阅了官方文档以及一下大佬的解释以后，我来粗浅的介绍一下我理解的java8的内存结构。 目录 内存结构图总结 虚拟机内存与本地内存的区别 java运行时数据区域 程序计数器（Program Counter Regis
