LeetCode 217 题解

217 - Duplicate Nums，是一道求解列表里是否有重复数字的题目

乍一看用哈希或者排序算法都可以解决，是个非常简单的题目，但是在实际的速度上都没有达到最优，因此记录一下优化的过程

Pytorch框架学习

用 Pytorch 的时候都是用 llm 生成的代码，只会往nn模块里加点功能层，调用它提供的 Loss

现在有空了多了解一点

LPU 架构简单学习

Gemini的免费 api 限额又变少了，最近在找其他 free api 的时候偶然发现了 groq

groq 提供的几个 api 接口吐字实在快，看到他们说用的是自己研发的 LPU（Language Processing Unit）

官网上这样介绍自己的优势：

• Software-first
• Programmable assembly line architecture
• Deterministic compute and networking
• On-chip memory

GPU 架构

0.引言

GPU (Graphic Processing Unit)，原本作为图像处理的工具，为游戏的渲染服务，在AI时代因为其并行计算性而得到了大量的使用
Nvidia 正是看到了 AI 使用显卡进行训练的商机，搭建 CUDA 平台一飞冲天

最近看到 groq 使用的 LPU 带来的惊人的推理速度，想要了解一下它的架构，但是发现自己连现在的 GPU 架构也不是很了解，所以回炉重造一下

主要从两个方面入手：

• GPU 的硬件架构
• 编程模型
• Memory设计

更新于26.5.6

将az100用作vpn

之前注册了一个Azure学生100额度的账号（简称az100）并设立了虚拟机当服务器

发现我好像不需要用它部署网页之后，利用剩下的额度去做一个vpn

技术要点：

• Xray-core
• Reality

（有关技术方面还在学习中）

南京博物院

本南京人第一次来南京博物院

Extrapolation Algorithm for Greater Language-model Efficiency , EAGLE 算法学习

前面看完了Medusa方法，再看加速效果更好的EAGLE

EAGLE

下图是这几种方法的对比：

• spec sampling 是 token-level
• Medusa 是利用一个 feature 用不同的 head 去预测不同位置的 token
• EAGLE 是将 token 和 feature 混合输入

Speculative-Decoding , LLM推理的加速 / Medusa 方法阅读

这篇文章简单介绍一下我学习spec-decoding的过程，以及一些学习笔记

Speculative Decoding

Speculative decoding 是使用轻量的draft model去一次性生成多个token,然后交给原本的llm去进行验证。

TimeScope

这是几个月前一时兴起写的小项目，最近差不多完结了，在博客里稍微记录一下

这是repo的地址：repo-address

Abstract

TimeScope – 一个面向windows的桌面应用记录小程序

主要依赖的库：

• 进程与窗口采集：pywin32 psutil
• 数据存储：sqlite
• 数据可视化：matplotlib
• 文本分类：fasttext,jieba
• gui，后台与托盘化：customtkinter,pytray ,PIL

使用azure搭建服务器

最近看到github education有能白嫖的azure额度，以及一年的免费域名，于是乎就整了一个服务器玩玩

0.准备阶段

1）学生认证

首先需要进行github education的申请github education，用自己的教育邮箱、学生证即可。因为要验证你的地区，所以申请的时候可以连上学校的vpn，这样亲测认证方便一点