Appearance
Sakana AI
Overview
Sakana AI (さかな AI，"鱼 AI") 是一家总部位于日本东京的 AI 研究公司，成立于 2023 年，由原 Transformer 论文八作者之一的 Llion Jones 与 David Ha (原 Google Brain) 共同创立。公司名称"鱼"源于日本传统园艺中的"群游"概忶——多个简单个体通过自组织形成复杂智能，这正是 Sakana 的核心理念。
核心技术
Evolutionary Model Merging
Sakana 最著名的技术创新，将进化计算 (Evolutionary Computation) 应用于模型合并 (Model Merging)：
- 问题: 传统模型合并依赖人工设计的合并规则
- 解决: 用进化算法自动搜索最优合并策略
- 效果: 在日语 LLM 合并中达到最新最高 (SOTA)
具体方法
1. 初始化: 从多个源模型中生成合并候选
2. 评估: 在任务上评估每个合并模型的性能
3. 选择: 保留表现最好的合并策略
4. 突变: 对合并规则进行随机变异
5. 迭代: 重复 2-4 步，直至收敛代表成果
| 项目 | 时间 | 成就 |
|---|---|---|
| Evolutionary Model Merging | 2024 | 日语 LLM SOTA，无需训练即可合并 |
| The AI Scientist | 2024 | 首个自动科学研究系统，自动提出假设、实验、写论文 |
| Transformer² | 2025 | 动态权重更新架构，实时适应任务 |
定位与影响
日本 AI 生态的重要组成
Sakana 是日本 AI 创业生态中最受关注的公司之一：
- 2024 年获得 $30M+ 融资
- 日本政府和企业的重点支持对象
- 吸引了全球顶级 AI 研究人才
开源贡献
- mergekit: 模型合并工具包
- Evolutionary Model Merging 论文: 开源方法和代码
- 推动了模型合并从"技巧" 变为"科学"
与竞品的差异
| 维度 | Sakana AI | 传统 LLM 公司 | 其他合并工具 |
|---|---|---|---|
| 核心方法 | 进化计算 | 梯度下降 | 手动/简单加权 |
| 目标 | 自动发现最优合并 | 训练新模型 | 快速合并 |
| 创新性 | 高 | 中 | 低 |
| 开源程度 | 高 | 中 | 高 |
Synthesis
Sakana AI 代表了 AI 研究的一个重要趋势：从"大规模训练"转向"智能组合"。通过进化计算自动发现最优模型合并策略，Sakana 证明了不需要大量计算资源也能创造出有竞争力的模型。这一思路对开源社区和资源受限的研究者具有重要启发。
Related Pages
- Model Merging — 模型合并技术详解
- Transformer Architecture — Transformer 架构
- Hugging Face — 模型合并工具生态
Sources
Sakana AI 官方博客
"Evolutionary Optimization of Model Merging Recipes" 论文
"The AI Scientist" 技术报告
Large Language Model (LLM) — 大语言模型的核心定义、技术原理与发展历程
相关页面
- Model Merging — 模型合并
- 开源模型生态趋势 — 开源模型生态趋势