如何计算结构体大小 谷歌用ML模型替代组件，或彻底改变数据系统开发(2)

这里有一个关键点，那就是用计算换内存，计算越来越便宜，CPU-SIMD/GPU/TPU的功能越来越强大，作者甚至指出，“运行神经网络的高昂成本在未来可以忽略不计——谷歌TPU能够在一个周期内较高完成上万次神经网络运算。如何计算结构体大小有人声称，到2025年CPU的性能将提高1000倍，基于摩尔定律的CPU在本质上将不复存在。利用神经网络取代分支重索引结构，可以从这些硬件的发展趋势中受益。”

论文还介绍了几个策略来提高机器学习索引的性能，包括使用递归模型索引、分层模型和混合模型。机器学习方法都带来了能效提升，具体的评估结果请参考论文。

需要指出，作者并不认为机器学习索引结构可以完全替代传统索引。“我们论述了一种建立索引的新方法，它完善了现有的研究，并且为该领域数十年的研究开辟了一个新方向。”

作者还概述了如何使用这一思想来替换系统的其他组件和操作，包括排序和连接。如果成功，数据系统的开发方式将会彻底改变。

论文：The Case for Learned Index Structures

摘要

索引就是模型：B-Tree-Index可以被看作一个将键(key)映射到排序数组中记录位置的模型，哈希索引可以被看作将键映射到未分类数组中记录位置的模型，而BitMap-Index可以被看作查看数据记录是否存在的模型。

在这篇探索性研究论文中，我们从这个前提出发，假设所有现有的索引结构都可以用其他类型的模型来代替，包括深度学习模型，也即文中所谓的“机器学习索引”(learned indexes)。

本文关键思想是，一个模型可以学习排序顺序或查找键的结构，并使用这个信号来有效预测记录的位置或记录是否存在。我们从理论上分析了在哪些条件下机器学习索引的性能优于传统索引结构，描述了设计机器学习索引的主要挑战。

我们在几个真实世界的数据集上做了测试，初步结果表明，通过使用神经网络，我们在速度上能比缓存优化的B树快70%，同时内存节省了一个数量级。更重要的是，我们相信用机器学习模型取代数据管理系统核心组件的想法，对未来的系统设计有着深远的影响，这项工作仅仅展现了未来无限可能的一瞥。

论文地址：https://arxiv.org/pdf/1712.01208v1.pdf

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-72494-2.html