大数据算法

2023-04-03

【大数据常用算法总结】

1、哈希分片

数据分片:目前大数据通过横向拓展的方式支持系统可拓展性,通过增加机器数量来获取水平扩展能力。对于待处理的海量数据,需要通过数据分片的方式,将它们切分到各个机器上。

数据路由:...

Read More

如何成为大数据架构师

2021-12-24

如何成为大数据架构师?

大数据架构师是一个综合学科,除了平台编码,架构设计,更需要了解行业领域、以及具备产品和运维的思维能力。

架构师的这个坑主要工作任务不再是做具体代码编写,而是负责更高层次的开发构架工作。因为一个架构师工作能力的强弱以及专业素养的高低可能决定了整个软件项目的成败,所以作为架构师,他必须对开发技术非常...

Read More

Python操作表格

2021-10-12

一、简介

Excel中有xls和xlsx两种格式,它们之间的区别是:

1)文件格式不同。xls是一个特有的二进制格式,其核心结构是复合文档类型的结构,而xlsx的核心结构是XML类型的结构,采用的是基于 XML的压缩方式,使其占用的空间更小。xlsx 中最后一个 x 的意义就在于此。

2)版本不同。xls是Excel...

Read More