如何成为大数据架构师

2021-12-24

如何成为大数据架构师?

大数据架构师是一个综合学科,除了平台编码,架构设计,更需要了解行业领域、以及具备产品和运维的思维能力。

架构师的这个坑主要工作任务不再是做具体代码编写,而是负责更高层次的开发构架工作。因为一个架构师工作能力的强弱以及专业素养的高低可能决定了整个软件项目的成败,所以作为架构师,他必须对开发技术非常...

Read More

Python操作表格

2021-10-12

一、简介

Excel中有xls和xlsx两种格式,它们之间的区别是:

1)文件格式不同。xls是一个特有的二进制格式,其核心结构是复合文档类型的结构,而xlsx的核心结构是XML类型的结构,采用的是基于 XML的压缩方式,使其占用的空间更小。xlsx 中最后一个 x 的意义就在于此。

2)版本不同。xls是Excel...

Read More

Hive文件存储格式

2021-09-29

Hive的常见文件存储格式

在hive中,较常见的文件存储格式有:TextFile、SequenceFile、RcFile、ORC、Parquet、AVRO。默认的文件存储格式是TextFile。

RCFile、ORC、Parquet这三种格式,均为列式存储表。准确来说,应该是行、列存储相结合。

...

Read More