大数据中常见的文件存储格式以及hadoop中支持的压缩算法

在大数据中常见的文件存储格式有：

文本文件（Text File）：以纯文本的形式保存数据，例如CSV格式或JSON格式。

序列文件（Sequence File）：一种二进制格式，用于存储键值对，适合于Hadoop的MapReduce程序。

Avro文件：一种数据序列化系统，可以将数据结构保存在文件中，使其独立于编程语言。

Parquet文件：一种列式存储格式，适合于大规模数据分析，可以高效地读取和写入数据。

ORC文件：一种列式存储格式，优化了数据压缩和读取效率，适合于高效的分析查询。

在Hadoop中支持的压缩算法有：

Gzip：一种通用的压缩算法，可以显著减小文件大小，但读写速度较慢。

Snappy：一种快速的压缩/解压缩算法，适合于高速数据处理。

LZO：一种高压缩比的压缩算法，适合于大规模数据处理，但需要额外的安装和配置。

Bzip2：一种高压缩比的压缩算法，适合于存储和传输数据，但压缩和解压缩速度较慢。

LZ4：一种快速的压缩/解压缩算法，适合于实时数据处理，可以提供较高的压缩速度和解压缩速度。