Parquet

import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq

# Pandas DataFrame 생성
df = pd.DataFrame({
    'user_id': range(1000000),
    'name': ['user_' + str(i) for i in range(1000000)],
    'age': [20 + i % 50 for i in range(1000000)],
    'signup_date': pd.date_range('2020-01-01', periods=1000000, freq='T'),
    'is_active': [i % 2 == 0 for i in range(1000000)]
})

# Parquet 파일로 저장 (기본 snappy 압축)
df.to_parquet('users.parquet', index=False)

# 압축 방식 지정 (gzip, snappy, zstd, lz4)
df.to_parquet('users_gzip.parquet', compression='gzip')

# 특정 컬럼만 읽기 (I/O 최소화)
df_subset = pd.read_parquet('users.parquet', columns=['user_id', 'name'])

# 필터 조건 적용 (Predicate Pushdown)
df_filtered = pd.read_parquet(
    'users.parquet',
    filters=[('age', '>=', 30), ('is_active', '==', True)]
)

# PyArrow로 직접 제어
table = pa.Table.from_pandas(df)

# 파티션 저장 (Hive 스타일)
pq.write_to_dataset(
    table,
    root_path='users_partitioned',
    partition_cols=['is_active']
)
# 결과: users_partitioned/is_active=true/part-0.parquet
#       users_partitioned/is_active=false/part-0.parquet

# 파티션된 데이터셋 읽기
dataset = pq.ParquetDataset('users_partitioned')
df_partitioned = dataset.read().to_pandas()

# 메타데이터 확인
parquet_file = pq.ParquetFile('users.parquet')
print(f"Row Groups: {parquet_file.metadata.num_row_groups}")
print(f"Columns: {parquet_file.schema.names}")
print(f"Total Rows: {parquet_file.metadata.num_rows}")

# 컬럼별 통계 확인
for i in range(parquet_file.metadata.num_row_groups):
    rg = parquet_file.metadata.row_group(i)
    for j in range(rg.num_columns):
        col = rg.column(j)
        if col.statistics:
            print(f"Column {col.path_in_schema}: "
                  f"min={col.statistics.min}, max={col.statistics.max}")

# Spark에서 Parquet 사용
# spark.read.parquet("users.parquet")
# df.write.partitionBy("is_active").parquet("output_path")