ORC

-- Hive에서 ORC 테이블 생성
CREATE TABLE sales_orc (
    sale_id BIGINT,
    product_name STRING,
    category STRING,
    amount DECIMAL(10, 2),
    quantity INT,
    sale_date DATE
)
STORED AS ORC
TBLPROPERTIES (
    'orc.compress' = 'ZLIB',          -- 압축 방식
    'orc.compress.size' = '262144',    -- 압축 버퍼 크기
    'orc.stripe.size' = '268435456',   -- Stripe 크기 (256MB)
    'orc.row.index.stride' = '10000',  -- 인덱스 간격
    'orc.bloom.filter.columns' = 'product_name,category'  -- 블룸 필터
);

-- 기존 테이블에서 ORC로 변환
INSERT INTO TABLE sales_orc
SELECT * FROM sales_csv;

-- ORC 테이블 분석 (통계 수집)
ANALYZE TABLE sales_orc COMPUTE STATISTICS FOR COLUMNS;

-- Predicate Pushdown 활용 쿼리
-- category 인덱스로 불필요한 Stripe 스킵
SELECT product_name, SUM(amount) as total_sales
FROM sales_orc
WHERE category = 'Electronics'
  AND sale_date BETWEEN '2024-01-01' AND '2024-12-31'
GROUP BY product_name
ORDER BY total_sales DESC
LIMIT 10;

-- Spark에서 ORC 읽기/쓰기
-- spark-shell 또는 PySpark
-- val df = spark.read.orc("hdfs:///data/sales_orc")

-- Python (PyORC 라이브러리)
import pyorc

# ORC 파일 쓰기
with open("data.orc", "wb") as f:
    with pyorc.Writer(
        f,
        "struct",
        compression=pyorc.CompressionKind.ZLIB
    ) as writer:
        writer.write((1, "product_a", 100.5))
        writer.write((2, "product_b", 200.3))

# ORC 파일 읽기
with open("data.orc", "rb") as f:
    reader = pyorc.Reader(f)
    for row in reader:
        print(row)