SQLiteとCSVの連携術：「Comma option」をマスターしてデータ処理を効率化

1. CSVファイルのエクスポート/インポートにおける区切り文字としてのカンマ
2. SQLクエリ内でカンマ区切りの文字列を扱う場合

それぞれについて詳しく説明します。

CSVファイルのエクスポート/インポートにおける区切り文字としてのカンマ

SQLiteは、コマンドラインインターフェース（sqlite3）やGUIツール（SQLiteStudio、DB Browser for SQLiteなど）を使って、データベースのデータをCSV（Comma-Separated Values）形式でエクスポートしたり、CSVファイルをデータベースにインポートしたりする機能を提供しています。この際、「comma option」は、CSVファイル内の各データを区切る文字としてカンマ（,）を使用することを指します。

エクスポートの場合:

SQLiteのコマンドラインツールsqlite3でデータをCSV形式でエクスポートする場合、.mode csvコマンドを使用します。これにより、クエリの結果がカンマ区切りで出力されます。また、.headers onと組み合わせることで、最初の行にカラム名（ヘッダー）を含めることもできます。

例

.mode csv
.headers on
.output my_data.csv
SELECT * FROM my_table;
.output stdout

この場合、my_data.csvファイルには、my_tableの内容がカンマ区切りで書き出されます。ここで「comma option」とは、.mode csvによって自動的にカンマが区切り文字として選択されることを意味します。他の区切り文字（タブなど）を使いたい場合は、.mode tabsのように別のモードを指定します。

SQLiteStudioのようなGUIツールでは、エクスポートウィザードの中で「Field separator（フィールド区切り文字）」としてカンマを選択するオプションが提供されていることがよくあります。これがまさに「comma option」です。

インポートの場合:

CSVファイルをSQLiteテーブルにインポートする場合も同様に、CSVファイル内のデータがカンマで区切られていることをSQLiteに指示する必要があります。sqlite3コマンドラインツールでは、.mode csvを設定した後に.import FILE TABLEコマンドを使用します。

例

.mode csv
.import path/to/your/file.csv your_table_name

この際、インポートするCSVファイルがカンマ区切りであることを前提としています。GUIツールでのインポートでも、「Field separator」としてカンマを選択するオプションがあります。

これは、上記のエクスポート/インポートとは少し異なる文脈です。データベースのカラムにカンマ区切りの文字列（例: "apple,banana,orange"）が格納されている場合、これを個々の要素に分割して扱いたい、あるいは複数の要素をカンマ区切りで結合したいといったニーズが発生することがあります。

SQLiteには、PostgreSQLやMySQLのようなSPLIT_PART()やSTRING_SPLIT()のような組み込み関数はありませんが、SUBSTR()やINSTR()関数を組み合わせたり、再帰的CTE（Common Table Expression）を使用したり、あるいはカスタム関数を定義したりすることで、カンマ区切り文字列の操作を行うことができます。

例（カンマ区切り文字列を分割して複数行にする再帰的CTE）

WITH RECURSIVE split(id, part, rest) AS (
  SELECT id, '', names || ',' FROM Product
  UNION ALL
  SELECT
    id,
    SUBSTR(rest, 1, INSTR(rest, ',') - 1),
    SUBSTR(rest, INSTR(rest, ',') + 1)
  FROM split
  WHERE rest <> ''
)
SELECT id, part
FROM split
WHERE part <> '';

この例では、Productテーブルのnamesカラムにあるカンマ区切り文字列を個々の要素に分割しています。ここで「comma option」という表現は、文字列を分割するための区切り文字としてカンマを指定する、という一般的な概念を指すことがあります。

• SQLクエリ内でカンマ区切りの文字列を処理する際の、区切り文字としてのカンマの扱い。
• データのエクスポート/インポート時にCSV形式の区切り文字としてカンマを指定する設定。

---

エンコーディングの問題 (Encoding Problems)

• トラブルシューティング
  

  1. CSVファイルのエンコーディングを確認する
     
     • テキストエディタ（VS Code, サクラエディタ, Notepad++など）でCSVファイルを開き、エンコーディングを確認します。
     • UTF-8に変換して保存する
       もしUTF-8以外であれば、必ずUTF-8で保存し直してください。特に、BOMなしのUTF-8が推奨されることが多いです。
  2. SQLiteコマンドラインツールでの対応
     
     • sqlite3コマンドラインツールを使用している場合、特にエンコーディングを指定するオプションはありませんが、通常はUTF-8を期待します。ファイル自体をUTF-8に変換することが重要です。
  3. GUIツールでの対応
     
     • DB Browser for SQLiteやSQLiteStudioなどのGUIツールでは、インポート時にエンコーディングを選択するオプションが提供されている場合があります。CSVファイルの実際のエンコーディングに合わせて設定してください。
  4. BOMの有無
     
     • ExcelでCSVを保存すると、通常UTF-8 BOM付きで保存されます。これが原因で問題が発生することもあります。もし文字化けが解決しない場合は、BOMなしUTF-8で保存し直してみてください。
• • CSVファイルのエンコーディングが、SQLiteが期待するエンコーディング（通常はUTF-8）と異なる。Windows環境で作成されたCSVは、Shift-JISやCP932（ANSI）で保存されていることが多いです。
  • UTF-8 BOM（Byte Order Mark）の有無が影響する場合がある。

区切り文字の不一致 (Delimiter Mismatch)

CSVファイルがカンマ以外の文字（タブ、セミコロンなど）で区切られているのに、SQLiteがカンマを期待している場合に発生します。

• 原因
  

  • CSVファイルが実際にはカンマ区切りではないのに、.mode csvを使用している。
  • GUIツールで、CSVファイルの実際の区切り文字と異なる区切り文字を指定している。

• エラーの症状
  

  • インポート後、全てのデータが1つのカラムに格納されてしまう。
  • 期待通りのカラム数にならない。
  • 一部のカラムが欠落する。

カラム数の不一致 (Column Count Mismatch)

CSVファイルの各行のカラム数と、インポート先のテーブルのカラム数が一致しない場合に発生します。

• トラブルシューティング
  

  1. CSVファイルを検査する
     
     • 問題の行（エラーメッセージで示された行番号）を確認し、カンマの数やデータの構造が正しいか確認します。
     • データ中にカンマが含まれる場合は、そのデータが二重引用符（"）で囲まれていることを確認します。
     • 例
       値A,"値B,カンマ含む",値C のように。
  2. テーブル定義とCSVの構造を合わせる
     
     • インポート先のテーブルのカラム数と、CSVファイルのカラム数を一致させます。
     • もしCSVファイルにヘッダー行があり、それを無視したい場合は、.import コマンドの前に .headers on と設定し、CREATE TABLE でテーブルを先に作成しておく必要があります。
     • または、一旦一時テーブルにヘッダー行を含めてインポートし、そこから適切なカラムを選んで本テーブルに挿入するという手法も考えられます。
  3. 引用符の処理
     
     • CSVファイルでデータが二重引用符で囲まれている場合、SQLiteは自動的にそれを処理しますが、不適切な引用符の使用はエラーの原因となります。

• 原因
  

  • CSVファイル内のデータ行に、予期しないカンマが含まれている（例: データ中にカンマが含まれているのに、適切に引用符で囲まれていない）。
  • CSVファイル内のデータ行に、意図せずカンマが少なかったり多かったりする。
  • インポート先のテーブル定義とCSVファイルのヘッダー行（またはデータ行）のカラム数が異なる。
  • CSVファイルにヘッダー行が含まれているが、.import コマンドでヘッダー行をスキップするように設定していない、または逆のケース。

• エラーの症状
  

  • インポート中に「Error: too many columns in line X」または「Error: too few columns in line X」のようなエラーメッセージが表示される。
  • データの一部が欠落したり、予期しないカラムに挿入されたりする。

データ型不一致 (Data Type Mismatch)

CSVファイル内のデータ型と、インポート先のテーブルのカラムのデータ型が一致しない場合に発生します。

• トラブルシューティング
  

  1. CSVファイル内のデータ型を確認する
     
     • 各カラムのデータが、対応するSQLiteテーブルのカラムのデータ型に合っているか確認します。
  2. データ変換
     
     • インポート前に、CSVファイルのデータを適切な形式に変換します（例: Excelなどで文字列を数値に変換、日付形式をYYYY-MM-DDやYYYY-MM-DD HH:MM:SSに統一する）。
     • SQLiteにインポート後、CAST関数などを使ってデータ型を変換することも可能です。

• 原因
  

  • CSVファイル内の数値カラムに非数値データが含まれている。
  • 日付/時刻形式がSQLite（または使用しているツール）が期待する形式と異なる。

• エラーの症状
  

  • INTEGER カラムに文字列を挿入しようとしたり、NUMERIC カラムに日付以外の文字列を挿入しようとしたりすると、エラーになるか、NULL値が挿入される。
  • 特に厳密なデータ型チェックを行うアプリケーションの場合、問題が顕在化しやすいです。

CSVファイルのパスが正しくない場合、インポートが開始されません。

• トラブルシューティング
  

  1. ファイルパスを正確に確認する
     
     • ファイルが存在するか、スペルミスがないかを確認します。
     • 絶対パスで指定することを推奨します。
  2. アクセス権限を確認する
     
     • ファイルを読み込む権限があるか確認します。
  3. パス区切り文字
     
     • Windows環境でも、SQLiteのコマンドラインツールではスラッシュ（/）を使用するのが安全です。例: C:/Users/YourUser/Documents/my_data.csv

• 原因
  

  • ファイルパスのスペルミス。
  • ファイルが存在しない場所を指定している。
  • コマンドを実行しているユーザーにファイルへのアクセス権限がない。
  • Windowsの場合、パス区切り文字にバックスラッシュ（\）を使用しているが、エスケープされていない（\\とするか、スラッシュ/を使用する）。

• エラーの症状
  

  • Error: cannot open "path/to/your/file.csv"

---

1. CSVファイルのインポート (PythonスクリプトからSQLiteデータベースへ)
2. CSVファイルのエクスポート (SQLiteデータベースからPythonスクリプト経由でCSVファイルへ)
3. SQLクエリ内でのカンマ区切り文字列の操作 (SQLiteのSQL機能を使用)

準備: サンプルデータとデータベースの作成

まず、動作確認のために必要なファイルとデータベースを作成します。

sample_data.csv の作成

id,name,age,city,interests
1,山田太郎,30,東京,読書,映画
2,佐藤花子,25,大阪,旅行,料理,音楽
3,田中一郎,40,福岡,プログラミング,アニメ

sample_database.db の作成とテーブル定義

import sqlite3

# データベースファイル名
DB_FILE = "sample_database.db"

def create_table():
    conn = sqlite3.connect(DB_FILE)
    cursor = conn.cursor()

    # テーブルが存在しない場合のみ作成
    cursor.execute("""
        CREATE TABLE IF NOT EXISTS users (
            id INTEGER PRIMARY KEY,
            name TEXT,
            age INTEGER,
            city TEXT,
            interests TEXT
        )
    """)
    conn.commit()
    conn.close()

if __name__ == "__main__":
    create_table()
    print(f"データベース '{DB_FILE}' とテーブル 'users' が準備されました。")

上記のPythonスクリプトを実行して、sample_database.dbファイルとusersテーブルを作成しておきます。

CSVファイルのインポート (Python)

csvモジュールとsqlite3モジュールを使用して、CSVファイルをSQLiteデータベースにインポートする例です。

import sqlite3
import csv

DB_FILE = "sample_database.db"
CSV_FILE_TO_IMPORT = "sample_data.csv"

def import_csv_to_sqlite():
    conn = sqlite3.connect(DB_FILE)
    cursor = conn.cursor()

    with open(CSV_FILE_TO_IMPORT, 'r', encoding='utf-8') as f:
        # csv.reader を使用してカンマ区切りファイルを読み込む
        reader = csv.reader(f)

        # ヘッダー行をスキップ
        header = next(reader)
        print(f"CSVヘッダー: {header}")

        # データを挿入
        # ? はプレースホルダーで、後のタプルで実際の値を渡す
        insert_sql = "INSERT INTO users (id, name, age, city, interests) VALUES (?, ?, ?, ?, ?)"
        
        data_to_insert = []
        for row in reader:
            # CSVの各行がリストとして読み込まれる
            # この例では、'interests'カラムがCSVファイル内でさらにカンマ区切りになっているが、
            # SQLite側では単一のTEXTカラムとして受け取るため、ここではそのまま処理する
            data_to_insert.append(tuple(row))
        
        try:
            cursor.executemany(insert_sql, data_to_insert)
            conn.commit()
            print(f"'{CSV_FILE_TO_IMPORT}' からデータが正常にインポートされました。")
        except sqlite3.IntegrityError as e:
            print(f"エラー: データ挿入中に問題が発生しました。既にデータが存在するか、PRIMARY KEY制約に違反している可能性があります。{e}")
            conn.rollback()
        except Exception as e:
            print(f"予期せぬエラー: {e}")
            conn.rollback()
        finally:
            conn.close()

if __name__ == "__main__":
    # 既存のデータをクリアして再度インポートできるようにする（オプション）
    conn = sqlite3.connect(DB_FILE)
    cursor = conn.cursor()
    cursor.execute("DELETE FROM users")
    conn.commit()
    conn.close()
    
    import_csv_to_sqlite()

    # インポートされたデータを確認
    conn = sqlite3.connect(DB_FILE)
    cursor = conn.cursor()
    cursor.execute("SELECT * FROM users")
    rows = cursor.fetchall()
    print("\nデータベースにインポートされたデータ:")
    for row in rows:
        print(row)
    conn.close()

解説

• executemany(sql, data): 複数の行を一度に挿入するための効率的な方法です。data_to_insertは、挿入するレコードのタプルのリストです。
• next(reader): ヘッダー行を読み飛ばします。
• encoding='utf-8': ファイルのエンコーディングを指定します。文字化けを防ぐために非常に重要です。CSVファイルがShift-JISなどの場合は、適切なエンコーディングを指定してください。
• csv.reader(f): ファイルオブジェクトfを渡すことで、行ごとにカンマ区切りでデータを読み込み、各行を文字列のリストとして返します。これが「Comma option」の処理の中核です。

CSVファイルのエクスポート (Python)

SQLiteデータベースからデータを取得し、CSVファイルとして出力する例です。

import sqlite3
import csv

DB_FILE = "sample_database.db"
CSV_FILE_TO_EXPORT = "exported_data.csv"

def export_sqlite_to_csv():
    conn = sqlite3.connect(DB_FILE)
    cursor = conn.cursor()

    # テーブルからデータを取得
    cursor.execute("SELECT id, name, age, city, interests FROM users")
    rows = cursor.fetchall()

    # カラム名を取得（ヘッダーとして使用）
    column_names = [description[0] for description in cursor.description]

    with open(CSV_FILE_TO_EXPORT, 'w', newline='', encoding='utf-8') as f:
        # csv.writer を使用してカンマ区切りファイルを書き込む
        writer = csv.writer(f)

        # ヘッダーを書き込む
        writer.writerow(column_names)

        # データを書き込む
        writer.writerows(rows)
    
    conn.close()
    print(f"データベースのデータが '{CSV_FILE_TO_EXPORT}' に正常にエクスポートされました。")

if __name__ == "__main__":
    export_sqlite_to_csv()

    # エクスポートされたCSVファイルの内容を読み込んで確認（オプション）
    print(f"\n'{CSV_FILE_TO_EXPORT}' の内容:")
    with open(CSV_FILE_TO_EXPORT, 'r', encoding='utf-8') as f:
        print(f.read())

解説

• writer.writerows(rows): 複数の行のデータを一度に書き込みます。
• writer.writerow(row): 1行のデータを書き込みます。
• csv.writer(f, newline=''): ファイルオブジェクトfを渡すことで、カンマ区切りの文字列を書き込みます。newline=''は、csvモジュールが自動的に改行を処理するようにするために重要です（Windows環境での二重改行を防ぎます）。
• cursor.description: 実行したSQLクエリの結果セットのメタデータを提供します。各タプルの最初の要素がカラム名です。

このシナリオはPythonコードではなく、SQLiteのSQL構文に焦点を当てます。SQLiteには直接文字列を分割する組み込み関数はありませんが、SUBSTR()とINSTR()、そして再帰的CTEを組み合わせて実現できます。

上記のusersテーブルのinterestsカラムには、"読書,映画" のようにカンマ区切りの文字列が格納されています。これを個々の要素に分解して、別々の行として取得する例を示します。

例: カンマ区切り文字列を複数行に分割する

-- データベースに接続し、以下のクエリを実行してください
-- 例えば、DB Browser for SQLite などのGUIツールで実行できます

-- users テーブルの interests カラムをカンマで分割して複数行に展開
WITH RECURSIVE split_interests(id, name, age, city, interest, remaining_interests) AS (
  SELECT
    id,
    name,
    age,
    city,
    -- 最初の要素
    CASE
      WHEN INSTR(interests || ',', ',') > 0 THEN SUBSTR(interests, 1, INSTR(interests || ',', ',') - 1)
      ELSE interests
    END,
    -- 残りの文字列
    CASE
      WHEN INSTR(interests || ',', ',') > 0 THEN SUBSTR(interests || ',', INSTR(interests || ',', ',') + 1)
      ELSE ''
    END
  FROM users
  UNION ALL
  SELECT
    id,
    name,
    age,
    city,
    -- 再帰的に次の要素
    CASE
      WHEN INSTR(remaining_interests, ',') > 0 THEN SUBSTR(remaining_interests, 1, INSTR(remaining_interests, ',') - 1)
      ELSE remaining_interests
    END,
    -- 再帰的に残りの文字列
    CASE
      WHEN INSTR(remaining_interests, ',') > 0 THEN SUBSTR(remaining_interests, INSTR(remaining_interests, ',') + 1)
      ELSE ''
    END
  FROM split_interests
  WHERE remaining_interests != ''
)
SELECT
  id,
  name,
  age,
  city,
  interest
FROM split_interests
WHERE interest != ''; -- 空の要素を除外

解説

• 最終的なSELECT: 抽出されたinterestカラムと他の情報を取り出します。WHERE interest != '' で、分割処理で生成される可能性のある空の要素を除外しています。
• 再帰クエリ (UNION ALL SELECT ... FROM split_interests WHERE ...):
  • remaining_interests != '': remaining_interestsが空になるまで再帰を続けます。
  • この部分で、残りの文字列から次の要素を抽出し、さらにその残りをremaining_interestsとして渡します。
• 初期クエリ (FROM users):
  • interests || ',': interests文字列の最後にカンマを追加しています。これは、最後の要素を正しく抽出するために必要です（最後の要素の後にカンマがないため、INSTRが0を返すのを避けるため）。
  • INSTR(text, substring): text内でsubstringが最初に出現する位置を返します。
  • SUBSTR(string, start, length): stringからstart位置からlength文字を抽出します。
  • CASE WHEN ... THEN ... ELSE ... END: 条件分岐です。カンマが見つかるかどうかで処理を分けます。
• WITH RECURSIVE split_interests(...) AS (...): 再帰的CTE（Common Table Expression）を定義しています。これにより、自身の結果を参照して繰り返しの処理を行うことができます。

この複雑なSQLクエリは、SQLiteに組み込みの文字列分割関数がないため、手動で同様のロジックを実装する必要があることを示しています。Pythonなどの外部プログラミング言語からSQLiteを操作する場合、このような文字列操作はPython側で行う方がはるかに簡単で効率的です。

---

CSVの代替: 他のフォーマット（JSON、Parquetなど）

CSVはシンプルで広く使われていますが、いくつかの欠点があります。

• 効率: 大規模データの場合、読み書きが遅い。
• 引用符や区切り文字のエスケープ: データ中にカンマや引用符が含まれる場合に煩雑になる。
• 構造の複雑さ: ネストされたデータや配列を表現するのが難しい。
• データ型の曖昧さ: 全てが文字列として扱われるため、インポート時に適切な型変換が必要。

これらの問題に対処するための代替フォーマットがあります。

a. JSON (JavaScript Object Notation)

JSONは、人間が読める形式で、構造化されたデータを表現する軽量なデータ交換フォーマットです。SQLiteはJSON関数を組み込みでサポートしており、JSON文字列をデータベース内に直接格納し、クエリで解析することができます。

メリット

• 柔軟性: スキーマレスなデータに適している。
• データ型: 数値、ブール値、NULLなどの型を保持できる。
• 構造化: ネストされたデータや配列を簡単に表現できる。

SQLiteにおけるJSONの利用例

CREATE TABLE IF NOT EXISTS users_json (id INTEGER PRIMARY KEY, name TEXT, profile JSON);

INSERT INTO users_json (id, name, profile) VALUES (1, '山田太郎', '{"age": 30, "city": "東京", "interests": ["読書", "映画"]}');

-- JSONデータから特定の要素を抽出
SELECT
  id,
  name,
  json_extract(profile, '$.age') AS age,
  json_extract(profile, '$.city') AS city,
  json_extract(profile, '$.interests') AS interests_array
FROM users_json;

-- JSON配列の要素を分解する (SQLite 3.38.0以降のjson_each関数を使用)
SELECT
  id,
  name,
  value AS interest
FROM users_json, json_each(profile, '$.interests');

PythonでのJSONの扱い

import sqlite3
import json

conn = sqlite3.connect('sample_database.db')
cursor = conn.cursor()

cursor.execute("CREATE TABLE IF NOT EXISTS users_json (id INTEGER PRIMARY KEY, name TEXT, profile JSON)")

# データ挿入
data = {
    "id": 1,
    "name": "山田太郎",
    "profile": {"age": 30, "city": "東京", "interests": ["読書", "映画"]}
}
cursor.execute("INSERT INTO users_json (id, name, profile) VALUES (?, ?, ?)",
               (data["id"], data["name"], json.dumps(data["profile"])))
conn.commit()

# データ取得とJSON解析
cursor.execute("SELECT id, name, profile FROM users_json WHERE id = 1")
row = cursor.fetchone()
if row:
    retrieved_profile = json.loads(row[2])
    print(f"ID: {row[0]}, Name: {row[1]}, Age: {retrieved_profile['age']}, Interests: {retrieved_profile['interests']}")

conn.close()

b. Parquet / ORC (列指向ストレージフォーマット)

これらは主に大規模なデータ分析で使われる列指向ストレージフォーマットです。SQLite自体は直接サポートしていませんが、PythonのPandasやPyArrowライブラリを介してSQLiteとの間でデータをやり取りできます。

メリット

• Pandasとの親和性: データ分析ワークフローに統合しやすい。
• スキーマの保持: データ型情報が保持される。
• 高速なクエリ: 特定の列のみを読み込むため、クエリが速い。
• 高い圧縮率: ファイルサイズが小さい。

Pythonでの利用例 (PandasとParquet)

import sqlite3
import pandas as pd

conn = sqlite3.connect('sample_database.db')

# SQLiteからデータを読み込みDataFrameを作成
df = pd.read_sql_query("SELECT * FROM users", conn)

# DataFrameをParquetファイルとして保存
df.to_parquet("users_data.parquet")
print("データをParquetファイルにエクスポートしました: users_data.parquet")

# Parquetファイルからデータを読み込みDataFrameを作成
df_from_parquet = pd.read_parquet("users_data.parquet")

# DataFrameをSQLiteに書き戻す (既存テーブルを上書き)
df_from_parquet.to_sql("users_from_parquet", conn, if_exists='replace', index=False)
print("ParquetからSQLiteにデータをインポートしました: users_from_parquet")

conn.close()

CSV処理の高度化: Pandasの利用

PythonでCSVとSQLiteを扱う場合、csvモジュールよりもpandasライブラリを使用する方が、多くの場合で効率的でコードも簡潔になります。

メリット

• Null値の扱い: NaNとして適切に処理される。
• データ型推論: CSVから読み込む際に自動的にデータ型を推論してくれる。
• 豊富なデータ操作機能: フィルタリング、集計、結合などが簡単。
• 高速な読み書き: C言語で書かれたバックエンドにより、大規模データでも高速。

PythonでのPandasによるCSVインポート/エクスポート

import sqlite3
import pandas as pd

DB_FILE = "sample_database.db"
CSV_FILE = "sample_data.csv"

conn = sqlite3.connect(DB_FILE)

# --- CSVからSQLiteへのインポート ---
print("--- PandasによるCSVからSQLiteへのインポート ---")
try:
    # CSVファイルをDataFrameとして読み込む
    # ヘッダー行がない場合は header=None を指定
    df = pd.read_csv(CSV_FILE, encoding='utf-8')
    print("CSVファイルの内容:")
    print(df)

    # DataFrameをSQLiteテーブルに書き込む
    # if_exists='replace': 既存のテーブルを上書き
    # if_exists='append': 既存のテーブルに追記
    # index=False: DataFrameのインデックスをテーブルに書き込まない
    df.to_sql("users_pandas", conn, if_exists='replace', index=False)
    print(f"'{CSV_FILE}' から 'users_pandas' テーブルへデータをインポートしました。")

except Exception as e:
    print(f"インポートエラー: {e}")

# --- SQLiteからCSVへのエクスポート ---
print("\n--- PandasによるSQLiteからCSVへのエクスポート ---")
try:
    # SQLiteテーブルからデータを読み込みDataFrameを作成
    df_export = pd.read_sql_query("SELECT * FROM users_pandas", conn)
    print("SQLiteから読み込んだデータ:")
    print(df_export)

    # DataFrameをCSVファイルとして保存
    # index=False: DataFrameのインデックスをCSVに書き込まない
    # encoding='utf-8': エンコーディングを指定
    df_export.to_csv("exported_data_pandas.csv", index=False, encoding='utf-8')
    print(f"データを '{CSV_FILE}' にエクスポートしました。")

except Exception as e:
    print(f"エクスポートエラー: {e}")

conn.close()

# エクスポートされたCSVファイルの内容を確認
print(f"\n'exported_data_pandas.csv' の内容:")
with open("exported_data_pandas.csv", 'r', encoding='utf-8') as f:
    print(f.read())

SQLiteの組み込みコマンドラインツール (sqlite3 CLI)

Pythonスクリプトを使わずに、SQLiteのコマンドラインインターフェース（CLI）自体がCSVのインポート/エクスポート機能を強力にサポートしています。これは、簡単なデータ操作やスクリプト化されたタスクに非常に便利です。

メリット

• 高速: C言語で実装されているため、非常に高速。
• 手軽さ: コマンド一つで実行できる。
• プログラミング不要: Pythonなどの言語の知識がなくても実行可能。

CSVインポート例

# データベースに接続
sqlite3 sample_database.db

# CSVモードに設定
.mode csv

# ヘッダー行がある場合はONに設定（最初の行をスキップする）
.headers on

# CSVファイルをテーブルにインポート
# .import FILE_PATH TABLE_NAME
.import sample_data.csv users_cli

# インポートされたデータを確認
SELECT * FROM users_cli;

# CLIを終了
.quit

CSVエクスポート例

# データベースに接続
sqlite3 sample_database.db

# CSVモードに設定
.mode csv

# ヘッダー行をONに設定
.headers on

# 出力先ファイルを指定
.output exported_from_cli.csv

# クエリ結果を出力
SELECT * FROM users;

# 出力先を元に戻す (標準出力)
.output stdout

# CLIを終了
.quit

SQLiteには、外部データソース（CSVファイルなど）をあたかも通常のデータベーステーブルであるかのように扱うことができる「仮想テーブル」の概念があります。これにより、CSVファイルを直接SQLクエリで操作することが可能になります。

CSV用の仮想テーブルモジュールはSQLiteに組み込まれていませんが、 として利用できます。この拡張機能をコンパイルしてSQLiteにロードする必要があります。

メリット

• アプリケーションロジックの簡素化: CSVからの読み込みロジックをSQLに押し込める。
• SQLで直接CSVを操作: SELECT, WHERE, JOINなどをCSVファイルに対して直接実行できる。

利用イメージ (拡張機能をロードした後)

-- CSVファイルを仮想テーブルとして定義
CREATE VIRTUAL TABLE my_csv USING csv(filename='sample_data.csv', header=TRUE);

-- 仮想テーブルに対してクエリを実行
SELECT name, age FROM my_csv WHERE city = '東京';

-- 仮想テーブルを他のテーブルと結合
SELECT u.name, m.interests
FROM users u
JOIN my_csv m ON u.id = m.id;

これはより高度な方法で、SQLiteのビルドや拡張機能のロードに関する知識が必要になりますが、特定のユースケースでは非常に強力です。