【Python】ChatGPTのファインチューニング（Fine-Tuning）実践方法｜特定のタスクに特化したモデル作成

pip install openai

{"prompt": "", "completion": ""}
{"prompt": "", "completion": ""}
{"prompt": "", "completion": ""}
・・・

{"prompt": "「DXCEL WAVE」とは？", "completion": "DXCEL WAVEとは、DX推進に関連する記事を多数投稿しているメディアです。"}
{"prompt": "「DXCEL WAVE」の記事から学べるChatGPTの内容とは？", "completion": "DXCELWEVEでは、OpenAIが提供するAPIの利用方法・PythonによるChatGPTモデルの活用方法が学習できます。"}

{"prompt": "", "completion": ""}
{"prompt": "", "completion": ""}
{"prompt": "", "completion": ""}
・・・

import openai

openai.organization = "<Organization IDをここに入力>"
openai.api_key      = "<APIシークレットキーをここに入力>"

# {
#   "bytes": 382,
#   "created_at": 1685433406,
#   "filename": "file",
#   "id": "file-fudxOqnQx2uoCks5A0OhaBws",
#   "object": "file",
#   "purpose": "fine-tune",
#   "status": "uploaded",
#   "status_details": null
# }

# 出力
print(FineTune)

# 出力イメージ
# <FineTune fine-tune id=ft-h18MqDkdRToXkcTWYr0riZ5d at 0x7fbbe003e5e0> JSONL: {
#   "created_at": 1685434188,
#   "events": [
#     {
#       "created_at": 1685434188,
#       "level": "info",
#       "message": "Created fine-tune: ft-h18MqDkdRToXkcTWYr0riZ5d",
#       "object": "fine-tune-event"
#     }
#   ],
#   "fine_tuned_model": null,
#   "hyperparams": {
#     "batch_size": null,
#     "classification_n_classes": 2,
#     "classification_positive_class": "accuracy",
#     "compute_classification_metrics": true,
#     "learning_rate_multiplier": null,
#     "n_epochs": 4,
#     "prompt_loss_weight": 0.01
#   },
#   "id": "ft-h18MqDkdRToXkcTWYr0riZ5d",
#   "model": "davinci",
#   "object": "fine-tune",
#   "organization_id": "org-oSFB9qBWmVGNAiquOkpXUsAd",
#   "result_files": [],
#   "status": "pending",
#   "training_files": [
#     {
#       "bytes": 382,
#       "created_at": 1685433406,
#       "filename": "file",
#       "id": "file-fudxOqnQx2uoCks5A0OhaBws",
#       "object": "file",
#       "purpose": "fine-tune",
#       "status": "processed",
#       "status_details": null
#     }
#   ],
#   "updated_at": 1685434188,
#   "validation_files": [
#     {
#       "bytes": 397,
#       "created_at": 1685433385,
#       "filename": "file",
#       "id": "file-ZHNqxenmx2yZ2bWDBmRAdO2Y",
#       "object": "file",
#       "purpose": "fine-tune",
#       "status": "processed",
#       "status_details": null
#     }
#   ]
# }

from datetime import datetime

# チューニング状況チェック
FineTune_data = FineTune.list().data
num           = len(FineTune_data)

for i in range(num):
    timestamp     = FineTune_data[i].created_at
    datetime      = datetime.fromtimestamp(timestamp)
    fine_tuned_id = FineTune_data[i].id
    status        = openai.FineTune.retrieve(id=fine_tuned_id).status
    model         = openai.FineTune.retrieve(id=fine_tuned_id).fine_tuned_model
    
    print(f'Create At: {datetime}')
    print(f'FineTune ID: {fine_tuned_id}')
    print(f'Model: {model}')
    print(f'Statsu: {status}\n')

# Create At: 2023-05-29 17:06:15
# FineTune ID: ft-9rxNIic45KXR5bFqu0FWXbSY
# Model: davinci:ft-personal-2023-05-29-08-12-13
# Statsu: succeeded

# Create At: 2023-05-29 17:36:19
# FineTune ID: ft-NeF9s2Tu0z5HQBP2E3QEQFu6
# Model: None
# Statsu: failed

# Create At: 2023-05-29 17:41:55
# FineTune ID: ft-2PeaoZO4bhH2jBqFp6IdDIPB
# Model: davinci:ft-personal-2023-05-29-09-00-46
# Statsu: succeeded

# ================================================================
# 関数作成
# ================================================================

# ファインチューニング時に得られたモデルID
finetuned_model   =  'davinci:ft-personal-2023-05-30-08-14-43'

def AskChatbot(message):

    # 応答設定
    completion = openai.Completion.create(
                 model       = finetuned_model,  # ファインチューニングしたモデルを選択
                 prompt      = message,          # 質問文         
                 max_tokens  = 1024,             # 生成する文章の最大単語数
                 n           = 1,                # いくつの返答を生成するか
                 stop        = None,             # 指定した単語が出現した場合、文章生成を打ち切る
                 temperature = 0.5,              # 出力する単語のランダム性（0から2の範囲） 0であれば毎回返答内容固定
    )

    # 応答
    response = completion.choices[0]["text"]
    
    # 出力
    return response

# ================================================================
# 関数実行
# ================================================================

# 質問文
message =  "「DXCEL WAVE」ではどのようなChatGPTの記事が閲覧できるの？"

# 関数実行
res     = AskChatbot(message)

# 結果出力
print(res)

# 出力イメージ
# DXCEL WAVEでは、ChatGPTに関する記事を掲載しています。
# その中でも、特に人気の高い記事を紹介します。