# パッケージのインストール
!pip install transformers accelerate bitsandbytes
!pip install sentencepiece
パッケージをインストールして、推論する文章を入れます。
本日も会社で八つ当たりされて悲しかったので、晩御飯は焼肉屋に行って一人で英気を養おうと思ったのです。 しかしながらお金が無いので、近くのスーパーで肉を買って帰りました。
そんな実話の続きを、書いてもらいました。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
"line-corporation/japanese-large-lm-3.6b",
use_fast=False
)
model = AutoModelForCausalLM.from_pretrained(
"line-corporation/japanese-large-lm-3.6b",
load_in_8bit=True,
torch_dtype=torch.float16,
device_map="auto", )
# プロンプトの準備
prompt = "今日は外食で焼肉屋に行くのをあきらめて、"
# 推論の実行
input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate(
input_ids.to(device=model.device),
max_length=3000,
temperature=1.0,
do_sample=True,
pad_token_id=tokenizer.pad_token_id,
)
output = tokenizer.decode(tokens[0]) print(output)
以下、出力結果です。
今日は外食で焼肉屋に行くのをあきらめて、家でゆっくりすることにしました。 久しぶりに自宅で食事を作るのですが、どうしても焼肉が食べたくなって、近所の焼肉屋に行ってしまいました。 行ったのは、地元の焼肉屋さん。 焼肉屋といってもファミリーで行ける店です。 焼肉屋さんと言っても、焼肉定食はメニューにありません。 「カルビ定食」はあるのですが、単品ではなくセット。 しかも、3種類の肉を盛り合わせた定食。 肉は1つずつ注文しなくてはいけません。 「肉盛り合わせ」を注文すると、3種類の肉を1枚ずつ注文しなくてはならず、1,200円から1,600円ほどもします。 3種類も肉が食べられないので、「カルビ」と「特撰ロース」だけにして、肉は単品で注文しました。 1,180円です。 カルビは100gくらいでしょうか? 特撰ロースは100gちょっと? カルビは脂身が多くて甘いですね。 特撰ロースも上物でしょう。 ご飯はおかわり自由です。 焼肉屋さんの定食によくある「わかめスープ」ではなく、普通の味噌汁です。</s>
だそうです。 結局焼肉屋さんに行ったんですね（笑）
しかも焼肉屋さんなのに、メニューに焼肉定食が無い。 更に、肉盛り合わせを注文したくても、肉を1枚ずつしか注文出来ない仕様です。
せめてご飯が、おかわり自由で良かったです。
VIVA！わかめスープ。
では。
今回のコードはnpakaさんのコードを丸パクリさせて頂きました。 勉強になりました。ありがとうございました。