第5章: 大規模言語モデル#
この章では、大規模言語モデル (LLM; Large Language Model) の利用し、様々なタスクに取り組む。大規模言語モデルをプログラムからAPI経由で呼び出すことを想定しており、そのAPIの利用で費用が発生する可能性があることに留意せよ。
40. Zero-Shot推論#
以下の問題の解答を作成せよ。ただし、解答生成はzero-shot推論とせよ。
9世紀に活躍した人物に関係するできごとについて述べた次のア～ウを年代の古い順に正しく並べよ。
ア 藤原時平は，策謀を用いて菅原道真を政界から追放した。
イ 嵯峨天皇は，藤原冬嗣らを蔵人頭に任命した。
ウ 藤原良房は，承和の変後，藤原氏の中での北家の優位を確立した。
出典: 令和5年度第1回高等学校卒業程度認定試験問題 日本史AB 問題 日本史B 1 問3
41. Few-Shot推論#
以下の問題と解答を与え、問題40で示した質問の解答をfew-shot推論（この場合は4-shot推論）で生成せよ。
日本の近代化に関連するできごとについて述べた次のア～ウを年代の古い順に正しく並べよ。
ア 府知事・県令からなる地方官会議が設置された。
イ 廃藩置県が実施され，中央から府知事・県令が派遣される体制になった。
ウ すべての藩主が，天皇に領地と領民を返還した。
解答: ウ→イ→ア
出典: 令和5年度第1回高等学校卒業程度認定試験問題 日本史AB 問題 日本史A 1 問8
江戸幕府の北方での対外的な緊張について述べた次の文ア～ウを年代の古い順に正しく並べよ。
ア レザノフが長崎に来航したが，幕府が冷淡な対応をしたため，ロシア船が樺太や択捉島を攻撃した。
イ ゴローウニンが国後島に上陸し，幕府の役人に捕らえられ抑留された。
ウ ラクスマンが根室に来航し，漂流民を届けるとともに通商を求めた。
解答: ウ→ア→イ
出典: 令和5年度第1回高等学校卒業程度認定試験問題 日本史AB 問題 日本史B 3 問3
中居屋重兵衛の生涯の期間におこったできごとについて述べた次のア～ウを，年代の古い順に正しく並べよ。
ア アヘン戦争がおこり，清がイギリスに敗北した。
イ 異国船打払令が出され，外国船を撃退することが命じられた。
ウ 桜田門外の変がおこり，大老の井伊直弼が暗殺された。
解答: イ→ア→ウ
出典: 令和4年度第1回高等学校卒業程度認定試験問題 日本史 問題 日本史A 1 問1
加藤高明が外務大臣として提言を行ってから、内閣総理大臣となり演説を行うまでの時期のできごとについて述べた次のア～ウを，年代の古い順に正しく並べよ。
ア 朝鮮半島において，独立を求める大衆運動である三・一独立運動が展開された。
イ 関東大震災後の混乱のなかで，朝鮮人や中国人に対する殺傷事件がおきた。
ウ 日本政府が，袁世凱政府に対して二十一カ条の要求を突き付けた。
解答: ウ→ア→イ
出典: 令和4年度第1回高等学校卒業程度認定試験問題 日本史 問題 日本史A 2 問4
42. 多肢選択問題の正解率#
JMMLU のいずれかの科目を大規模言語モデルに解答させ、その正解率を求めよ。
43. 応答のバイアス#
問題42において、実験設定を変化させると正解率が変化するかどうかを調べよ。実験設定の例としては、大規模言語モデルの温度パラメータ、プロンプト、多肢選択肢の順番、多肢選択肢の記号などが考えられる。
正解の選択肢を全てDに入れ替えて解答させる例。
44. 対話#
以下の問いかけに対する応答を生成せよ。
つばめちゃんは渋谷駅から東急東横線に乗り、自由が丘駅で乗り換えました。東急大井町線の大井町方面の電車に乗り換えたとき、各駅停車に乗車すべきところ、間違えて急行に乗車してしまったことに気付きました。自由が丘の次の急行停車駅で降車し、反対方向の電車で一駅戻った駅がつばめちゃんの目的地でした。目的地の駅の名前を答えてください。
参考: 東急線・みなとみらい線路線案内
45. マルチターン対話#
先ほどの応答に続けて、以下の追加の問いかけに対する応答を生成せよ。
さらに、つばめちゃんが自由が丘駅で乗り換えたとき、先ほどとは反対方向の急行電車に間違って乗車してしまった場合を考えます。目的地の駅に向かうため、自由が丘の次の急行停車駅で降車した後、反対方向の各駅停車に乗車した場合、何駅先の駅で降りれば良いでしょうか？
46. 川柳の生成#
適当なお題を設定し、川柳の案を10個作成せよ。
47. LLMによる評価#
大規模言語モデルを評価者（ジャッジ）として、問題46の川柳の面白さを10段階で評価せよ。
48. LLMによる評価の頑健性#
問題47で行ったLLMによるテキストの評価に関して、その頑健さ（脆弱さ）を調査せよ。最も単純な方法は、同じ評価を何回か繰り返した時のスコアの分散を調べることであろう。また、川柳の末尾に特定のメッセージを追加することで、評価スコアを恣意的に操作することも可能であろう。
49. トークン化#
以下の文章（夏目漱石の『吾輩は猫である』の冒頭部分）のトークン数を計測せよ。
吾輩は猫である。名前はまだ無い。
どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。しかしその当時は何という考もなかったから別段恐しいとも思わなかった。ただ彼の掌に載せられてスーと持ち上げられた時何だかフワフワした感じがあったばかりである。掌の上で少し落ちついて書生の顔を見たのがいわゆる人間というものの見始であろう。この時妙なものだと思った感じが今でも残っている。第一毛をもって装飾されべきはずの顔がつるつるしてまるで薬缶だ。その後猫にもだいぶ逢ったがこんな片輪には一度も出会わした事がない。のみならず顔の真中があまりに突起している。そうしてその穴の中から時々ぷうぷうと煙を吹く。どうも咽せぽくて実に弱った。これが人間の飲む煙草というものである事はようやくこの頃知った。