タイトル
     2025 年度   総合国際学研究科
  
英語学・英語教育学2   
時間割コード
710210
担当教員(ローマ字表記)
  投野 由紀夫 [TONO Yukio]
授業開講形態 授業形態 単位数 学期 曜日・時限 実務経験のある教員による授業
対面   2 冬学期 集中 -
授業題目(和文)   
生成AIの自然言語処理での活用
 
Title(English)   
Transformers for Natural Language Processing: Reading
 
授業の目標   
生成AIの自然言語処理での利用に関する概論書を購読することで、応用言語学分野での研究手法への活用方法をイメージし、AI のモデルの基礎となるトランスフォーマーの理解とそのコンピューター上での利用方法の基礎技能を身につける。
 
Goals of the course   
By reading an introductory book on the use of generative AI in natural language processing, you will be able to imagine how it can be used in research methods in the field of applied linguistics, and acquire the basic skills to understand transformers, which form the basis of AI models, and how to use them on computers.
 
授業の概要   
基本的には、下記の教科書を担当を決めてレポーター制で皆で読む。その際に、PC で python コードのデモを行えるように準備する。プログラムは事前に配布されるので、コーディングの知識がなくても受講可能。単に内容のレポートだけでなく、応用言語学分野のテキスト処理にどのように活用できるかを各自でよく考え、議論しながら共有知を増やす。
 
Overview of the course   
Basically, we will all read the following textbook in a reporter system, with each person in charge of a section. At the same time, we will prepare to be able to demonstrate python code on a PC. The program will be distributed in advance, so it is possible to attend the course even if you do not have any coding knowledge. In addition to simply reporting on the content, we will each think carefully about how we can apply it to text processing in the field of applied linguistics, and share our knowledge by discussing it.
 
キーワード   
Transformer
NLP
corpus linguistics
text analysis
 
Keywords   
Transformer
NLP
corpus linguistics
text analysis
 
授業の計画   Plan  
No.内容Content
第1回
Transformer のモデル構造(1) Getting started with the model architecture of the Transformer (1)
第2回
Transformer のモデル構造(2) Getting started with the model architecture of the Transformer (2)
第3回
BERT のファインチューニング(1) Fine-Tuning BERT Models (1)
第4回
BERT のファインチューニングル(2) Fine-Tuning BERT Models (2)
第5回
Transformer をテストするさまざまな言語タスク(1) Various language tasks for testing Transformer (1)
第6回
Transformer をテストするさまざまな言語タスク(2) Various language tasks for testing Transformer (2)
第7回
Transformer をテストするさまざまな言語タスク(3) Various language tasks for testing Transformer (3)
第8回
Transformer と機械翻訳(1) Machine translation with the Transformer (1)
第9回
Transformer と機械翻訳(2) Machine translation with the Transformer (2)
第10回
Transformer とテキスト生成モデル(1) Transformer and Text Generation Models (1)
第11回
Transformer とテキスト生成モデル(2) Transformer and Text Generation Models (2)
第12回
Transformer と文書要約(1) Transformer and AI text summarization (1)
第13回
Transformer と文書要約(2) Transformer and AI text summarization (1)
第14回
Transformer による意味役割ラベル付け Semantic Role Labeling with Transformers
第15回
Transformer と fake news 分析 Analyzing fake news with Transformers


 
成績評価の方法・基準   
担当部分の読解と発表、討議内容に関する議論の質、活用可能な応用言語学分野のテキスト処理に関するユニークなアイデア、最終レポートを総合的に評価する
 
Grading system for assessment   
The overall evaluation will be based on the following: reading comprehension and presentation of the assigned section, the quality of the discussion on the content of the debate, unique ideas on the processing of texts in the field of applied linguistics that can be put to practical use, and the final report.
 
事前・事後学習【要する時間の目安】   
担当のリーディング部分の事前購読1−2時間、プログラムの挙動の確認(事前事後)1−2時間、レポート執筆 10時間
 
Preview/review   
1-2 hours of advance reading of the section in charge, 1-2 hours of checking the behavior of the program (before and after), 10 hours of writing a report
 
履修上の注意   
 
Notes   
 
教科書  
教科書1 ISBN 9781800565791
書名 Transformers for natural language processing : build innovative deep neural network architectures for NLP with Python, PyTorch, TensorFlow, BERT, RoBERTa, and more
著者名 Denis Rothman 出版社 Packt 出版年 2021
備考
 
参考書  
 
使用言語  
英語(E*) 一部日本語を含む
 
ページの先頭へ