LLMベース推薦システムのためのロジットレベルのバランスの取れた機械アンラーニング | JoVE Visualize

科学分野:

人工知能
機械学習
データサイエンス

背景:

推薦システムはデジタルプラットフォームにとって重要であり、大規模言語モデル（LLM）はパーソナライゼーションと精度を向上させます。
LLMベースの推薦（LLMRec）システムは、プライバシー、古いデータ、汚染されたデータ、著作権で保護されたデータなどのデータガバナンスの課題に直面しており、効果的なデータ削除が必要です。
既存の方法では、複雑なLLMRecシステムからデータとその影響を正確に削除することが困難です。

研究の目的:

正確なデータ削除とシステムパフォーマンスの維持が可能なLLMRecアンラーニングシステムを提案および評価すること。
新しいアンラーニングメカニズムを通じて、LLMRecシステムにおけるデータガバナンスの課題に対処すること。

主な方法:

LLMRecアンラーニングのためのアダプター駆動型ロジット修正システムを開発しました。
アンラーニングプロセス中のトレーニングコストを削減するためにアダプターを利用しました。
アンラーニング後の継続的な効果的な推論と推薦品質を保証するために、知識蒸留（KD）駆動型ロジット修正を採用しました。
コアLLM機能を維持するために、アダプターベースの一般知識保持モジュールを組み込みました。

主要な成果:

提案されたシステムは、LLMRecシステムにおいて効果的かつ効率的なアンラーニングを実証します。
アダプター駆動型アプローチは、推薦精度を維持しながらターゲットデータを正常に削除します。
知識蒸留と一般知識保持モジュールは、モデルの推論と基本的な言語能力を維持します。

結論:

アダプター駆動型ロジット修正システムは、LLMRecシステムにおけるアンラーニングのための正確かつ効果的なソリューションを提供します。
この方法は、データ削除の要件と、推薦パフォーマンスおよび一般的な言語理解を維持する必要性とのバランスを取ります。
この研究は、LLMベースの推薦フレームワークにおけるデータガバナンスの課題に対処する上で重要な進歩を提供します。