LLM 파인튜닝 연구 요약

Anonymous

"LLM 파인튜닝"에 관한 arXiv 논문 10개 정리해줘

무엇이든 검색 - WhateverSEARCH logo
무엇이든 검색 - WhateverSEARCH

1. Using large language models to solve complex natural language reasoning tasks. :

  • 이 논문은 복잡한 자연어 추론 작업(예: 수학 문제)을 해결하거나 LLM을 파인튜닝하는 데 대규모 언어 모델을 사용하는 방법에 대해 탐구합니다. CoT(Chain of Thought) 프롬프팅을 사용하여 다양한 LLM과 순차적으로 처리하는 두 단계 접근 방식을 제안합니다.
  • 출처 : 링크

2. Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification :

  • 이 논문은 분류와 같은 다양한 하위 작업에서 대규모 언어 모델(LLM)의 사용이 중요하며, 특히 파인튜닝에 필요한 전문 지식과 자원이 부족한 작은 회사에게 중요함을 강조합니다.
  • 출처 : 링크

3. Large Language Models As Evolution Strategies :

  • 이 연구에서는 교사 알고리즘에 의해 생성된 BBO(Black-Box Optimization) 궤적을 사용하여 LLM을 파인튜닝하는 것의 영향을 조사합니다. 두 가지 BBOB 함수(Sphere 함수 포함)를 사용하여 실험을 진행합니다.
  • 출처 : 링크

4. Keeping LLMs Aligned After Fine-tuning: The Crucial Role of Prompt Templates :

  • 이 논문은 파인튜닝과 추론 중에 사용되는 프롬프트 템플릿이 얼마나 중요한지 강조하며, 안전 프롬프트 없이 파인튜닝하고 추론 시 사용하면 정렬된 LLM의 안전성이 유지됨을 보여줍니다.
  • 출처 : 링크

5. Datasets for Large Language Models: A Comprehensive Survey :

  • 이 논문은 LLM 텍스트 데이터셋의 전체 풍경을 제시하며, 구축 방법과 도메인별 지시 파인튜닝에 따라 분류된 파인튜닝 데이터셋을 제공합니다.
  • 출처 : 링크

6. Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards :

  • 다중 목적 보상 모델을 사용하여 LLM을 파인튜닝하고, 선호도 조건부 파인튜닝을 통해 사용자에게 LLM 생성을 직관적으로 제어할 수 있는 방법을 제공하는 DPA(Directional Preference Alignment)를 소개합니다.
  • 출처 : 링크

7. Making Them Ask and Answer: Jailbreaking Large Language Models in Few Queries via Disguise and Reconstruction :

  • 이 연구는 LLM 내재적 안전 장치 내에서 몇 가지 질의를 통해 대규모 언어 모델을 '탈옥'하는 방법을 탐구합니다. 파인튜닝 데이터의 편향을 밝히고, 이러한 편향이 LLM의 자가 생성된 유해 콘텐츠에 대한 안전 장치를 낮추는 방식을 보여줍니다.
  • 출처 : 링크

8. Annotating Materials Science Text: A Semi-Automated Approach for Crafting Outputs with Gemini Pro :

  • 이 논문은 재료 과학 텍스트 주석을 달기 위한 반자동 접근 방식을 소개하며, 도메인별 사전 훈련 및 파인튜닝이 효과적임을 보여줍니다. 관련 도메인의 LLM 파이프라인에 대한 주석이 달린 데이터가 필요함을 강조합니다.
  • 출처 : 링크

9. Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization :

  • 이 논문은 정책 수준의 반영과 최적화를 통해 진화하는 방법을 학습하는 Agent-Pro에 대해 논의합니다. 이는 기존의 LLM과 전문화된 모델을 능가하는 새로운 접근 방식을 제시합니다.
  • 출처 : 링크

10. Exploring Large Language Model as a Design Partner through Verbal and Non-verbal Conversation in Architectural Design Process :

  • 이 논문은 건축 설계 과정에서 대화와 비언어적 대화를 통해 대규모 언어 모델(LLM)을 디자인 파트너로 적용하는 새로운 접근 방식을 탐구합니다. 파인튜닝을 위한 대화 데이터를 점진적으로 축적하면서 LLM과 CT를 설계 과정에 통합합니다.
  • 출처 : 링크