뚜벅뚜벅코딩

목차임베딩응용/심화요약1. 임베딩(Embedding)일반적으로 임베딩은 단어나 문장을 수치화 시켜주는 작업으로 사용.-> 구체적으로는 단순 데이터 변환이 아닌 의미의 공간적 배치. 자연어(텍스트)를 고정된 길이의 실수 배열(Vector)로 변환하는 기술.-> 비슷한 의미를 가진 단어나 문장은 벡터 공간상에서 서로 가까운 거리에 위치하게 만드는 것.ex) 정지 버튼과 STOP이라는 단어는 컴퓨터가 받아들이기에는 전혀 다른 데이터지만, 임베딩 후 벡터 좌표는 매우 근접하게 위치. LLM 프로세스에서의 임베딩LLM은 보통 다음과 같은 시퀀스를 통해 입출력을 처리함. 자연어 입력 -> 토큰화 -> 임베딩 -> AI 모델 연산 -> 자연어 출력 사용자가 프롬프트 등을 통해 자연어를 입력하면, 이를 문장에서 단어..

목차설계 및 구현결과1. 설계 및 구현개발 환경RAD 2009 C++ Builder, Gemini API 설정 파일 세팅 - GeminiApiKey : 사전에 발급받은 Gemini API 키 데이터가 삽입된 ini 파일.- GeminiPrompt : 사전에 정의할 시스템 프롬프트가 입력된 ini 파일.- GeminiSchema : 응답받을 JSON 스키마가 정의된 ini 파일.-> API 요청 시에는 동적으로 위 ini 파일들을 읽어서 API에게 요청할 최종 프롬프트를 생성. 시스템 프롬프트### [ROLE] ###너는 RAD STUDIO 2009 C++ 빌더에 특화된 UI 설계 전문가야.사용자의 요구사항을 분석하여 VCL 컴포넌트 배치 데이터를 JSON 형식으로 생성한다.### [COMPONENT ..

AI 스터디 내용 정리1. 프롬프트 엔지니어링// 2. RAG 및 데이터 처리// 3. 멀티모달 및 시각 지능// 4. 에이전트 및 자율 추론// 5. 모델 배포 및 인프라 ** 2026년 3월 23일 업데이트 ** 1. 프롬프트 엔지니어링시스템 메시지(System Message), 시스템 프롬프트(System Prompt) [AI] 시스템 프롬프트(System Prompt)와 시스템 메시지(System Message)목차시스템 프롬프트응용/심화요약1. 시스템 프롬프트시스템 프롬프트는 AI 모델의 행동 지침을 설정하는 최상위 명령문임.AI가 사용자가 대화하기 이전 단게에서 어떤 규칙을 준수해야하는지tiptapcoding.tistory.com 예시 기반 학습(Few-Shot Prompt), 지시 기반 ..

목차중간 망각 현상응용/심화요약1. 중간 망각 현상일반적으로 LLM이 문장을 읽는 방식은 사람이 책을 읽는 것과 비슷해서 심리학에서 얘기하는 서열 위치 효과(Serial Position Effect)가 LLM에서도 그대로 나타나고, 여기에는 두 가지 강력한 편향이 존재함. 1. 초두 효과(Primacy Effect)프롬프트 앞부분에 나온 지시사항은 모델의 전체 답변의 방향성을 결정하는 기준으로 동작.-> 시스템 메시지 혹은 역할 부여 등이 맨 앞에 위치하게 되는 이유이기도 함. 2. 최신 효과(Recency Effect)모델이 답변(Token)을 생성하기 직전에 읽은 정보가 가장 강한 자극으로 남게됨.-> 프롬프트 최후반의 지시사항에 높은 가중치를 두게됨. => 위 두 효과는 결국 토큰이 길어질수록 토큰..

목차할루시네이션응용/심화요약1. 할루시네이션할루시네이션AI 모델이 학습한 데이터에 기반하지 않은, 사실과 다르거나 논리적으로 맞지 않는 내용을 진실처럼 출력하는 현상.ex) 오브젝트를 생성하는데 없는 속성을 만들어내거나 존재하지 않는 API 함수를 추천하는 것 등. 할루시네이션 발생 원인1. 확률적 예측의 한계LLM은 지식이 아닌 가장 적합해보이는 단어를 확률적으로 계산-> 올바른 지식이 아닌 확률이 가장 높은 단어를 조합하다 보니 잘못된 답변 생성. 2. 데이터 공백학습 데이터에 없는 최신 정보나 구체적인 기술 스택 등에 대해 질문.-> 비슷한 다른 데이터를 조합하여 가짜 답변을 생성. 3, 과도한 창의성Temperature 파라미터가 높게 설정되면 모델이 낮은 확률의 단어를 선택.-> 논리적 궤도에..

목차온도응용/심화요약1. 온도온도(Temperature)LLM 프롬프트를 사용할 때, 직접 모델과 상호작용 가능한 파라미터 중 하나.여러 파라미터 중에서도 temperature는 AI가 단어를 선택할 때 확률 분포를 어떻게 할 것인가를 결정하는 파라미터.일반적으로 0.0에서 2.0 사이로 파라미터 값을 설정할 수 있으며 모델에 따라서 1.0이 최대치인 모델(Claude)도 있음. 기능 : temperature는 AI 모델이 텍스트를 생성할 때 단어 혹은 구문을 선택하는 과정에서 무작위성을 조절하는 설정값으로 기능함.-> temp가 낮으면 예측 가능하며 보수적인 답변을 하고, temp가 높으면 다양한 단어를 선택하여 창의적인 결과를 도출. 1. 낮은 온도로 설정하는 경우 : 0.0 ~ 0.3 (0.0 ~ ..

목차Structured Outputs응용/심화요약1. Structured Outputs일반적으로 사용자가 Open AI 등의 LLM에게 특정 답변을 요구하면 자유로한 줄글의 형태로 답변을 반환.구조화된 출력이라는 것은 이 LLM이 개발자가 미리 정의한 JSON / XML 등의 스키마에 일치하는 답변을 하도록 강제하는 것.-> 웹 서버 통신, DB 저장, UI 위젯 지정 등 프로그램 소스코드 레벨에서 AI의 답변을 즉시 객체화하여 사용하기 위해 필수적. Open AI vs Gemini의 구조화된 답변 비교기본적으로 둘 다 기본적으로 JSON 등의 스키마 형식을 갖춘 데이터 예시가 필요함. 공통 JSON 스키마 정의{ "type": "object", "properties": { "project_n..

목차CoT응용/심화요약1. CoTCoT는 프롬프트 기법 중 하나로 정답을 도출하기 위한 중간 추론 단계를 생성하게 함으로써 추론 능력을 향상시키는 기법.정답을 바로 도출하는 것이 아닌, 복잡한 문제를 사람이 해결하는 프로세스와 같이 단계 별로 문제를 해결하게 끔 유도. CoT의 특징(1) 논리적 순서화(Logical Sequencing) :성급한 결론을 도출하다가 순서가 꼬이는 실수 방지. (2) 자기 교정(Self-Correction) :단계별로 추론하는 과정에서 모델 스스로 논리적 모순을 발견할 확률이 증가. (3) 복잡성 해결(Complexity Handling) :복잡한 작업을 지시할 때 강력한 힘을 발휘. CoT가 효율적인 이유(1) 인간 사고 모방 :복잡한 문제를 관리 가능한 중간 단계로 ..

목차Few Shot Prompting응용/심화요약1. Few Shot PromptingAI에게 질문을 던지기 이전 줄문과 답변의 예시(Shot)을 몇 개(Few) 미리 보여주는 기법.-> 시스템 프롬프팅은 정해진 규율은 주입한다면, 퓨샷은 이런식으로 답변하라는 실기 예제를 보여주는 것.-> 추가적인 학습 없이 프롬프트 내에 제공된 예시만을 활용하여 작업을 수행.-> 영구적인 모델의 학습이 아닌 API 호출 순간에만 유효한 일시적인 학습. Few Shot Prompting 특징(1) Pattern Recognition(패턴 인식) :AI는 제공된 예시의 구조, 말투, 스타일을 그대로 복제. (2) Ambiguity Reduction(모호성 제거) :버튼을 생성해달라는 모호한 요청에도 높이, 너비 등을 어..

목차시스템 프롬프트응용/심화요약1. 시스템 프롬프트시스템 프롬프트는 AI 모델의 행동 지침을 설정하는 최상위 명령문임.AI가 사용자가 대화하기 이전 단게에서 어떤 규칙을 준수해야하는지를 주입하는 것. 시스템 프롬프트의 특징(1) Invisible Logic(비가시성) :최종 사용자는 시스템 프롬프트를 볼 수 없으나, AI의 모든 답변은 이 로직의 통제를 받음.-> 몇몇 AI(Open AI의 System Message)는 조건부로 시스템 프롬프트를 수정할 수 있음. (2) Constraint Enforcement(제약 조건 강제) :답변의 길이, 말투, 금지어, 특정 데이터 형식 등을 강제. (3) Context Setting(문맥 설정) :AI가 단순한 챗봇이 아닌 특정 분야의 전문가로 동작하게 만듬...