메인 콘텐츠로 건너뛰기
W&B Weave의 Agents view에서 시그널 탭은 에이전트 대화의 태그와 평점을 보여줍니다. 시그널은 품질 및 안전 문제를 드러내 문제를 식별하고, 패턴을 찾고, 주의가 필요한 트레이스를 강조합니다. 시그널을 사용하면 에이전트 응답의 품질을 자동으로 평가하고, 사용자가 좌절감을 느끼는 상황을 감지하거나, NSFW 콘텐츠를 표시할 수 있습니다.

​
시작하기

프로젝트의 시그널을 보려면 다음 단계를 따르세요.
  1. https://wandb.ai로 이동한 다음 프로젝트를 선택하세요.
  2. 사이드바 메뉴에서 Agents를 선택해 프로젝트에 저장된 모든 에이전트 대화를 확인하세요.
  3. 탭 바에서 시그널를 선택하세요.
에이전트의 점수가 매겨진 턴 목록이 표시된 시그널 탭.

​
주요 용어

  • 턴: 사용자와 에이전트 사이에서 오가는 한 차례의 상호작용입니다.
  • 평점: 일치하는 span에 부여되는 0.0~1.0 사이의 숫자 점수입니다.
  • 태그: “user-frustration” 또는 “nsfw”처럼 일치하는 span에 부여되는 라벨입니다.

​
시그널 테이블

시그널 탭에는 에이전트에서 점수가 매겨진 턴의 테이블이 표시됩니다. 각 행은 시그널 모니터 중 하나의 출력을 나타냅니다. 다음 열이 기본적으로 표시됩니다. 시간 범위 선택기와 Filter 바를 사용해 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. Score volume 타임라인은 Weave가 평점으로 평가했거나 태그를 지정한 시그널의 개수를 보여줍니다. 이 타임라인은 테이블에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.

​
새 시그널 만들기

에이전트의 턴 점수화를 시작하려면 시그널을 하나 이상 만드세요. + New signal을 선택해 Create signals 드로어를 여세요. 드로어에서는 사용 가능한 시그널을 두 가지 범주로 나눠 보여줍니다.
  • Tags: user-frustration 또는 nsfw와 같이 일치하는 span에 라벨을 자동으로 적용합니다. Tags를 사용해 span을 분류하거나 원치 않는 동작을 표시하세요. 시그널 UI에는 하나 이상의 태그와 일치한 span의 행만 표시되므로, 출력이 보이지 않아도 태그 시그널은 정상적으로 실행되었을 수 있습니다.
  • 평점: 일치하는 span에 0~1 사이의 점수를 부여합니다. 평점을 사용해 에이전트 성능을 평가하고 시간 경과에 따른 개선 정도를 측정하세요.

​
프리셋 시그널

각 범주에는 바로 선택할 수 있는 프리셋 템플릿이 제공됩니다. 두 범주에 걸쳐 원하는 프리셋을 조합한 다음 Create [N] signals를 선택하면 기본 설정으로 한 번에 모두 생성할 수 있습니다.

​
태그 프리셋

​
평점 프리셋

​
맞춤형 시그널

Create signals 드로어에서 태그 및 평점 각 카테고리 하단에 맞춤형 시그널을 만들 수 있는 옵션이 있습니다. 직접 시그널을 정의하려면 Custom Tags 또는 Custom Rating을 선택하세요. 그러면 다음 필드가 있는 설정 화면이 열립니다.
  • Prompt template: 필요에 따라 하나 이상의 사전 설정 템플릿을 기반으로 Scorer를 구성할 수 있습니다. 템플릿을 선택하면 Scorer prompt가 채워지며, 여러 템플릿을 조합하거나 처음부터 프롬프트를 직접 작성할 수 있습니다.
  • Scorer prompt: 점수화 시 추론 모델로 전송되는 프롬프트입니다. Weave는 점수화 중 {input_messages}, {output_messages}, {system_instructions}, {agent_name} 등의 템플릿 변수를 해석합니다.
  • Scorer name: 이 시그널의 표시 이름입니다.
  • Inference model: 점수화에 사용할 LLM입니다. 기본값은 Serverless Inference이며, CoreWeave Serverless Inference는 W&B 계정의 크레딧을 사용합니다.
  • Advanced: 펼쳐서 추가 옵션을 설정합니다.
    • Only score turns matching: 하나 이상의 필터를 추가해 시그널이 점수화할 턴을 제한합니다. 예를 들어 에이전트, 오퍼레이션, 도구 또는 모델별로 제한할 수 있습니다. 비워 두면 모든 에이전트 턴을 점수화합니다. Weave는 여러 필터를 AND 논리로 결합합니다.
    • Sample rate: 트래픽이 많은 에이전트의 경우 샘플 비율을 낮추면 모든 턴 대신 일치하는 턴의 일부만 점수화하여 비용을 줄일 수 있습니다.
저장하려면 Create signal을 선택하세요.

​
시그널 관리 및 편집

생성된 시그널이 하나 이상 있는 경우, 툴바에서 활성 시그널 수(예: 1 active signals)가 표시된 활성 시그널 버튼을 선택하면 프로젝트의 모든 활성 시그널이 나열된 드로어가 열립니다. 여기에서 시그널을 켜거나 끄고, 삭제하거나, 각 시그널을 편집할 수 있습니다. 편집기에는 맞춤형 시그널과 동일한 설정 필드가 표시됩니다.

​
시그널 문제 해결

시그널 활동은 프로젝트 사이드바의 Traces 아래에 표시됩니다. 예상한 시그널 일치 항목이 보이지 않으면 Traces 테이블에서 디버깅하세요. 예를 들어 오류 상태를 확인하려면 Scorer 이름과 Status 열을 확인하세요. Scorer 실행 오류가 발생하면 Status에 빨간색 표시기가 나타나며 오류 세부 정보도 함께 제공됩니다.