tag: evalita-mp_hs_tasks
include: _hs_template_yaml
task: evalita-mp_hs_prompt-4
task_alias: prompt-4
doc_to_choice: ["B", "A"]
#doc_to_text: "Dato il seguente testo, rispondi Vero se il testo contiene hate speech, altrimenti rispondi Falso. Testo:\n{{full_text}} Risposta:"
doc_to_text: "Devi svolgere un compito di identificazione di incitamento all'odio. C'è incitamento all'odio nel seguente tweet: '{{full_text}}'?\nA: Sì\nB: No\nRisposta:"
metric_list:
  - metric: f1
    higher_is_better: true
    average: macro
    aggregation: f1
metadata:
  version: 1.0
