IPN/LIS/2025/CON37
-
Referência
IPN/LIS/2025/CON37 -
Unidade
Laboratório de Informática e Sistemas -
Área Científica
Engenharia Electrotécnica e Informática -
Local de Realização
Instituto Pedro Nunes -
Documentos
Modelo de contrato de bolsa
Modelo de relatório final
-
Apoio
-
Orientador
Marília Curado -
Instituição do orientador
Departamento de Engenharia Informática da FCTUC -
Categoria do orientador
Professor catedrático -
Objetivos
Pretende-se identificar, desenvolver e integrar mecanismos tais como controlo de privilégios de acesso, guardrails ou contexto de utilização autorizada (ou não autorizada), que melhorem o alinhamento de segurança de LLMs no contexto da sua aplicação em diálogos com fins psicoterapêuticos, e previnam ou minimizem riscos como injeção direta ou indireta, melhorando a integração responsável de LLM nesse âmbito.
Nesse sentido, a bolsa contempla o estudo aprofundado e configuração de grandes modelos de linguagem (LLMs), riscos e ameaças que afetam a sua segurança no contexto em causa, mecanismos de proteção / controlo adequados aos riscos principais, e metodologias de avaliação adequadas.
-
Tema do plano de trabalhos
Abordagens para integração segura de LLMs no contexto de psicoterapia -
Plano de trabalhos
1) Revisão da literatura da área de grandes modelos de linguagem (LLMs), riscos e ameaças associados à integração de LLMs para diálogos de longo contexto com utilizadores, mecanismos focados em fornecer segurança à operação de LLMs (em particular, definição de privilégios de acesso a dados ou ferramentas, e mecanismos de filtragem de outputs), incluindo atividades da indústria particularmente relevantes (ex. OWASP GenAI Security Project ).
2) Estudo e familiarização com ferramentas de filtragem open-source de referência, como Llama Guard, NVIDIA NeMoGuardrails, GuardrailsAI, Semgrep, PyRIT, garak, etc.
3) Estudo e definição de casos de uso e requisitos para a solução.
4) Especificação de alto-nível da solução.
5) Experimentação com ferramentas open-source selecionadas.
6) Especificação detalhada da solução e respetiva implementação, alinhada aos requisitos e casos de uso definidos.
7) Avaliação da solução implementada, considerando abordagem e datasets/benchmarks de referência (ex.: testes de prompt injection da CyberSec Eval 4).
-
Tipo de bolsa
BI - Bolsa de Investigação -
Montante
1040.98 € -
Renovável
Sim -
Método de pagamento
Mensal -
Duração
6 meses -
Número de bolsas
1 -
Destinatários
Estudantes de mestrado, mestrado integrado, ou de outros cursos não conferentes de grau, que já tenham realizado os 180 créditos correspondentes aos primeiros 6 semestres curriculares de trabalho, na área de Engenharia Informática, Engenharia Física, Engenharia Electrotécnica e de Computadores, Física, ou áreas afins. -
Documentação a entregar
a) Cópia de documento de identificação válido (Cartão de Cidadão ou Passaporte);
b) Curriculum Vitae do candidato;
c) Certificados de habilitações de todos os graus académicos obtidos, com média final e com as classificações em todas as disciplinas realizadas;
d) Comprovativo de inscrição num ciclo de estudos conducente a grau académico ou comprovativo de inscrição em cursos não conferentes de grau académico integrados no projeto educativo de uma instituição de ensino superior. -
Data de anúncio
2025-09-04 -
Data de início para entrega de candidaturas
2025-09-19 -
Data limite para entrega de candidaturas
2025-10-02
