nfrx: Expondo Serviços de IA Privados com Segurança
O nfrx é uma solução inovadora que permite expor serviços de inteligência artificial privados através de uma API segura e compatível com OpenAI. Este software é projetado para funcionar em servidores locais, permitindo que os usuários mantenham o controle total sobre suas operações de IA enquanto se conectam a serviços públicos. As principais funcionalidades incluem a capacidade de conectar múltiplos trabalhadores, roteamento de solicitações para o trabalhador menos ocupado, e suporte para protocolos de contexto de modelo, garantindo uma ampla flexibilidade e escalabilidade na execução de tarefas de IA. Além disso, o nfrx oferece um sistema de autenticação robusto com chaves de API separadas para clientes e trabalhadores, assegurando a integridade e a segurança das comunicações.
