라마API를 신청하면서

일단 Llama API 프리뷰를 한번 신청해 보았다. 물론 몇 주 후에 아마 전체적으로 공개할 것이라고 한다.

이번 ‘라마 API 프리뷰’ 공개에서 눈에 뛰는 것은, 클릭 한 번으로 API 키를 생성할 수 있다. 아무래도 인터랙티브 플레이그라운드로 API를 호출해서 Llama 모델을 직접 체험할 수 있도록 파인튜닝, 모델 평가 및 추론 등을 해 볼 수 있는 전용 개발 플랫폼이다.

또한, Cerebras 및 Groq과의 협력을 통해, 더 빠른 추론 속도를 Llama API로 테스트 및 프로토타입을 개발하고, 스케일-업 할 수 있다네요. 그 외 기업 고객을 위한 Llama Stack 배포 패키지를 만들었다.

최근에는 Llama Stack과 NVIDIA NeMo 마이크로서비스 통합이 발표되었으며, IBM, Red Hat, Dell Technologies 등 다양한 기업들과도 새로운 통합 작업이 진행 중이라고 한다.

개발자들이 더 안전한 AI 애플리케이션을 구축할 수 있도록 Llama Guard 4, LlamaFirewall, Llama Prompt Guard 2 등 새로운 오픈소스 보안 도구도 공개했고. 보안 운영에서 AI 시스템의 효과성을 평가할 수 있도록 지원하는 CyberSecEval 4도 함께 발표했다고 한다.

• Join the waitlist: https://www.llama.com/products/llama-api/
• Learn more about Llama API: https://llama.developer.meta.com/docs/overview
• Read more on our blog: https://ai.meta.com/blog/llamacon-llama-news/