Skip to content

Using GPT-x or Gimini-x and Azure Speech Studio or Vertex AI for speech recognition, you can enjoy conversations with 3D(.vrm) characters. And conversations are streamed from the Django channel (WebSockets).

License

Notifications You must be signed in to change notification settings

MITSUHIRO-KURIKI/Django-REST-framework-Nextjs-demo

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

26 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Django-REST-framework-Nextjs-demo

What is this?

執筆前

イメージ demo

執筆前

設置 setup

1. backend > .env ファイルへの各種クラウドサービス情報の記載
backend > .env file: Configure various cloud services

AZURE_SPEECH_SERVICE の設定 (VRMでの音声会話に使用)
Azure Speech Service settings (used for voice conversations in VRM)
AZURE_SPEECH_SERVICES_SUBSCRIPTION_KEY='*** YOUR AZURE_SPEECH_SERVICES_SUBSCRIPTION_KEY ***'  
AZURE_SPEECH_SERVICES_REGION='*** YOUR AZURE_SPEECH_SERVICES_REGION ***'
OpenAI API KEYの設定 (GPT系統のモデル利用時に使用)
OpenAI API KEY settings (used when utilizing GPT-based models)
OPENAI_API_KEY='*** YOUR OPENAI_API_KEY ***'
GCloud の設定 (Gimini系統のモデル利用時に使用)
GCloud settings (used when utilizing Gimini-based models)
GCLOUD_PROJECT_NAME='*** YOUR GCLOUD_PROJECT_NAME ***'
GCLOUD_LOCATION_NAME='*** YOUR GCLOUD_LOCATION_NAME ***'
# Note:
# Gcloud 使用の際にはクライアント認証が必要       (Gcloud requires client authentication.)
# - backend の コンテナ内のターミナルで以下を実行 (In the backend container’s terminal, run the following:)
$ gcloud config set project <--YOUR PROJECT_ID-->
$ gcloud auth application-default login

2. frontend > public > services > vrmchat > vrm へダウンロードした3Dモデル(.vrm)を格納します
frontend > public > services > vrmchat > vrm: Place the downloaded 3D model (.vrm)

3Dモデル(.vrm)はお好きなものをおいてください。モデルサイズ等に応じて、 frontend > providers > VrmCoreProvider > VrmCoreProvider.tsx のカメラ位置等を修正ください。
You can place any 3D model you like. Depending on the model size, adjust the camera position, etc. in frontend > providers > VrmCoreProvider > VrmCoreProvider.tsx.

サンプルイメージに使用したのはつくよみちゃん公式3Dモデル タイプA「①通常版(VRM)」です。
The sample image used is the official "Tsukuyomi-chan" 3D model Type A "① Normal version (VRM).”

3. frontend > public > fonts > NotoSansJP へダウンロードしたサブセットフォント(.woff/.woff2)を格納します
Frontend > public > fonts > NotoSansJP: Place the downloaded subset fonts (.woff / .woff2)

Example: ixkaito/NotoSansJP-subset/subset-min/

実行 run

Note

DefaultAdminユーザー (以下でログインできます)
DefaultAdmin user (you can log in with the following credentials)
Email: admin★admin.com (★→@)
Password: defaultPwd123

$ docker-compose up -d --build

-> ☕
-> http://localhost:3000/

  • 開発時
    development
$ docker-compose -f docker-compose.dev.yml up -d --build

主な実行環境 environment

執筆前

Other

本アプリケーションで使われる各種ライブラリのライセンスは改変したものを含めて本ライセンスには含まれません。各種ライブラリの原ライセンスに従って利用してください。
Licenses for the various libraries used in the application are not included in the license. Please use them in accordance with the license of each library.

suppl.

執筆前

About

Using GPT-x or Gimini-x and Azure Speech Studio or Vertex AI for speech recognition, you can enjoy conversations with 3D(.vrm) characters. And conversations are streamed from the Django channel (WebSockets).

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published