Vポイントマーケティング|TECH LABの Tech Blog

TECH LABのエンジニアが技術情報を発信しています

ブログタイトル

Agentアプリ開発を加速する"MCP(Model Context Protocol)"を調べて触れてみる。

こんにちは、CCCMKホールディングスAIエンジニアの三浦です。気温が高くなってきたので冬服や厚手の布団をしまっていかないと・・・と感じる今日この頃です。 はじめに MCPについて 実装してみる Serverの実装 Clientの実装 Agentの機能を拡張する Serverの…

LangGraphとDatabricksのGenieによるTable参照AgentアプリをModel Servingで動かしてみました。

はじめに Genie アプリケーションの処理の全体図 アプリケーション構築手順 Genieの作成 PATのシークレットへの登録 NotebookからGenieにアクセスする LangGraphのGraphをスクリプトに書き出す Graphの登録 Model Servingへのデプロイ Model Serving Endpoin…

LangGraphでAzure DatabricksのTableに自然言語で問い合わせが出来るアプリを作ってみました!

はじめに やりたいこと 使用したデータ 利用したLLM データの準備 データセットのダウンロード Tableへの書き込み COMMENTの付与 アプリの構築 LLMとアプリのState rooting normal_chat create_sql execute_sql answer ビルド 動作確認 まとめ はじめに こん…

LangGraphで"Human-In-The-Loop"を組んでみました。

こんにちは、CCCMKホールディングス AIエンジニアの三浦です。 4月ですね!今日インターネットでニュースを見ていたら、個人的にすごくびっくりするニュースを見つけました。その後、今日がエイプリルフールだということを思い出しました・・・。 さて最近Ag…

色々な設定でHugging Face "Diffusers"でDiffusion Modelを学習させて画像生成してみました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 すっかりと暖かくなり、春らしくなりました。近所の学校や保育園で卒業式や卒園式が行われているのを見ると、新しい季節がやって来るんだなぁとしみじみ感じます。 さて、今回は前回に引き続き画像生成…

Hugging Face "Diffusers"でDiffusion Modelの構築に取り組んでみました。

Diffusersを使って基本系のDiffusion Modelの構築に取り組んでみた話をまとめました。

Virtual Try-Onを実現する"TryOnDiffusion"について調べてみました。

こんにちは、CCCMKホールディングス三浦です。 前回、二つの画像を融合する技術について調べたことをまとめたのですが、今回はまた違う方向の"画像の融合"技術について取り上げてみたいと思います。 バーチャル試着を実現する技術"Virtual Try-On" 人物画像…

2つの画像を融合する"Image Fusion via Vision-Language Model"という論文を読んだので内容をまとめてみました。

はじめに 該当するタスク FILMとは Text Feature Fusion Text-Guided Vision Feature Fusion Vision Feature Decoding Fine-Tuningはどうするのか? 生成される融合画像 赤外線-可視光画像融合 マルチ露光画像融合 まとめ はじめに こんにちは、CCCMKホール…

長いドキュメントをLLMに参照させる"Chain of Agents"というアプローチについて論文を読みました。

こんにちは、CCCMKホールディングスTECH LAB三浦です。 はじめに もうすぐ2月も終わりです。今期もあと残すところ1か月なので、来期に取り組みたい研究テーマを探すため、最近は色々な論文に目を通しています。今回も最近読んで面白いと感じた論文の内容を紹…

"DeepRAG: Thinking to Retrieval Step by Step for Large Language Models"という論文を読みました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近日本の歴史の漫画を読んでいました。子どもの頃は近代~現代の内容は難しい、と感じていたのですが、大人になってから改めて見ると学ぶことがとても多く、考えさせられることがたくさんあるんだ…

"The Surprising Effectiveness of Test-Time Training for Abstract Reasoning"という論文を読みました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 いつの間にか2月も中旬になりました。2月3月はあっという間に過ぎていく印象があります。きっと気が付いたら4月になっているんだろうな、と思います。 "Test-Time" 論文について Test-Time Training?…

RAGの手法"RAPTOR"のドキュメントの木構造化を試してみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 歳を重ねていくと、なんとなく一年の中でのこの時期は特に体調を崩しやすいな、ということが分かってきます。私にとっては今の時期がちょうどその時期で、今年もやっぱり風邪を引いてしまいました。…

LLMの性能を測る指標をベンチマーク結果から取得する方法について、論文を読みました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 昨年参加したAI・機械学習カンファレンス"NeurIPS2024"のポスターセッションで発表されていた論文の中で、面白いアプローチだな、と印象に残っている論文がいくつかあります。 そのうちの1つがこち…

Contrastive Activation Addition(CAA)の振る舞いのベクトルを抽出して可視化してみる。

対象にした振る舞い 使用したデータセット 対象にするLLM モデルのどこに注目するのか 可視化方法 PyTorchで中間表現を取得する方法 実行コードの一部の紹介 いくつかの散布図を描画 なぜAとBで傾向が違うのか・・・ まとめ こんにちは、CCCMKホールディング…

LLMの振る舞いを調整するContrastive Activation Addition(CAA)について、論文を読んで手法を調べてみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 成人式の休日も終わり、そろそろ2025年も本格スタート、という気持ちになってきました。今年は"整理整頓"をもっとうまく出来るようになりたいな・・・と考えています。身の回りもそうですが、自分の…

DPO(Direct Preference Optimization)を使ってLLMの回答を調整する方法を試してみました。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 あけましておめでとうございます。2025年がはじまりました。今年もまた、色々なことを試していきたいなと思います! 昨年末にNeurIPS 2024に参加してから、LLMの"Post Training"というアプローチに…

2024年も終わりなので、来年の目標達成のための計画を作ってくれるMulti-Agentの仕組みを作ってみました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 今年ももう終わりですね。この時期は「今年こんなことあったなぁ」と振り返りつつ、「来年こんなことが出来るようになりたいなぁ」と考える時期だと思います。今年、AI領域ではLLMの活用として"Agent…

LLMの評価の観点について、調べてみました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 今日はクリスマスイブですね。クリスマスが過ぎるとあっという間にお正月で、毎年この時期には独特な雰囲気があるなぁと感じています。 参考資料 LLMの評価 汎用的言語性能 ドメイン特化性能 安全性…

NeurIPS 2024に参加しました!

こんにちは、CCCMKホールディングスTECH LABの三浦です。今回はカナダのバンクーバーから、機械学習・AIに関する国際カンファレンスである"NeurIPS 2024"に現地参加したレポートをお送りしたいと思います! NeurIPSとは 最初に会場で受け付け カンファレンス…

事前学習におけるトークンの選択の重要性についての論文"RHO-1:Not All Tokens Are What You Need"を読みました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 今年もあと1か月ですね。振り返ってみると色々とあった1年ですが、個人的には夏の厳しい暑さが印象に残っています。残りわずかですが、2024年の最後まで頑張ろうと思います。 学習中のトークンごとの…

様々な形式のドキュメントからテキスト情報を取得する"Docling"を使ってみる。

こんにちは、CCCMKホールディングス TECH LABの三浦です。 先日チームのメンバーに教えてもらい、試してみたいな・・・と思っていたライブラリを今回試すことが出来ました。"Docling"というライブラリで、PDFなどのファイルから、内容をマークダウンかjsonの…

Chatアプリケーションが開発出来る"Chainlit"をPostgreSQLと接続して会話データの永続化を実現してみました。

こんにちは、CCCMKホールディングスTECH LABの三浦です。 あっという間に11月も終わりですね!クリスマスまであと1か月なので、ブログのサムネイルもクリスマス仕様になりました! はじめに Chainlitのデータ永続化の仕組み 今回試した構成 プロジェクトの構…

DatabricksでOllamaを使ったLLMアプリの実験と検証をやってみました!

こんにちは、CCCMKホールディングスTECH LABの三浦です。 だいぶ気温が下がって、空気が乾燥してきたように感じます。すぐに手がしもやけになってしまうので、外に出る時は手袋をするようにしないと・・・と思います。 はじめに 先日Databricksの年次のイベ…

LangGraphでMap-reduce型のテキスト参照処理を作ってみました。

はじめに 参照するドキュメント Graphの構造 実装 ライブラリのインストール GraphのState ルーティング機能の実装 Nodeの実装 並列処理の実行部分 Graphの構築 実行する 課題 まとめ こんにちは、CCCMKホールディングスTECH LABの三浦です。 最近寒いですね…

人格設定されたLLMはどんな文章を生成する?論文を読んでまとめてみました。

Big Five personality traits LIWC-22 論文における問題設定 実験の設定 LLM personaの構築 ストーリーライティング 評価のステップ BFIテスト LIWC-22による分析 ストーリーの評価 ストーリーからの人格特性の推計 結果 RQ1: LLM personaがBFIテストで自身…

Azure DatabricksでRAG AgentのModel Servingへのデプロイ・モニタリングまでを実装してみる!

テストからPoCへ RAG Agentの概要 PlaygroundからExportする Vector Indexにクエリ実行するFunctionが動かない・・・ agent Notebookの変更箇所 追加パッケージのインストール configの記述と出力 LLMとToolの定義 driverの変更箇所 追加パッケージのインス…

Azure DatabricksのVector Searchを使ってRAG Agentを構築してみる。

DatabricksのModel Servingが楽しい・・・ Vector Search Vector Searchを使ってベクトルデータベースを構築 ブログ⇒テキスト抽出⇒Delta Tableへの格納 Delta Table⇒テキスト分割(chunking)⇒Delta Tableへの格納 埋め込みモデルのModel Serving Endpointの作…

GraphRAGで生成したKnowledge-GraphをNetworkXとPlotlyで描画しました!

はじめに 今回作ったグラフ 描画に使うデータ 作業の流れ 実際のコード ライブラリのインストール NetworkXによるNodeの配置 EdgeとTextの描画設定 Nodeの描画設定 Graphの描画 まとめ こんにちは、CCCMKホールディングス TECH LAB三浦です。 秋の晴れの日は…

GraphRAGを使ったKnowledge-Graphの構築にチャレンジ!

はじめに GraphRAG GraphRAGのKnowledge Graph構築フロー Phase1. Documentの分割 Phase2. Graph情報の生成 Phase3. Graph情報の強化 Community Graph Embedding Phase4. Community情報の要約 Phase5. Documentの処理 Phase6. Graphの可視化 Knowledge Graph…

Databricksの"Foundation Model API"と"AI Functions"が面白かったのでまとめてみます!

はじめに Foundation Model API 提供されたLLMの利用 それ以外のLLMを使いたい場合 AI Functions Foundation Model APIを利用するAI Functions Model Servingで提供されるLLMを利用したAI Functions まとめ こんにちは、CCCMKホールディングスTECH LABの三浦…